Robots.txt

Robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Seiten oder Verzeichnisse sie aufrufen dürfen und welche nicht. Sie folgt dem Robots Exclusion Protocol, einem Standard, den alle großen Suchmaschinen respektieren. Die Datei enthält Regeln für bestimmte User Agents (Crawler-Namen) sowie Allow- und Disallow-Direktiven zur Steuerung des Zugriffs auf verschiedene URL-Pfade. Obwohl robots.txt eine Empfehlung und kein Zugriffskontrollmechanismus ist — Crawler können sie technisch ignorieren — halten sich seriöse Suchmaschinen wie Google, Bing und KI-basierte Crawler durchgängig an diese Anweisungen.

Die FlipLink-Marketingwebsite verwendet eine robots.txt, die das Crawlen aller öffentlichen Seiten, Blogbeiträge, Feature-Seiten, Glossareinträge und Guides erlaubt, während interne API-Routen und Anwendungspfade blockiert werden. Sie erlaubt auch ausdrücklich KI-Crawler wie GPTBot, ClaudeBot, Google-Extended, PerplexityBot und Applebot-Extended, damit [flipbook](/glossary/flipbook)-bezogene Inhalte in KI-gestützten Suchantworten erscheinen. Wenn Sie Flipbooks auf einer [Benutzerdefinierten Domain](/features/custom-domains) veröffentlichen, können Sie Ihre eigene robots.txt auf dieser Domain konfigurieren, um zu steuern, wie Suchmaschinen Ihre gehosteten Publikationen behandeln. Die Funktion [SEO & Social Previews](/features/seo-and-social-previews) arbeitet zusammen mit robots.txt, um sicherzustellen, dass indexierte Seiten optimierte Metadaten sowohl für traditionelle als auch KI-Suchmaschinen bereitstellen.