Robots.txt

Robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Seiten oder Verzeichnisse sie aufrufen dürfen und welche nicht. Sie folgt dem Robots Exclusion Protocol, einem Standard, den alle großen Suchmaschinen respektieren. Die Datei enthält Regeln für bestimmte User Agents (Crawler-Namen) sowie Allow- und Disallow-Direktiven zur Steuerung des Zugriffs auf verschiedene URL-Pfade. Obwohl robots.txt eine Empfehlung und kein Zugriffskontrollmechanismus ist — Crawler können sie technisch ignorieren — halten sich seriöse Suchmaschinen wie Google, Bing und KI-basierte Crawler durchgängig an diese Anweisungen.

Ohne eine korrekt konfigurierte robots.txt können Suchmaschinen Seiten crawlen und indexieren, die du privat halten möchtest, wie Admin-Panels, Staging-Umgebungen, API-Endpunkte oder duplizierte Inhalte. Umgekehrt kann das Blockieren falscher Pfade verhindern, dass deine öffentlichen Flipbooks und Publikationen in den Suchergebnissen erscheinen. Eine gepflegte robots.txt hilft Suchmaschinen, ihr Crawl-Budget — die Anzahl der Seiten, die ein Crawler in einem bestimmten Zeitraum besucht — auf die Inhalte zu konzentrieren, die du tatsächlich auffindbar machen willst. Für Verleger, die Flipbooks hosten, bedeutet dies sicherzustellen, dass Landingpages, [SEO-Metadaten](/glossary/seo) und Vorschauseiten vollständig für Crawler zugänglich sind.

Die FlipLink-Marketingwebsite verwendet eine robots.txt, die das Crawlen aller öffentlichen Seiten, Blogbeiträge, Feature-Seiten, Glossareinträge und Guides erlaubt, während interne API-Routen und Anwendungspfade blockiert werden. Sie erlaubt auch ausdrücklich KI-Crawler wie GPTBot, ClaudeBot, Google-Extended, PerplexityBot und Applebot-Extended, damit [flipbook](/glossary/flipbook)-bezogene Inhalte in KI-gestützten Suchantworten erscheinen. Wenn du Flipbooks auf einer [Benutzerdefinierten Domain](/features/custom-domains) veröffentlichst, kannst du deine eigene robots.txt auf dieser Domain konfigurieren, um zu steuern, wie Suchmaschinen deine gehosteten Publikationen behandeln. Die Funktion [SEO & Social Previews](/features/seo-and-social-previews) arbeitet zusammen mit robots.txt, um sicherzustellen, dass indexierte Seiten optimierte Metadaten sowohl für traditionelle als auch KI-Suchmaschinen bereitstellen.

Eine robots.txt-Datei verwendet eine einfache Syntax. Jeder Block beginnt mit einer `User-agent`-Zeile, die angibt, für welchen Crawler die Regeln gelten, gefolgt von `Disallow`- und `Allow`-Direktiven: - **User-agent: \*** — wendet Regeln auf alle Crawler an - **Disallow: /api/** — verhindert den Zugriff auf alles unter /api/ - **Allow: /blog/** — erlaubt ausdrücklich den Zugriff auf das Blog-Verzeichnis - **[Sitemap](/glossary/sitemap):** — deklariert den Standort deiner XML-[Sitemap](/glossary/sitemap) für die Crawler-Erkennung Regeln werden von oben nach unten ausgewertet, wobei spezifischere Pfade Vorrang haben. Die Datei muss unter der exakten URL `https://ihredomain.com/robots.txt` erreichbar sein — kein anderer Speicherort funktioniert. Beachte, dass robots.txt nicht verhindert, dass Seiten indexiert werden, wenn andere Websites darauf verlinken; dafür benötigst du `noindex`-Meta-Tags oder HTTP-Header.

- **"Robots.txt blockiert Seiten aus den Suchergebnissen."** Nicht ganz. Obwohl es Crawler daran hindert, die Seite zu besuchen, können Suchmaschinen sie trotzdem mit begrenzten Informationen auflisten, wenn andere Websites auf diese URL verlinken. Verwende `noindex`-Meta-Tags für Seiten, die du wirklich aus den Suchergebnissen ausschließen möchtest. - **"Ich brauche nur Regeln für Googlebot."** Bing, Yandex, DuckDuckGo und KI-Crawler lesen alle robots.txt. Sie zu ignorieren bedeutet, Traffic von alternativen Suchmaschinen und KI-Antwort-Tools zu verpassen. - **"Einmal eingerichtet, muss ich es nie aktualisieren."** deine robots.txt sollte sich mit dem Wachstum deiner Website weiterentwickeln. Neue Abschnitte, Tools und Inhaltspfade müssen überprüft werden, um sicherzustellen, dass sie crawlbar sind. Die User Agents der KI-Crawler erweitern sich ebenfalls ständig. - **"Robots.txt ist eine Sicherheitsmaßnahme."** Ist es nicht. Die Datei ist öffentlich lesbar und bietet keine Zugriffskontrolle. Sensible Pfade sollten durch Authentifizierung geschützt werden, nicht nur durch eine Disallow-Direktive.

1. **Alle öffentlichen Pfade identifizieren** — liste jeden Bereich deiner Website auf, der in den Suchergebnissen erscheinen soll (Blog, Funktionen, Glossar, Landingpages). 2. **Alle privaten Pfade auflisten** — API-Endpunkte, Admin-Routen, Staging-Seiten, Embed-Endpunkte und interne Tools. 3. **User-Agent-Regeln schreiben** — erstelle einen `User-agent: *`-Block mit deinen Disallow-Direktiven für private Pfade. 4. **KI-Crawler-Berechtigungen hinzufügen** — füge explizite `User-agent`-Blöcke für GPTBot, ClaudeBot, Google-Extended, PerplexityBot und andere KI-Crawler mit entsprechenden Allow-Regeln hinzu. 5. **Sitemap deklarieren** — füge eine `Sitemap:`-Zeile hinzu, die auf deine XML-Sitemap-URL verweist. 6. **Mit Google Search Console testen** — verwende den robots.txt-Tester, um zu überprüfen, dass wichtige Seiten zugänglich und private Seiten blockiert sind. 7. **Vierteljährlich überprüfen** — wenn deine Website neue Abschnitte oder Tools hinzufügt, aktualisiere robots.txt, um die aktuelle Struktur widerzuspiegeln.