Robots.txt

Robots.txt est un fichier en texte brut placé à la racine d'un site web qui indique aux robots des moteurs de recherche quelles pages ou quels répertoires ils sont autorisés ou non à explorer. Il suit le protocole d'exclusion des robots, une norme que tous les grands moteurs de recherche respectent. Le fichier contient des règles pour des agents utilisateurs précis (noms de robots) ainsi que des directives Allow et Disallow qui contrôlent l'accès à différents chemins d'URL. Bien que robots.txt soit une recommandation plutôt qu'un mécanisme de contrôle d'accès — les robots peuvent techniquement l'ignorer — les moteurs de recherche réputés comme Google, Bing et les robots alimentés par l'IA honorent systématiquement ces directives.

Sans un robots.txt correctement configuré, les moteurs de recherche risquent d'explorer et d'indexer des pages que tu veux garder privées, comme les panneaux d'administration, les environnements de préproduction, les points d'accès d'API ou le contenu dupliqué. À l'inverse, bloquer les mauvais chemins peut empêcher tes flipbooks et publications publics d'apparaître dans les résultats de recherche. Un robots.txt bien entretenu aide les moteurs de recherche à concentrer leur budget d'exploration — le nombre de pages qu'un robot visitera sur ton site dans un laps de temps donné — sur le contenu que tu veux vraiment voir découvert. Pour les éditeurs qui hébergent des flipbooks, cela signifie s'assurer que les pages d'atterrissage, les [métadonnées SEO](/glossary/seo) et les pages d'aperçu sont entièrement accessibles aux robots.

Le site vitrine de FlipLink utilise un robots.txt qui autorise l'exploration de toutes les pages publiques, articles de blog, pages de fonctionnalités, entrées de glossaire et guides, tout en bloquant les routes d'API internes et les chemins applicatifs. Il autorise aussi explicitement les robots d'IA comme GPTBot, ClaudeBot, Google-Extended, PerplexityBot et Applebot-Extended afin que le contenu lié aux flipbooks apparaisse dans les réponses des recherches alimentées par l'IA. Quand tu publies des flipbooks sur un [domaine personnalisé](/features/custom-domains), tu peux configurer ton propre robots.txt sur ce domaine pour contrôler la façon dont les moteurs de recherche traitent tes publications hébergées. La fonctionnalité [aperçus SEO et réseaux sociaux](/features/seo-and-social-previews) travaille de concert avec robots.txt pour garantir que les pages indexées présentent des métadonnées optimisées aux moteurs de recherche traditionnels comme à ceux propulsés par l'IA.

Un fichier robots.txt utilise une syntaxe simple. Chaque bloc commence par une ligne `User-agent` qui précise à quel robot s'appliquent les règles, suivie de directives `Disallow` et `Allow` : - **User-agent : \*** — applique les règles à tous les robots - **Disallow : /api/** — empêche les robots d'accéder à tout ce qui se trouve sous /api/ - **Allow : /blog/** — autorise explicitement l'accès au répertoire du blog - **Sitemap :** — déclare l'emplacement de ton [sitemap](/glossary/sitemap) XML pour la découverte par les robots Les règles sont évaluées de haut en bas, et les chemins plus précis ont la priorité. Le fichier doit être accessible à l'URL exacte `https://tondomaine.com/robots.txt` — aucun autre emplacement ne fonctionne. Note que robots.txt n'empêche pas l'indexation des pages si d'autres sites pointent vers elles ; pour cela, il te faut des balises meta `noindex` ou des en-têtes HTTP.

- **« Robots.txt empêche les pages d'apparaître dans les résultats de recherche. »** Pas entièrement. S'il empêche les robots de visiter la page, lorsque d'autres sites pointent vers cette URL, les moteurs de recherche peuvent tout de même la lister avec des informations limitées. Utilise des balises meta `noindex` pour les pages que tu veux vraiment exclure des résultats de recherche. - **« Je n'ai besoin de règles que pour Googlebot. »** Bing, Yandex, DuckDuckGo et les robots d'IA lisent tous robots.txt. Les ignorer revient à perdre du trafic provenant des moteurs de recherche alternatifs et des outils de réponse par IA. - **« Une fois configuré, je n'ai jamais à le mettre à jour. »** Ton robots.txt doit évoluer avec ton site. Les nouvelles sections, les nouveaux outils et chemins de contenu doivent être examinés pour garantir qu'ils restent explorables. Les agents utilisateurs des robots d'IA s'étoffent aussi en permanence. - **« Robots.txt est une mesure de sécurité. »** Ce n'en est pas une. Le fichier est lisible publiquement et n'offre aucun contrôle d'accès. Les chemins sensibles doivent être protégés par une authentification, et non par une simple directive Disallow.

1. **Identifie tous les chemins publics** — liste chaque section de ton site qui doit apparaître dans les résultats de recherche (blog, fonctionnalités, glossaire, pages d'atterrissage). 2. **Liste tous les chemins privés** — points d'accès d'API, routes d'administration, pages de préproduction, points d'intégration et outils internes. 3. **Rédige les règles d'agent utilisateur** — crée un bloc `User-agent : *` avec tes directives Disallow pour les chemins privés. 4. **Ajoute les autorisations des robots d'IA** — inclus des blocs `User-agent` explicites pour GPTBot, ClaudeBot, Google-Extended, PerplexityBot et autres robots d'IA, avec des règles Allow adaptées. 5. **Déclare ton sitemap** — ajoute une ligne `Sitemap :` pointant vers l'URL de ton sitemap XML. 6. **Teste avec Google Search Console** — utilise le testeur de robots.txt pour vérifier que les pages importantes sont accessibles et les pages privées bloquées. 7. **Revois chaque trimestre** — à mesure que ton site ajoute de nouvelles sections ou outils, mets à jour robots.txt pour refléter la structure actuelle.