Robots.txt

Robots.txt es un archivo de texto sin formato ubicado en la raíz de un sitio web que indica a los rastreadores de motores de búsqueda qué páginas o directorios pueden o no acceder. Sigue el Protocolo de Exclusión de Robots, un estándar respetado por todos los principales motores de búsqueda. El archivo contiene reglas para agentes de usuario específicos (nombres de rastreadores) junto con directivas Allow y Disallow que controlan el acceso a diferentes rutas URL. Aunque robots.txt es una recomendación y no un mecanismo de control de acceso — los rastreadores técnicamente pueden ignorarlo — los motores de búsqueda reputables como Google, Bing y los rastreadores de IA respetan consistentemente estas directivas.

Sin un archivo robots.txt configurado correctamente, los motores de búsqueda pueden rastrear e indexar páginas que deseas mantener privadas, como paneles de administración, entornos de prueba, endpoints de API o contenido duplicado. Por el contrario, bloquear las rutas incorrectas puede impedir que tus flipbooks y publicaciones públicas aparezcan en los resultados de búsqueda. Un robots.txt bien mantenido ayuda a los motores de búsqueda a enfocar su presupuesto de rastreo — la cantidad de páginas que un rastreador visitará en tu sitio en un período determinado — en el contenido que realmente deseas que sea descubierto. Para los editores que alojan flipbooks, esto significa asegurar que las páginas de destino, los [metadatos SEO](/glossary/seo) y las páginas de vista previa sean completamente accesibles para los rastreadores.

El sitio de marketing de FlipLink utiliza un robots.txt que permite rastrear todas las páginas públicas, publicaciones de blog, páginas de funciones, entradas del glosario y guías, mientras bloquea rutas internas de API y rutas de aplicaciones. También permite explícitamente rastreadores de IA como GPTBot, ClaudeBot, Google-Extended, PerplexityBot y Applebot-Extended para que el contenido relacionado con flipbooks aparezca en las respuestas de búsqueda impulsadas por IA. Cuando publicas flipbooks en un [Dominio personalizado](/features/custom-domains), puedes configurar tu propio robots.txt en ese dominio para controlar cómo los motores de búsqueda tratan tus publicaciones alojadas. La función [SEO y vistas previas sociales](/features/seo-and-social-previews) funciona junto con robots.txt para garantizar que las páginas indexadas presenten metadatos optimizados tanto para motores de búsqueda tradicionales como de IA.

Un archivo robots.txt utiliza una sintaxis sencilla. Cada bloque comienza con una línea `User-agent` que especifica a qué rastreador se aplican las reglas, seguida de directivas `Disallow` y `Allow`: - **User-agent: \*** — aplica reglas a todos los rastreadores - **Disallow: /api/** — impide que los rastreadores accedan a cualquier cosa bajo /api/ - **Allow: /blog/** — permite explícitamente el acceso al directorio del blog - **[Sitemap](/glossary/sitemap):** — declara la ubicación de tu [mapa del sitio](/glossary/sitemap) XML para el descubrimiento de rastreadores Las reglas se evalúan de arriba a abajo, y las rutas más específicas tienen prioridad. El archivo debe ser accesible en la URL exacta `https://tudominio.com/robots.txt` — ninguna otra ubicación funciona. Ten en cuenta que robots.txt no impide que las páginas sean indexadas si otros sitios enlazan a ellas; para eso, necesitas etiquetas meta `noindex` o encabezados HTTP.

- **"Robots.txt bloquea las páginas de los resultados de búsqueda."** No del todo. Si bien impide que los rastreadores visiten la página, si otros sitios enlazan a esa URL, los motores de búsqueda aún pueden listarla con información limitada. Usa etiquetas meta `noindex` para las páginas que realmente deseas excluir de los resultados de búsqueda. - **"Solo necesito reglas para Googlebot."** Bing, Yandex, DuckDuckGo y los rastreadores de IA leen robots.txt. Ignorarlos significa perder tráfico de motores de búsqueda alternativos y herramientas de respuesta de IA. - **"Una vez configurado, nunca necesito actualizarlo."** Tu robots.txt debe evolucionar a medida que tu sitio crece. Las nuevas secciones, herramientas y rutas de contenido deben revisarse para garantizar que sean rastreables. Los agentes de usuario de rastreadores de IA también se expanden constantemente. - **"Robots.txt es una medida de seguridad."** No lo es. El archivo es públicamente legible y no proporciona control de acceso. Las rutas sensibles deben protegerse con autenticación, no solo con una directiva Disallow.

1. **Identifica todas las rutas públicas** — enumera cada sección de tu sitio que debe aparecer en los resultados de búsqueda (blog, funciones, glosario, páginas de destino). 2. **Lista todas las rutas privadas** — endpoints de API, rutas de administración, páginas de prueba, endpoints embed y herramientas internas. 3. **Escribe reglas de agente de usuario** — crea un bloque `User-agent: *` con tus directivas Disallow para rutas privadas. 4. **Agrega permisos para rastreadores de IA** — incluye bloques `User-agent` explícitos para GPTBot, ClaudeBot, Google-Extended, PerplexityBot y otros rastreadores de IA con reglas Allow apropiadas. 5. **Declara tu sitemap** — agrega una línea `Sitemap:` apuntando a la URL de tu sitemap XML. 6. **Prueba con Google Search Console** — usa el probador de robots.txt para verificar que las páginas importantes sean accesibles y las privadas estén bloqueadas. 7. **Revisa trimestralmente** — a medida que tu sitio agrega nuevas secciones o herramientas, actualiza robots.txt para reflejar la estructura actual.