Robots.txt
Technical & InfrastructureA file telling search engine crawlers which pages to index and which to ignore on your site.
Как это работает в FlipLink
Маркетинговый сайт FlipLink настраивает robots.txt для оптимальной индексации: разрешает доступ ко всем публичным страницам, блог-постам и записям глоссария, но запрещает индексацию /api/, /start/, /embed/ и административных путей. Файл также включает URL [карты сайта](/glossary/sitemap) и правила для ИИ-краулеров: GPTBot, ClaudeBot, Google-Extended и других.
Готовы изменить
свои PDF?
Присоединяйтесь к тысячам компаний, использующих FlipLink для создания интерактивного контента из PDF. Начните бесплатно — кредитная карта не нужна.