Robots.txt

Robots.txt هو ملف نصي عادي يُوضع في جذر الموقع ويُرشد زواحف محرّكات البحث إلى الصفحات أو المجلدات المسموح لها بالوصول إليها أو الممنوعة منها. ويتّبع هذا الملف بروتوكول استبعاد الروبوتات، وهو معيار تحترمه جميع محرّكات البحث الكبرى. يحتوي الملف على قواعد لوكلاء مستخدمين محدّدين (أسماء الزواحف) إلى جانب توجيهَي Allow وDisallow اللذين يتحكّمان في الوصول إلى مسارات URL المختلفة. ورغم أنّ robots.txt يُعدّ توصية لا آلية للتحكّم في الوصول — إذ يمكن للزواحف تجاهله تقنياً — فإنّ محرّكات البحث الموثوقة مثل Google وBing والزواحف المدعومة بالذكاء الاصطناعي تلتزم بهذه التوجيهات باستمرار.

من دون robots.txt مضبوط بشكل صحيح، قد تزحف محرّكات البحث وتفهرس صفحات تودّ إبقاءها خاصّة، مثل لوحات الإدارة وبيئات التجهيز ونقاط نهاية API والمحتوى المكرّر. وفي المقابل، فإنّ حجب المسارات الخاطئة قد يمنع كتبك التفاعلية ومنشوراتك العامّة من الظهور في نتائج البحث كلّياً. ويُساعد robots.txt المُتقَن في توجيه محرّكات البحث لتركيز ميزانية الزحف لديها — أي عدد الصفحات التي يزورها الزاحف على موقعك خلال فترة معيّنة — نحو المحتوى الذي تريد فعلاً اكتشافه. وبالنسبة إلى الناشرين الذين يستضيفون كتباً تفاعلية، يعني ذلك ضمان أن تكون صفحات الهبوط و[بيانات SEO الوصفية](/glossary/seo) وصفحات المعاينة في متناول الزواحف بالكامل.

يستخدم موقع FlipLink التسويقي ملف robots.txt يسمح بزحف جميع الصفحات العامّة ومقالات المدوّنة وصفحات الميزات ومدخلات المسرد والأدلّة، مع حجب مسارات API الداخلية ومسارات التطبيق. كما يسمح صراحةً للزواحف الذكية مثل GPTBot وClaudeBot وGoogle-Extended وPerplexityBot وApplebot-Extended كي يظهر المحتوى المتعلّق بالكتب التفاعلية ضمن إجابات البحث المدعومة بالذكاء الاصطناعي. وحين تنشر كتبك التفاعلية على [نطاق مخصّص](/features/custom-domains)، يمكنك ضبط ملف robots.txt الخاص بك على ذلك النطاق للتحكّم في كيفية تعامل محرّكات البحث مع منشوراتك المستضافة. وتعمل ميزة [SEO ومعاينات الشبكات الاجتماعية](/features/seo-and-social-previews) جنباً إلى جنب مع robots.txt لضمان أن تُقدّم الصفحات المفهرسة بيانات وصفية مُحسَّنة لمحرّكات البحث التقليدية والذكية على حدٍّ سواء.

يستخدم ملف robots.txt صياغة مباشرة. تبدأ كلّ كتلة بسطر `User-agent` يحدّد الزاحف الذي تنطبق عليه القواعد، يليه توجيها `Disallow` و`Allow`: - **User-agent: \*** — تطبّق القواعد على جميع الزواحف - **Disallow: /api/** — تمنع الزواحف من الوصول إلى أيّ شيء تحت /api/ - **Allow: /blog/** — تسمح صراحةً بالوصول إلى مجلّد المدوّنة - **Sitemap:** — يُعلن عن موقع [خريطة موقع](/glossary/sitemap) XML الخاصّة بك لاكتشافها من قبل الزواحف تُقيَّم القواعد من الأعلى إلى الأسفل، وتأخذ المسارات الأكثر تخصيصاً الأولويّة. ويجب أن يكون الملف متاحاً عند العنوان الدقيق `https://yourdomain.com/robots.txt` — ولا يعمل من أيّ موقع آخر. ولاحظ أنّ robots.txt لا يمنع فهرسة الصفحات إذا كانت مواقع أخرى تربط بها؛ فلذلك تحتاج إلى وسوم meta من نوع `noindex` أو ترويسات HTTP.

- **«Robots.txt يمنع الصفحات من الظهور في نتائج البحث.»** ليس تماماً. فهو يمنع الزواحف من زيارة الصفحة، لكن إذا كانت مواقع أخرى تربط بهذا العنوان فقد تُدرجه محرّكات البحث بمعلومات محدودة. استخدم وسوم meta من نوع `noindex` للصفحات التي تريد استبعادها فعلاً من نتائج البحث. - **«أحتاج إلى قواعد لـ Googlebot فقط.»** فـ Bing وYandex وDuckDuckGo والزواحف الذكية جميعها تقرأ robots.txt. وتجاهلها يعني تفويت زيارات من محرّكات بحث بديلة وأدوات الإجابة الذكية. - **«بمجرّد ضبطه، لا أحتاج إلى تحديثه أبداً.»** ينبغي أن يتطوّر ملف robots.txt مع نموّ موقعك. فالأقسام والأدوات والمسارات الجديدة بحاجة إلى المراجعة لضمان قابليّتها للزحف. كما أنّ وكلاء الزواحف الذكية في توسّع مستمرّ. - **«Robots.txt إجراء أمنيّ.»** ليس كذلك. فالملف قابل للقراءة علناً ولا يُوفّر أيّ تحكّم في الوصول. وينبغي حماية المسارات الحسّاسة بالمصادقة، لا بمجرّد توجيه Disallow.

1. **حدّد جميع المسارات العامّة** — أدرج كلّ قسم من موقعك ينبغي أن يظهر في نتائج البحث (المدوّنة، الميزات، المسرد، صفحات الهبوط). 2. **أدرج جميع المسارات الخاصّة** — نقاط نهاية API، ومسارات الإدارة، وصفحات التجهيز، ونقاط نهاية التضمين، والأدوات الداخلية. 3. **اكتب قواعد وكيل المستخدم** — أنشئ كتلة `User-agent: *` مع توجيهات Disallow للمسارات الخاصّة. 4. **أضف أذونات للزواحف الذكية** — أدرج كتل `User-agent` صريحة لـ GPTBot وClaudeBot وGoogle-Extended وPerplexityBot وغيرها من الزواحف الذكية مع قواعد Allow ملائمة. 5. **أعلن عن خريطة موقعك** — أضف سطر `Sitemap:` يشير إلى عنوان خريطة موقع XML الخاصّة بك. 6. **اختبر باستخدام Google Search Console** — استخدم أداة اختبار robots.txt للتحقّق من إمكانية الوصول إلى الصفحات المهمّة وحجب الصفحات الخاصّة. 7. **راجع كلّ ثلاثة أشهر** — مع إضافة موقعك أقساماً أو أدوات جديدة، حدّث robots.txt ليعكس البنية الحالية.