ما هو ملف robots.txt؟ شرح شامل وطريقة إنشائه واستخدامه في SEO

في هذا الدليل سنشرح ما هو robots.txt، وأين يوضع، وما أهم القواعد المستخدمة فيه، وكيف تنشئه بشكل صحيح، ومتى تستخدمه، وما الأخطاء التي يجب تجنبها، بالإضافة إلى الفرق بين robots.txt ووسائل منع الفهرسة مثل noindex.

وإذا كنت تعمل على تحسين موقعك بشكل متكامل، يمكنك أيضًا الاطلاع على دليل SEO التقني Technical SEO لفهم كيفية التعامل مع الجوانب التقنية الأخرى للموقع.

ما هو ملف robots.txt؟

ملف robots.txt هو ملف نصي بسيط تستخدمه المواقع لتقديم تعليمات لروبوتات محركات البحث حول عناوين URL أو المسارات التي يُسمح لها بالزحف إليها أو يُطلب منها عدم الزحف إليها.

يوضع الملف في المستوى الأعلى من الموقع، مثل:

https://example.com/robots.txt

وتطبق قواعد الملف على النطاق والبروتوكول والمنفذ الذي يوجد عليه الملف. ويعتمد Google في تفسير robots.txt على بروتوكول استبعاد الروبوتات Robots Exclusion Protocol.

من المهم هنا فهم نقطة أساسية: robots.txt لا يمنع الصفحة من الظهور في نتائج البحث بشكل مضمون، ولا يُعد بديلًا عن noindex. فإذا كان الهدف هو منع صفحة من الظهور في Google، فهناك وسائل أخرى مخصصة لذلك، مثل توجيه noindex عندما تكون الصفحة قابلة للزحف.

أين يوجد ملف robots.txt؟

يجب وضع ملف robots.txt في المستوى الأعلى من المضيف، بحيث يمكن الوصول إليه مباشرة من خلال:

https://example.com/robots.txt

لذلك لن يكون:

https://example.com/blog/robots.txt

هو الملف العام الذي يتحكم في الزحف إلى الموقع بالكامل.

ما أهمية ملف robots.txt في SEO؟

لا يرفع robots.txt ترتيب الموقع في Google بشكل مباشر، لكنه يمكن أن يكون جزءًا مهمًا من إدارة الزحف، خصوصًا في المواقع الكبيرة التي تحتوي على عدد كبير من عناوين URL.

ومن أهم استخداماته:

• منع الزحف إلى مسارات لا تحتاج محركات البحث إلى الوصول إليها.
• تقليل الطلبات غير الضرورية على الخادم في الحالات المناسبة.
• توجيه روبوتات البحث بعيدًا عن أجزاء معينة من الموقع لا تريد السماح بالزحف إليها.
• تحديد موقع ملف Sitemap باستخدام قاعدة Sitemap.
• المساعدة في إدارة الزحف داخل المواقع الكبيرة والمعقدة.

وتوضح Google أن الهدف الأساسي من robots.txt هو تحديد عناوين URL التي لا ينبغي للروبوتات الزحف إليها، وليس استخدامه كوسيلة لمنع ظهور المحتوى في نتائج البحث.

الفرق بين Crawling وIndexing في robots.txt

من أكثر الأخطاء شيوعًا اعتبار الزحف والفهرسة شيئًا واحدًا.

• Crawling:
  عملية وصول روبوت محرك البحث إلى عنوان URL وقراءة محتواه أو موارده.
• Indexing:
  عملية تحليل المحتوى وتحديد إمكانية إدراجه ضمن فهرس محرك البحث.

عندما تمنع عنوان URL باستخدام robots.txt، فإنك تمنع Googlebot من الزحف إليه. لكن هذا لا يعني بالضرورة أن عنوان URL لن يظهر في الفهرس؛ فقد يعرف Google العنوان من روابط خارجية أو مصادر أخرى، وفي بعض الحالات يمكن أن يظهر العنوان دون محتوى أو وصف كامل.

إذا كنت تريد منع الفهرسة، ماذا تستخدم؟

إذا كان الهدف هو منع صفحة قابلة للوصول من الظهور في نتائج البحث، فلا تستخدم robots.txt لهذا الغرض وحده. استخدم آلية مناسبة مثل:

<meta name="robots" content="noindex">

ويجب الانتباه إلى أن Google يحتاج إلى إمكانية الوصول إلى الصفحة حتى يتمكن من قراءة توجيه noindex؛ لذلك لا تجمع بين حظر الزحف بالـ robots.txt وnoindex على الصفحة نفسها إذا كان هدفك أن يقرأ Google توجيه noindex.

أهم قواعد ملف robots.txt

يعتمد ملف robots.txt على مجموعة من القواعد البسيطة. ومن أهم الحقول المستخدمة فيه:

1. User-agent

تحدد قاعدة User-agent الروبوت الذي تنطبق عليه القواعد التالية.

مثال لتطبيق القاعدة على جميع الروبوتات:

User-agent: *

ومثال لتحديد Googlebot:

User-agent: Googlebot

2. Disallow

تستخدم Disallow لمنع الروبوت المحدد من الزحف إلى مسار معين.

User-agent: *
Disallow: /private/

وهذا يعني أن المسارات الموجودة تحت /private/ تكون محظورة على الروبوتات المشمولة بهذه المجموعة.

3. Allow

تستخدم Allow للسماح بالزحف إلى مسار محدد داخل نطاق تم حظره بقاعدة أخرى، وفق قواعد تفسير robots.txt التي يدعمها محرك البحث.

User-agent: *
Disallow: /private/
Allow: /private/public-page.html

4. Sitemap

يمكن إضافة رابط خريطة الموقع إلى robots.txt باستخدام Sitemap.

Sitemap: https://example.com/sitemap.xml

ويجب أن يكون رابط Sitemap كاملًا، بما في ذلك البروتوكول واسم المضيف. كما يمكن إدراج أكثر من Sitemap عند الحاجة.

5. التعليقات Comments

يمكنك إضافة تعليقات داخل الملف باستخدام علامة # لتوضيح الغرض من القواعد، وهو أمر مفيد عند صيانة الملف مستقبلًا.

# منع الزحف إلى صفحات الحساب
User-agent: *
Disallow: /account/

مثال عملي لملف robots.txt

يمكن أن يكون ملف robots.txt بسيطًا بهذا الشكل:

User-agent: *
Disallow: /admin/
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

المثال السابق يمنع الروبوتات المشمولة من الزحف إلى المسارين المحددين، ويعرّفها بموقع خريطة الموقع.

لا تستخدم هذا المثال كما هو في كل موقع؛ قواعد robots.txt يجب أن تعكس بنية الموقع الفعلية وما يحتاج إلى الزحف إليه، لأن قاعدة غير مناسبة قد تحجب صفحات أو موارد مهمة.

كيفية إنشاء ملف robots.txt؟

إنشاء الملف في حد ذاته بسيط، لكن تحديد القواعد الصحيحة هو الجزء الأكثر أهمية.

1. افتح محرر نصوص بسيط مثل Notepad.
2. حدد المسارات التي تحتاج فعلًا إلى منع الزحف إليها.
3. اكتب قواعد User-agent وDisallow وAllow عند الحاجة.
4. أضف رابط Sitemap إذا كان لديك ملف Sitemap مناسب.
5. راجع القواعد وتأكد من عدم حظر صفحات مهمة.
6. احفظ الملف باسم robots.txt.
7. ضعه في المستوى الأعلى من النطاق.
8. افتح عنوان الملف في المتصفح وتأكد من إمكانية الوصول إليه.
9. استخدم أدوات Google المتاحة لمراجعة حالة الملف والقواعد المؤثرة في الصفحات.

ويمكنك أيضًا الاطلاع على شرح Sitemap XML لفهم العلاقة بين خريطة الموقع واكتشاف الصفحات.

أفضل ممارسات كتابة robots.txt

• اجعل الملف بسيطًا وواضحًا:
  لا تضف قواعد لا تحتاج إليها.
• لا تحظر الصفحات المهمة:
  راجع القواعد قبل نشر الملف، خصوصًا عند تعديل الموقع أو تغيير هيكله.
• لا تستخدم robots.txt كوسيلة أمان:
  الملف عام ويمكن لأي شخص الوصول إليه، كما يمكن للروبوتات غير الملتزمة تجاهل تعليماته.
• لا تستخدمه لمنع الفهرسة:
  إذا كان هدفك منع ظهور صفحة في نتائج البحث، استخدم آلية الفهرسة المناسبة مثل noindex عندما تكون الصفحة قابلة للزحف.
• لا تحظر موارد مهمة دون سبب:
  لا تفترض أن حظر ملفات CSS أو JavaScript أو الصور مفيد للـ SEO. قد تحتاج Google إلى هذه الموارد لفهم الصفحة وعرضها بصورة صحيحة.
• أضف Sitemap عند الحاجة:
  يمكن تعريف موقع خريطة الموقع داخل الملف باستخدام عنوان URL كامل.
• راجع الملف بعد تغييرات الموقع:
  تغيير بنية المجلدات أو إضافة أقسام جديدة قد يجعل بعض قواعد robots.txt القديمة غير مناسبة.
• اختبر تأثير القواعد:
  لا تعتمد على التخمين، بل تحقق من حالة الزحف للصفحات المهمة بعد تعديل الملف.

استخدام robots.txt في المواقع الكبيرة

تزداد أهمية إدارة الزحف عندما يحتوي الموقع على عدد كبير جدًا من عناوين URL، مثل المتاجر الإلكترونية الكبيرة أو المواقع التي تستخدم الفلاتر والمعلمات والبحث الداخلي والصفحات الديناميكية.

في هذه الحالات يمكن أن يساعد robots.txt في تقليل الزحف إلى أجزاء لا تحتاج محركات البحث إلى الوصول إليها، لكن يجب تحليل بنية الموقع أولًا حتى لا يتم حظر صفحات مهمة عن طريق الخطأ.

كما ينبغي عدم اعتبار robots.txt حلًا تلقائيًا لكل مشكلة مرتبطة بالصفحات المكررة أو المعلمات. لكل حالة طريقة معالجة مناسبة، مثل canonical أو noindex أو تحسين بنية الموقع، حسب طبيعة المشكلة.

ويمكنك أيضًا مراجعة دليل أرشفة وفهرسة المواقع لفهم العلاقة بين الزحف والفهرسة وظهور الصفحات في Google.

أمثلة على استخدام robots.txt

منع مجلد معين من الزحف

User-agent: *
Disallow: /private/

منع مسار إداري

User-agent: *
Disallow: /admin/

هذا المثال لا يوفر حماية للوحة الإدارة، وإنما يقدم توجيهًا لروبوتات البحث. حماية لوحة التحكم يجب أن تعتمد على المصادقة وإعدادات الخادم ووسائل الأمان المناسبة.

السماح للجميع بالزحف

User-agent: *
Disallow:

ترك قيمة Disallow فارغة يعني عدم وجود مسار محظور ضمن هذه المجموعة.

منع الموقع بالكامل

User-agent: *
Disallow: /

هذه قاعدة شديدة التأثير، لأنها تمنع الروبوتات المشمولة من الزحف إلى جميع المسارات. لذلك لا تستخدمها على موقع إنتاجي إلا إذا كان ذلك مقصودًا تمامًا.

أخطاء شائعة في ملف robots.txt

• حظر الموقع بالكامل باستخدام Disallow: / عن طريق الخطأ.
• حظر مجلد يحتوي على صفحات مهمة دون الانتباه لذلك.
• استخدام robots.txt بهدف منع الفهرسة بدل استخدام الوسيلة المناسبة.
• حظر CSS أو JavaScript أو موارد مهمة تحتاجها Google لفهم الصفحة.
• إضافة قواعد كثيرة ومعقدة دون الحاجة إليها.
• نسيان تحديث الملف بعد تغيير هيكل الموقع.
• الاعتقاد بأن robots.txt يحمي البيانات السرية.
• إضافة صفحات مهمة إلى Sitemap مع منع الزحف إليها في robots.txt.

كيف تتحقق من ملف robots.txt؟

يمكنك فتح ملف robots.txt مباشرة في المتصفح من خلال:

https://example.com/robots.txt

كما توفر Google داخل Search Console تقريرًا خاصًا بملفات robots.txt يعرض الملفات التي عثر عليها Google، وآخر مرة تم الزحف إليها، وأي أخطاء أو تحذيرات مرتبطة بها.

وإذا أردت معرفة ما إذا كانت صفحة معينة محظورة من الزحف، يمكنك استخدام أداة URL Inspection في Search Console، حيث تساعدك على معرفة ما إذا كان الزحف مسموحًا وما إذا كان Google يستطيع الوصول إلى الصفحة. ماذا يحدث إذا تعطل ملف robots.txt؟

من المهم أيضًا أن يكون ملف robots.txt نفسه متاحًا بشكل صحيح. توضح Google أن أخطاء الخادم في الوصول إلى robots.txt يمكن أن تؤثر في عملية الزحف؛ فإذا تعذر الوصول إلى الملف بسبب أخطاء من نوع 5xx، قد تؤجل Google بعض عمليات الزحف إلى الموقع إلى أن تتمكن من الحصول على استجابة مناسبة.

لذلك لا يكفي أن تكون القواعد صحيحة من الناحية النظرية؛ يجب أن يكون الملف متاحًا عبر عنوانه الصحيح وأن يتم تقديمه من الخادم بصورة سليمة.

هل robots.txt ضروري لكل موقع؟

ليس بالضرورة. الموقع الصغير قد لا يحتاج إلى ملف robots.txt معقد، بل إن Google توضح أن المواقع الصغيرة قد لا تحتاج إلى ملف robots.txt أصلًا. وجود الملف يصبح أكثر فائدة عندما تحتاج إلى إدارة الزحف أو منع الوصول إلى مسارات معينة.

لذلك لا تنشئ الملف لمجرد وجوده، بل استخدمه عندما تكون لديك حاجة واضحة لإدارة الزحف.

الفرق بين robots.txt وSitemap وnoindex

استخدام هذه الأدوات بشكل صحيح يعتمد على المشكلة التي تحاول حلها. فلا ينبغي استخدام robots.txt بدل Sitemap، ولا استخدامه كبديل عن noindex.