robots.txt: الدليل الكامل للإعداد
هل سئمت سماع كلمة robots.txt ولا تعرف ما الذي يتحدث عنه الناس؟ لا تقلق، أحضرنا لك اليوم الحلّ. في هذا المقال سنحاول قدر المستطاع شرح ما هو robots.txt، وكيف تُعدّه (خاصة في WordPress)، وكيف يمكن أن يؤثر في SEO مشروعك.
لنبدأ!
ما هو robots.txt وما فائدته؟
robots.txt ببساطة ملف يُستضاف في جذر الويب يتيح منع بوتات معينة (كبوتات Google أو Bing) من زيارة موقعك أو أجزاء منه.
تنبيه: من المهم معرفة أن هذا بروتوكول، وعادةً تحترمه كل البوتات "الجيدة" (GoogleBot، BingBot، Semrush...). لكن البوتات سيئة النية يمكن أن تتجاوزه. مثلاً Screaming Frog عبر تحديد هذا الخيار:
لماذا يُعدّ ملف robots.txt مهماً لـ SEO؟
كما ذكرنا، تحترم كل البوتات الجيدة (كـ GoogleBot) هذا البروتوكول، فما يمكننا فعله هو توجيه Google عبر الموقع باستخدام هذا الملف.
ماذا؟ ماذا تقول؟ توجيه Google عبر robots.txt؟
نعم، لا تقلق، سأوضّح ذلك بمثال ليصبح أوضح بكثير:
تخيّل أن لديك في موقعك منطقة خاصة لا يصل إليها إلا المستخدمون المسجّلون. كما تعلم جيداً، لا يستطيع Google (حتى الآن) الوصول إلى أي موقع يتطلب تسجيل الدخول.
ألا يكون منطقياً ألا يهدر Google crawl budget في الزحف لصفحات لا قيمة لها؟
بالضبط! من أهم استخدامات robots.txt حجب الطرق منخفضة القيمة عن Google ليتركز على الصفحات المهمة في الموقع. لهذا السبب، يجب أن يكون robots.txt من الركائز الواجب أخذها بعين الاعتبار ضمن استراتيجية SEO.
هذا مجرد مثال على آلاف الأشياء التي يمكنك فعلها بهذا الملف. أمثلة أخرى: الإشارة إلى الـ sitemap، تقليل تواتر الزحف، حجب زحف الموارد، وغير ذلك.
كيف تنشئ ملف robots.txt
حسناً... لنباشر العمل!
إنشاء هذا الملف بسيط حقاً. ما عليك سوى أخذ محرر نصوص (Notepad في Windows أو TextEdit في Mac) أو محرر على الإنترنت، وكتابة robots.txt ثم تصديره كملف txt.
بمجرد امتلاكه، سمّه "robots.txt" وارفعه إلى جذر الويب عبر لوحة الخادم أو FTP.
للتأكد من أنه رُفع بشكل صحيح، يكفي إضافة "/robots.txt" إلى نطاقك. مثال: https://seocrawl.com/robots.txt
تنبيه: انتبه للذاكرة المؤقتة. الأفضل أن تراه في وضع التصفّح الخاص ;)
إذا كان لديك WordPress؟
إذا كان لديك WordPress، فالأمر أبسط لأن أفضل ملحقات SEO كـ Rank Math أو Yoast تقدّم إضافات مدمجة لتحرير robots.txt مباشرة.
في حالة Rank Math تجده في Rank Math > General Settings > Edit robots.txt
في حالة Yoast اذهب إلى SEO > Tools > File Editor
هكذا يمكنك تحرير الملف أو إنشاؤه بسهولة دون الحاجة لتنفيذ الخطوات السابقة.
الأوامر
سنرى أدناه كثيراً من الأوامر التي يمكنك استخدامها مع أمثلتها:
حجب زحف الموقع
User-agent: * Disallow: /
ملاحظة: تعمل هذه القاعدة جيداً إذا كنت تطوّر موقعاً ولا تريد أن يدخل أي بوت ليقرأ المحتوى ويفهرسه.
حجب زحف صفحة
User-agent: * Disallow: /url-of-page-i-dont-want-crawled
حجب زحف مجلد
User-agent: * Disallow: /folder/
السماح بالوصول إلى صفحة
User-agent: * Allow: /page
حجب مجلد والسماح بصفحة من ذلك المجلد
User-agent: * Disallow: /folder/ Allow: /folder/page
الإشارة إلى sitemap
Sitemap: https://domain.com/sitemap.xml
الأوامر لبوت محدد
في هذه الحالة سنتعمق أكثر قليلاً. إذا لاحظت، فإن معظم التوجيهات السابقة كانت تبدأ بـ:
User-agent: *
تشير علامة "*" إلى كل البوتات. أي أن كل التوجيهات بعد هذا السطر تنطبق على كل البوتات. إذا أردنا إرسال أمر معين لبوت محدد، علينا تغييرها إلى:
User-agent: Googlebot للإشارة إلى بوت Google
User-agent: Bingbot للإشارة إلى بوت Bing
User-agent: DuckDuckBot للإشارة إلى بوت DuckDuckGo
ما عليك سوى معرفة اسم البوت الذي تريد إرسال أمر له وتسميته كما عرضنا للتو.
مراجعة واختبار ملف robots.txt
الآن وقد أنهينا "ضبط" robots ليكون مُحسَّناً ومُكيَّفاً تماماً مع الموقع، يبقى اختباره.
اختباره؟ ولماذا؟
حسناً، نختبره للتأكد من أننا لم نخطئ في أي سطر، ومن أنه يعمل فعلاً في حجب الأجزاء التي نريد حجبها من الموقع.
لذلك ننصح باستخدام هذه الأداة.
عند الدخول، عليك:
-
إدخال URL تريد التحقق من السماح بزحفه
-
اختيار User Agent
-
النقر على TEST
مباشرة سيحمّل ملف robots.txt كاملاً وأسفله سيخبرك ما إذا كان الوصول مسموحاً أم لا.
في هذه الحالة، كما ترى، يقدّم نتيجة إيجابية، لكن إذا أدخلت URL غير مسموح، فسيُبرز السطر الذي يحجبه:
كما تتيح الأداة تحرير ملف robots.txt مباشرة من هناك لإجراء التعديلات اللازمة لتتوافق النتيجة مع هدفك. بعد التعديل والاختبار يكفي تطبيق هذه التعديلات الجديدة في robots.
نصيحة إضافية: اجعل robots.txt لا يُنسى
عرضنا لك كثيراً من أسطر الكود التي تعمل للبوتات، لكن يمكنك أيضاً إدراج تعليقات ببدء السطر بـ "#". أي أن كل ما يبدأ بـ "#" يتجاهله البوت. يفتح هذا عالماً من الإمكانات والنكات الداخلية. لذا أنصحك بإلقاء نظرة على robots.txt لـ windupschool، pccomponentes، أو Minube. بالتأكيد ستجد مفاجآت ?
الخلاصة
كما رأيت، ملف robots.txt لديه الكثير ليقدّمه ويتطلب أيضاً انتباهاً كبيراً، إذ قد يحجب توجيه موضوع في غير مكانه زحف الموقع كاملاً.
نأمل أن يكون هذا الدليل مفيداً، ولأي سؤال نلقاكم في التعليقات.
بقلم: David Kaufmann
قضيتُ السنوات العشر الأخيرة منشغلًا تمامًا بـ SEO — وبصراحة، لم أكن لأبدّل ذلك بأي شيء آخر.
تطوّرت مسيرتي إلى مستوى جديد عندما عملت أخصّائيَّ SEO أوّل في Chess.com — أحد أكثر 100 موقع زيارةً على الإنترنت بأكمله. العمل على هذا النطاق علّمني ما لم تعلّمه لي أي دورة أو شهادة.
من هذه التجربة، أسّستُ SEO Alive — وكالة للعلامات التجارية الجادّة بشأن النموّ العضوي. وبما أنّي لم أجد أداةً تُتقن العالَمَين الكلاسيكي وعصر الذكاء الاصطناعي، بنيتُ SEOcrawl. إن كنت تبحث عن شريك SEO خبير يعشق هذا المجال — يسعدني التواصل معك!
اكتشف المزيد من محتوى هذا الكاتب
