أداة فحص روبوتات الذكاء الاصطناعي في robots.txt مجانًا: اعرف أي زواحف ذكاء اصطناعي تصل إلى موقعك
الصق نطاقك أو رابط ملف robots.txt الخاص بك. نقرأ الملف، ونطابق كل زاحف ذكاء اصطناعي رئيسي مع قواعد Allow و Disallow لديك، ونخبرك زاحفًا تلو الآخر أيها يصل إلى موقعك. بدون حاجة إلى تسجيل.
مجاني وبدون تسجيل. نقرأ ملف robots.txt الخاص بك ونعرض أي زواحف ذكاء اصطناعي — GPTBot و ClaudeBot و Google-Extended و PerplexityBot والمزيد — تسمح بها أو تحظرها حاليًا.
ما الذي تتحقق منه أداة فحص روبوتات الذكاء الاصطناعي
- حكم لكل روبوت (مسموح، جزئي، محظور) لكل وكيل مستخدم ذكاء اصطناعي رئيسي
- زواحف التدريب: GPTBot و ClaudeBot و Google-Extended و CCBot و Bytespider و Meta-ExternalAgent
- زواحف البحث: OAI-SearchBot و Claude-SearchBot و PerplexityBot و Applebot-Extended
- روبوتات الجلب عند الطلب: ChatGPT-User و Claude-User و Perplexity-User
- موقع رابط robots.txt ورمز حالة HTTP
- التعارضات بين User-agent: * والقواعد الخاصة بكل روبوت
- المسارات المحظورة لكل روبوت — لترى ما هو مخفي، وليس فقط ما هو محظور
لماذا صار ملف robots.txt أهم مما كان عليه من قبل
ملف robots.txt هو أول ما يقرأه أي زاحف، وتشغّل شركات الذكاء الاصطناعي الآن زواحف متعددة بأسماء وكلاء مستخدم منفصلة. لدى OpenAI وحدها ثلاثة: GPTBot للتدريب، و OAI-SearchBot لبحث ChatGPT، و ChatGPT-User للجلب عند الطلب. ولكل من Anthropic و Google و Perplexity و Common Crawl و Meta زواحفها الخاصة.
القرارات التي تتخذها في هذا الملف تشكّل نتيجتين مختلفتين. احظر زواحف البحث فتختفي علامتك التجارية من إجابات ChatGPT و Claude و Perplexity. واترك زواحف التدريب مفتوحة بينما كنت تنوي الانسحاب، فتتعلم نماذج الغد من محتواك مجانًا.
وينتهي الأمر بمعظم المواقع إلى أنها تريد أحدهما دون الآخر.
ماذا تقول البيانات عن حظر روبوتات الذكاء الاصطناعي
ثلاثة أرقام يجدر معرفتها قبل أن تكتب القواعد.
كيف تقرأ نتيجتك
مسموح
يمكن للزاحف الوصول إلى جذر موقعك. وبالنسبة لزواحف البحث مثل OAI-SearchBot و Claude-SearchBot و PerplexityBot، فهذا ما يبقيك مؤهلاً للاستشهاد بك في إجابات الذكاء الاصطناعي.
جزئي
يمكن للزاحف الوصول إلى موقعك، لكن مسارات محددة محظورة عليه. وعادةً ما يكون ذلك جيدًا — يستحسن التأكد أنك لا تخفي صفحات تريد إظهارها في بحث الذكاء الاصطناعي.
محظور
قاعدة Disallow: / توقف الزاحف بالكامل. وهذا مقصود للانسحاب من التدريب، لكنه مشكلة إذا كان زاحف بحث أردت أن تبقى ظاهرًا له.
أكثر أخطاء robots.txt شيوعًا (وكيفية إصلاحها)
حظر بحث الذكاء الاصطناعي عن طريق الخطأ.
قاعدة Disallow شاملة تطال OAI-SearchBot أو Claude-SearchBot أو PerplexityBot تزيلك بهدوء من إجابات الذكاء الاصطناعي.
الحل: اذكر زواحف البحث في مجموعات User-agent خاصة بها واسمح لها صراحةً.
استخدام User-agent: * لحظر الذكاء الاصطناعي.
تطال هذه المجموعة أيضًا Googlebot و Bingbot وكل زاحف بحث عادي، فتحظر القاعدة أكثر بكثير مما قصدت.
الحل: سمِّ كل وكيل مستخدم ذكاء اصطناعي في مجموعته الخاصة واترك الرمز البديل وشأنه.
الخلط بين Google-Extended و Googlebot.
احظر الرمز الخاطئ فتُبقي تدريب الذكاء الاصطناعي مفعّلاً، أو تلغي فهرستك من بحث Google عن طريق الخطأ.
الحل: استخدم Google-Extended للانسحاب من تدريب Gemini و Vertex AI؛ واترك Googlebot دون مساس للبحث العضوي.
التعامل مع robots.txt كجدار حماية.
إنه إرشادي فقط. فالزواحف حسنة السلوك تحترمه؛ أما الجهات السيئة والكاشطات الخارجية فتتجاهله.
الحل: أضف حظرًا من جانب الخادم (قواعد الذكاء الاصطناعي في Cloudflare أو WAF أو .htaccess) للروبوتات التي يجب إيقافها نهائيًا.
Cloudflare يتجاوز قاعدة Allow لديك.
منذ يوليو 2025، يحظر Cloudflare روبوتات الذكاء الاصطناعي افتراضيًا على النطاقات الجديدة، بصرف النظر عمّا يقوله ملف robots.txt الخاص بك.
الحل: افتح لوحة تحكم Cloudflare، وانتقل إلى Security ← Bots ← AI Scrapers and Crawlers، وأوقف تفعيله إذا أردت أن تصل زواحف بحث الذكاء الاصطناعي إلى موقعك.
هل تريد أن ترى إن كان الذكاء الاصطناعي يستشهد بك فعلاً؟
يخبرك تدقيق robots.txt أي زواحف ذكاء اصطناعي يمكنها الوصول إلى موقعك. وتخبرك أداة SEOcrawl AI Tracker ما الذي تفعله بمجرد وصولها. اعرف كم مرة يذكر ChatGPT و Claude و Gemini و Perplexity علامتك التجارية ويستشهد بها، وأي المطالبات تستدعيك، وكيف تقارن بالمنافسين الذين تختار مراقبتهم — مقترنًا ببيانات Google Search Console على اللوحة نفسها.
الأسئلة الشائعة
ما هي أداة فحص روبوتات الذكاء الاصطناعي؟
أداة تقرأ ملف robots.txt الخاص بك وتخبرك أي زواحف ذكاء اصطناعي تسمح بها أو تحظرها، روبوتًا تلو الآخر. وهي تطابق قواعد Allow و Disallow لديك مع رموز وكلاء المستخدم لكبرى شركات الذكاء الاصطناعي: OpenAI (GPTBot و OAI-SearchBot و ChatGPT-User)، و Anthropic (ClaudeBot و Claude-SearchBot و Claude-User)، و Google (Google-Extended)، و Perplexity (PerplexityBot)، و Meta، و Common Crawl وغيرها.
ما هو GPTBot؟
GPTBot هو زاحف الويب الخاص بـ OpenAI، أُطلق في أغسطس 2023، ويُستخدم لجمع المحتوى المتاح للعموم من أجل تدريب نماذج GPT المستقبلية. وهو ليس الروبوت نفسه مثل OAI-SearchBot الذي يشغّل ChatGPT Search، ولا مثل ChatGPT-User الذي يجلب صفحة عندما يطلب أحدهم من المساعد قراءتها. وتطيع الثلاثة جميعها robots.txt بشكل مستقل، لذا يمكنك السماح بأحدها وحظر الآخر.
ما الفرق بين روبوتات التدريب والبحث والجلب عند الطلب من الذكاء الاصطناعي؟
روبوتات التدريب (GPTBot و CCBot و Google-Extended و Bytespider) تكشط المحتوى لتدريب النماذج الأساسية. وروبوتات البحث (OAI-SearchBot و Claude-SearchBot و PerplexityBot) تفهرس موقعك ليتسنى الاستشهاد به في إجابات بحث الذكاء الاصطناعي. وروبوتات الجلب عند الطلب (ChatGPT-User و Claude-User و Perplexity-User) تجلب صفحة واحدة في الوقت الفعلي عندما يسأل المستخدم المساعد عنها. ويمكن التحكم في كل منها على حدة في robots.txt.
كيف أحظر زواحف الذكاء الاصطناعي في robots.txt؟
أضف مجموعة واحدة لكل زاحف بقاعدة Disallow. على سبيل المثال: "User-agent: GPTBot" متبوعة بـ "Disallow: /" في السطر التالي. ولحظر عدة زواحف، اذكر كل وكيل مستخدم في مجموعته الخاصة. وتذكّر أن robots.txt إرشادي: فالزواحف حسنة السلوك مثل GPTBot و ClaudeBot تحترمه، لكنه لن يوقف روبوتًا يختار تجاهله.
هل ينبغي أن أحظر روبوتات الذكاء الاصطناعي أم أسمح بها؟
يعتمد ذلك على هدفك. اسمح لروبوتات البحث (OAI-SearchBot و Claude-SearchBot و PerplexityBot) كي يتسنى الاستشهاد بعلامتك التجارية في إجابات الذكاء الاصطناعي. واحظر روبوتات التدريب (GPTBot و CCBot و Google-Extended و Bytespider) فقط إذا كان لديك سبب محدد للانسحاب. وقد وجدت دراسة Rutgers/Wharton أن الناشرين الذين حظروا زواحف الذكاء الاصطناعي بالجملة خسروا 23% من إجمالي حركتهم، لذا نادرًا ما يؤتي الحظر الشامل ثماره.
هل يحترم ClaudeBot ملف robots.txt؟
نعم. تؤكد الوثائق الرسمية لـ Anthropic أن ClaudeBot و Claude-User و Claude-SearchBot جميعها تحترم توجيهات robots.txt القياسية، بما في ذلك امتداد Crawl-delay غير القياسي. ويمكن السماح بكل وكيل مستخدم أو حظره على حدة، لذا يمكنك الانسحاب من التدريب مع البقاء قابلاً للاستشهاد بك في إجابات بحث Claude.
هل حظر Google-Extended يضر بترتيبي في Google؟
لا. يتحكم Google-Extended فقط فيما إذا كان محتواك يُستخدم لتدريب وتأسيس Gemini و Vertex AI. وهو رمز منفصل عن Googlebot، لذا لا يؤثر حظر Google-Extended على ترتيبك في بحث Google. إنها الطريقة النظيفة للانسحاب من تدريب الذكاء الاصطناعي دون المساس بالبحث العضوي.
هل يتجاوز حظر روبوتات الذكاء الاصطناعي الافتراضي في Cloudflare قاعدة Allow في ملف robots.txt لديّ؟
نعم، الحظر على مستوى الشبكة هو الغالب. فمنذ 1 يوليو 2025، يحظر Cloudflare روبوتات الذكاء الاصطناعي افتراضيًا على كل نطاق جديد عبر قاعدته المُدارة "AI Scrapers and Crawlers"، حتى لو كان ملف robots.txt لديك يقول Allow. وإذا ظهر روبوت في هذه الأداة على أنه مسموح لكنه لا يستطيع فعليًا جلب صفحاتك، فتحقق من إعدادات Cloudflare في Security ← Bots.
المزيد من أدوات SEO المجانية
