בדיקת בוטים של AI ב-robots.txt בחינם: ראו אילו זחלני AI מגיעים לאתר שלכם
הדביקו את הדומיין או את כתובת ה-robots.txt שלכם. אנחנו קוראים את הקובץ, מתאימים כל זחלן AI מרכזי מול כללי ה-Allow וה-Disallow שלכם, ואומרים לכם בוט אחר בוט אילו מהם מגיעים לאתר שלכם. ללא צורך בהרשמה.
חינם, ללא הרשמה. אנחנו קוראים את ה-robots.txt שלכם ומראים אילו זחלני AI — GPTBot, ClaudeBot, Google-Extended, PerplexityBot ועוד — אתם מתירים או חוסמים כעת.
מה בדיקת בוטים של AI מאמתת
- פסק דין לכל בוט (מותר, חלקי, חסום) עבור כל user-agent מרכזי של AI
- זחלני אימון: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- זחלני חיפוש: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- בוטי אחזור לפי דרישה: ChatGPT-User, Claude-User, Perplexity-User
- מיקום כתובת ה-robots.txt וקוד סטטוס HTTP
- התנגשויות בין User-agent: * לבין כללים ספציפיים לבוט
- נתיבים חסומים לכל בוט — כדי שתראו מה מוסתר, לא רק מה חסום
מדוע ה-robots.txt שלכם חשוב יותר מבעבר
ה-robots.txt הוא הדבר הראשון שזחלן קורא, וחברות AI מפעילות כיום זחלנים מרובים עם שמות user-agent נפרדים. ל-OpenAI לבדה יש שלושה: GPTBot לאימון, OAI-SearchBot עבור ChatGPT Search, ו-ChatGPT-User לאחזור לפי דרישה. ל-Anthropic, ל-Google, ל-Perplexity, ל-Common Crawl ול-Meta יש כל אחד את שלו.
ההחלטות שאתם מקבלים בקובץ הזה מעצבות שתי תוצאות שונות. חסמו את זחלני החיפוש והמותג שלכם נעלם מתשובות של ChatGPT, Claude ו-Perplexity. השאירו את זחלני האימון פתוחים כשהתכוונתם לבטל הסכמה, והמודלים של מחר ילמדו מהתוכן שלכם בחינם.
רוב האתרים מסתיימים ברצון באחד ולא בשני.
מה הנתונים אומרים על חסימת בוטים של AI
שלושה מספרים ששווה להכיר לפני שאתם כותבים את הכללים.
כיצד לקרוא את התוצאה שלכם
מותר
הזחלן יכול לגשת לשורש האתר שלכם. עבור זחלני חיפוש כמו OAI-SearchBot, Claude-SearchBot ו-PerplexityBot, זה מה ששומר אתכם כשירים לציטוט בתשובות AI.
חלקי
הזחלן יכול להגיע לאתר שלכם, אך נתיבים ספציפיים חסומים עבורו. לרוב זה בסדר — כדאי לוודא שאינכם מסתירים דפים שאתם רוצים שיופיעו בחיפוש AI.
חסום
כלל Disallow: / עוצר את הזחלן לחלוטין. מכוון לביטול הסכמה לאימון, אך בעיה אם זהו זחלן חיפוש שרציתם להישאר נראים אליו.
טעויות ה-robots.txt הנפוצות ביותר (וכיצד לתקן אותן)
חסימת חיפוש AI בטעות.
כלל Disallow גורף שתופס את OAI-SearchBot, Claude-SearchBot או PerplexityBot מסיר אתכם בשקט מתשובות AI.
פתרון: רשמו את זחלני החיפוש בקבוצות User-agent משלהם והתירו אותם במפורש.
שימוש ב-User-agent: * לחסימת AI.
הקבוצה הזו תופסת גם את Googlebot, Bingbot וכל זחלן חיפוש רגיל, כך שהכלל חוסם הרבה יותר ממה שהתכוונתם.
פתרון: נקבו בשם כל user-agent של AI בקבוצה משלו והשאירו את התו הכללי בשקט.
בלבול בין Google-Extended ל-Googlebot.
חסימת הטוקן הלא נכון או משאירה את אימון ה-AI פעיל, או מסירה אתכם בטעות מהאינדקס של Google.
פתרון: השתמשו ב-Google-Extended כדי לבטל הסכמה לאימון של Gemini ו-Vertex AI; והשאירו את Googlebot ללא נגיעה עבור חיפוש אורגני.
התייחסות ל-robots.txt כאל חומת אש.
הוא המלצה בלבד. זחלנים מתנהגים היטב מכבדים אותו; גורמים זדוניים וגרדני צד שלישי מתעלמים ממנו.
פתרון: הוסיפו חסימה בצד השרת (כללי AI של Cloudflare, WAF, .htaccess) לבוטים שאתם חייבים לעצור בכוח.
Cloudflare עוקף את כלל ה-Allow שלכם.
מאז יולי 2025, Cloudflare חוסם בוטים של AI כברירת מחדל בדומיינים חדשים, ללא קשר למה שה-robots.txt שלכם אומר.
פתרון: פתחו את לוח הבקרה של Cloudflare, עברו אל Security ← Bots ← AI Scrapers and Crawlers, וכבו אותו אם אתם רוצים שבוטי חיפוש AI יגיעו לאתר שלכם.
רוצים לראות אם AI באמת מצטט אתכם?
ביקורת robots.txt אומרת לכם אילו זחלני AI יכולים להגיע לאתר שלכם. ה-SEOcrawl AI Tracker אומר לכם מה הם עושים ברגע שהם שם. גלו באיזו תדירות ChatGPT, Claude, Gemini ו-Perplexity מזכירים ומצטטים את המותג שלכם, אילו פרומפטים מפעילים אתכם, וכיצד אתם משתווים למתחרים שאתם בוחרים לנטר — לצד נתוני Google Search Console שלכם באותו דשבורד.
שאלות נפוצות
מהי בדיקת בוטים של AI?
כלי שקורא את ה-robots.txt שלכם ואומר לכם אילו זחלני AI אתם מתירים או חוסמים, בוט אחד בכל פעם. הוא משווה את כללי ה-Allow וה-Disallow שלכם מול טוקני ה-user-agent של חברות ה-AI המרכזיות: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl ואחרים.
מהו GPTBot?
GPTBot הוא זחלן הרשת של OpenAI, שהושק באוגוסט 2023, ומשמש לאיסוף תוכן זמין לציבור לאימון מודלי GPT עתידיים. הוא אינו אותו בוט כמו OAI-SearchBot, המפעיל את ChatGPT Search, או ChatGPT-User, המאחזר דף כשמישהו מבקש מעוזר לקרוא אותו. שלושתם מצייתים ל-robots.txt באופן עצמאי, כך שתוכלו להתיר אחד ולחסום אחר.
מה ההבדל בין בוטי אימון, חיפוש ואחזור לפי דרישה של AI?
בוטי אימון (GPTBot, CCBot, Google-Extended, Bytespider) מגרדים תוכן כדי לאמן את המודלים הבסיסיים. בוטי חיפוש (OAI-SearchBot, Claude-SearchBot, PerplexityBot) מאנדקסים את האתר שלכם כדי שניתן יהיה לצטט אותו בתשובות חיפוש AI. בוטי אחזור לפי דרישה (ChatGPT-User, Claude-User, Perplexity-User) מאחזרים דף יחיד בזמן אמת כשמשתמש שואל את העוזר עליו. ניתן לשלוט בכל אחד בנפרד ב-robots.txt.
כיצד אחסום זחלני AI ב-robots.txt?
הוסיפו קבוצה אחת לכל זחלן עם כלל Disallow. לדוגמה: "User-agent: GPTBot" ואחריו "Disallow: /" בשורה הבאה. כדי לחסום כמה, רשמו כל user-agent בקבוצה משלו. זכרו ש-robots.txt הוא המלצה: זחלנים מתנהגים היטב כמו GPTBot ו-ClaudeBot מכבדים אותו, אך הוא לא יעצור בוט שבוחר להתעלם ממנו.
האם כדאי לחסום בוטים של AI או להתיר אותם?
זה תלוי במטרה שלכם. התירו את בוטי החיפוש (OAI-SearchBot, Claude-SearchBot, PerplexityBot) כדי שהמותג שלכם יוכל להיות מצוטט בתשובות AI. חסמו את בוטי האימון (GPTBot, CCBot, Google-Extended, Bytespider) רק אם יש לכם סיבה ספציפית לבטל הסכמה. מחקר של Rutgers/Wharton מצא שמפרסמים שחסמו זחלני AI באופן גורף איבדו 23% מסך התעבורה שלהם, ולכן איסורים גורפים ממעטים להשתלם.
האם ClaudeBot מכבד את robots.txt?
כן. התיעוד הרשמי של Anthropic מאשר ש-ClaudeBot, Claude-User ו-Claude-SearchBot כולם מכבדים את הוראות ה-robots.txt הסטנדרטיות, כולל הרחבת ה-Crawl-delay הלא-סטנדרטית. ניתן להתיר או לחסום כל user-agent באופן עצמאי, כך שתוכלו לבטל הסכמה לאימון בעודכם נשארים ניתנים לציטוט בתשובות החיפוש של Claude.
האם חסימת Google-Extended פוגעת בדירוגים שלי ב-Google?
לא. Google-Extended שולט רק בשאלה אם התוכן שלכם משמש לאימון ולביסוס של Gemini ו-Vertex AI. זהו טוקן נפרד מ-Googlebot, ולכן חסימת Google-Extended אינה משפיעה על האופן שבו אתם מדורגים בחיפוש Google. זו הדרך הנקייה לבטל הסכמה לאימון AI מבלי לגעת בחיפוש האורגני.
האם חסימת בוטי ה-AI המוגדרת כברירת מחדל ב-Cloudflare עוקפת את כלל ה-Allow ב-robots.txt שלי?
כן, חסימה ברמת הרשת מנצחת. מאז 1 ביולי 2025, Cloudflare חוסם בוטים של AI כברירת מחדל בכל דומיין חדש באמצעות הכלל המנוהל "AI Scrapers and Crawlers", גם אם ה-robots.txt שלכם אומר Allow. אם בוט מופיע כ-Allowed בבודק הזה אך אינו יכול בפועל לאחזר את הדפים שלכם, בדקו את הגדרות ה-Security ← Bots ב-Cloudflare.
