בדיקת בוטים של AI ב-robots.txt: ראו אילו זחלני AI אתם מתירים
הדביקו את הדומיין שלכם ואנחנו נקרא את ה-robots.txt שלכם, ואז נראה — בוט אחר בוט — האם אתם מתירים או חוסמים את GPTBot, ClaudeBot, Google-Extended, PerplexityBot וכל זחלן AI מרכזי אחר. גלו אם אתם נראים בחיפוש ה-AI לפני שהמתחרים שלכם יגלו. ללא הרשמה.
חינם, ללא הרשמה. אנחנו קוראים את ה-robots.txt שלכם ומראים אילו זחלני AI — GPTBot, ClaudeBot, Google-Extended, PerplexityBot ועוד — אתם מתירים או חוסמים כעת.
מדוע בוטים של AI ב-robots.txt שלכם חשובים לנראות
ה-robots.txt הוא הדבר הראשון שזחלן קורא, וחברות AI מפעילות כיום זחלנים משלהן עם שמות user-agent משלהן. OpenAI לבדה משתמשת ב-GPTBot לאימון, ב-OAI-SearchBot עבור ChatGPT Search, וב-ChatGPT-User לאחזור לפי דרישה. ל-Anthropic, ל-Google, ל-Perplexity, ל-Common Crawl ולאחרים יש כל אחד את שלו. כלל Disallow יחיד מכריע אם התוכן שלכם יכול להזין את המערכות האלה ולהיות מצוטט על ידן.
טעות בכל אחד מהכיוונים עולה לכם: חסמו את זחלני החיפוש והמותג שלכם נעלם מתשובות ה-AI; השאירו את זחלני האימון פתוחים כשהתכוונתם לבטל הסכמה והתוכן שלכם מאמן מודלים בחינם. בדיקה מהירה אומרת לכם בדיוק היכן אתם עומדים בכל בוט AI מרכזי.
כיצד לקרוא את התוצאה שלכם
מותר
הזחלן יכול לגשת לשורש האתר שלכם. עבור זחלני חיפוש AI כמו OAI-SearchBot, ClaudeBot ו-PerplexityBot, זה מה ששומר אתכם כשירים לציטוט בתשובות AI.
חלקי
הזחלן יכול להגיע לאתר שלכם, אך ה-robots.txt שלכם חוסם עבורו חלק מהנתיבים. לרוב זה בסדר — רק ודאו שאינכם מסתירים דפים שאתם רוצים שיופיעו בחיפוש AI.
חסום
כלל Disallow: / עוצר את הזחלן הזה בפתח. מכוון לביטול הסכמה לאימון, אך בעיה אם זהו זחלן חיפוש שרציתם להישאר נראים אליו.
טעויות נפוצות ב-robots.txt — וכיצד לתקן אותן
חסימת חיפוש AI בטעות.
כלל Disallow גורף שתופס את OAI-SearchBot או PerplexityBot מסיר אתכם בשקט מתשובות AI. התירו את זחלני החיפוש; חסמו רק בוטי אימון אם אתם חייבים.
הסתמכות על User-agent: * עבור AI.
זחלני AI רבים מתעלמים מקבוצת התו הכללי ומצייתים רק לכלל שמציין את הטוקן המדויק שלהם. כוונו לכל בוט AI לפי ה-user-agent הספציפי שלו.
בלבול בין Google-Extended ל-Googlebot.
חסימת הטוקן הלא נכון או משאירה את אימון ה-AI פעיל, או מסירה אתכם בטעות מהאינדקס של החיפוש. השתמשו ב-Google-Extended עבור AI, וב-Googlebot עבור חיפוש.
אמון ב-robots.txt כחומת אש.
robots.txt הוא המלצה בלבד — הוא לא יעצור זחלנים שבוחרים להתעלם ממנו או לגרד דרך צד שלישי. השתמשו בחסימה בצד השרת לבוטים שאתם חייבים לעצור בכוח.
עקבו אחר המותג שלכם ברחבי תשובות ה-AI
התרת זחלני AI היא שלב ראשון. ה-AI Tracker של SEOcrawl מראה מה קורה בהמשך: הוא מנטר באיזו תדירות ChatGPT, Claude, Gemini ו-Perplexity מזכירים ומצטטים בפועל את המותג שלכם, אילו פרומפטים מפעילים אתכם, וכיצד אתם משתווים למתחרים — הכול לצד נתוני Google Search Console שלכם במקום אחד.
שאלות נפוצות
מהי בדיקת בוטים של AI?
בדיקת בוטים של AI קוראת את קובץ ה-robots.txt של אתר ואומרת לכם אילו זחלני AI הוא מתיר או חוסם כעת. היא בודקת את טוקני ה-user-agent של חברות ה-AI המרכזיות — OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) ואחרים — מול כללי ה-Allow וה-Disallow ב-robots.txt שלכם.
כיצד אחסום זחלני AI ב-robots.txt?
הוסיפו קבוצה לכל זחלן עם כלל Disallow, למשל "User-agent: GPTBot" ואחריו "Disallow: /". כדי לחסום כמה, רשמו כל user-agent בקבוצה משלו. זכרו ש-robots.txt הוא המלצה: זחלנים מתנהגים היטב כמו GPTBot ו-ClaudeBot מכבדים אותו, אך הוא אינו מנגנון אכיפה, ולכן הוא לא יעצור בוטים שבוחרים להתעלם ממנו.
האם כדאי לחסום בוטים של AI או להתיר אותם?
זה תלוי במטרה שלכם. חסימת זחלני אימון (GPTBot, CCBot, Google-Extended) מבטלת את הסכמת התוכן שלכם לאימון מודלים. אך חסימת זחלני חיפוש AI (OAI-SearchBot, ClaudeBot, PerplexityBot) עלולה להשאיר את המותג שלכם מחוץ לתשובות של ChatGPT, Claude ו-Perplexity, ולעלות לכם בנראות ובתעבורת הפניה. אתרים רבים מתירים זחלני חיפוש בעודם חוסמים את אלה לאימון בלבד.
האם חסימת Google-Extended פוגעת בדירוגים שלי ב-Google?
לא. Google-Extended שולט רק בשאלה אם התוכן שלכם משמש לאימון ולביסוס של Gemini ו-Vertex AI. הוא נפרד מ-Googlebot, ולכן חסימת Google-Extended אינה משפיעה על האופן שבו אתם מדורגים בחיפוש Google. זו הדרך הנקייה לבטל הסכמה לאימון AI מבלי לגעת בחיפוש האורגני.
מה ההבדל בין בוטי אימון, חיפוש ואחזור לפי דרישה של AI?
בוטי אימון (GPTBot, CCBot, Google-Extended, Bytespider) מגרדים תוכן כדי לאמן מודלים. בוטי חיפוש (OAI-SearchBot, Claude-SearchBot, PerplexityBot) מאנדקסים את האתר שלכם כדי שניתן יהיה לצטט אותו בתשובות חיפוש AI. בוטי אחזור לפי דרישה (ChatGPT-User, Claude-User, Perplexity-User) מאחזרים דף יחיד בזמן אמת כשמשתמש שואל את העוזר עליו. לחסימת כל אחד יש השלכות שונות מאוד על נראות ה-AI.
