เครื่องมือตรวจสอบบอท AI ใน robots.txt: ดูว่าคุณอนุญาตครอว์เลอร์ AI ตัวใดบ้าง
วางโดเมนของคุณ แล้วเราจะอ่าน robots.txt ของคุณ จากนั้นแสดงให้เห็น — ทีละบอท — ว่าคุณอนุญาตหรือบล็อก GPTBot, ClaudeBot, Google-Extended, PerplexityBot และครอว์เลอร์ AI หลักตัวอื่นๆ ทุกตัว ค้นหาว่าคุณปรากฏในการค้นหา AI หรือไม่ก่อนที่คู่แข่งของคุณจะรู้ ไม่ต้องสมัคร
ฟรี ไม่ต้องสมัคร เราอ่าน robots.txt ของคุณและแสดงว่าครอว์เลอร์ AI ตัวใด — GPTBot, ClaudeBot, Google-Extended, PerplexityBot และอื่นๆ — ที่คุณอนุญาตหรือบล็อกอยู่ในขณะนี้
ทำไมบอท AI ใน robots.txt ของคุณ จึงสำคัญต่อการมองเห็น
robots.txt คือสิ่งแรกที่ครอว์เลอร์อ่าน และตอนนี้บริษัท AI ต่างก็มีครอว์เลอร์ของตัวเองพร้อมชื่อ user-agent ของตัวเอง เฉพาะ OpenAI เพียงรายเดียวก็ใช้ GPTBot สำหรับการฝึก, OAI-SearchBot สำหรับ ChatGPT Search และ ChatGPT-User สำหรับการดึงข้อมูลตามต้องการ Anthropic, Google, Perplexity, Common Crawl และรายอื่นๆ ต่างก็มีของตัวเอง กฎ Disallow เพียงข้อเดียวเป็นตัวตัดสินว่าเนื้อหาของคุณจะป้อนและถูกอ้างอิงโดยระบบเหล่านี้ได้หรือไม่
ทำผิดในทิศทางใดทิศทางหนึ่งก็มีราคาที่ต้องจ่าย: บล็อกครอว์เลอร์ค้นหาแล้วแบรนด์ของคุณจะหายไปจากคำตอบ AI; เปิดครอว์เลอร์ฝึกทิ้งไว้ทั้งที่ตั้งใจจะปฏิเสธ แล้วเนื้อหาของคุณก็ฝึกโมเดลให้ฟรีๆ การตรวจสอบอย่างรวดเร็วจะบอกคุณได้อย่างชัดเจนว่าคุณอยู่ตรงไหนในบอท AI หลักทุกตัว
วิธีอ่านผลลัพธ์ของคุณ
อนุญาต
ครอว์เลอร์สามารถเข้าถึงรากของเว็บไซต์คุณได้ สำหรับบอทค้นหา AI อย่าง OAI-SearchBot, ClaudeBot และ PerplexityBot นี่คือสิ่งที่ทำให้คุณมีสิทธิ์ถูกอ้างอิงในคำตอบ AI
บางส่วน
ครอว์เลอร์เข้าถึงเว็บไซต์ของคุณได้ แต่ robots.txt ของคุณห้ามบางเส้นทางสำหรับมัน โดยปกติแล้วไม่เป็นไร — เพียงยืนยันว่าคุณไม่ได้ซ่อนหน้าที่คุณต้องการให้ปรากฏในการค้นหา AI
ถูกบล็อก
กฎ Disallow: / หยุดครอว์เลอร์นี้ไว้ที่ประตู ตั้งใจไว้สำหรับการปฏิเสธการฝึก แต่เป็นปัญหาหากเป็นครอว์เลอร์ค้นหาที่คุณต้องการให้มองเห็นได้
ข้อผิดพลาดที่พบบ่อยใน robots.txt — และวิธีแก้ไข
บล็อกการค้นหา AI โดยไม่ตั้งใจ
กฎ Disallow แบบครอบคลุมที่ดักจับ OAI-SearchBot หรือ PerplexityBot จะลบคุณออกจากคำตอบ AI อย่างเงียบๆ อนุญาตครอว์เลอร์ค้นหา; บล็อกเฉพาะบอทฝึกหากจำเป็นเท่านั้น
พึ่งพา User-agent: * สำหรับ AI
ครอว์เลอร์ AI จำนวนมากไม่สนใจกลุ่มไวลด์การ์ดและเชื่อฟังเฉพาะกฎที่ระบุโทเค็นที่แน่นอนของมันเท่านั้น กำหนดเป้าหมายบอท AI แต่ละตัวด้วย user-agent เฉพาะของมัน
สับสนระหว่าง Google-Extended กับ Googlebot
การบล็อกโทเค็นที่ผิดอาจปล่อยให้การฝึก AI เปิดอยู่ หรือทำให้คุณหลุดจากดัชนีการค้นหาโดยไม่ตั้งใจ ใช้ Google-Extended สำหรับ AI และ Googlebot สำหรับการค้นหา
เชื่อใจ robots.txt ว่าเป็นไฟร์วอลล์
robots.txt เป็นเพียงคำแนะนำ — มันจะไม่หยุดครอว์เลอร์ที่เลือกจะเพิกเฉยหรือดึงข้อมูลผ่านบุคคลที่สาม ใช้การบล็อกฝั่งเซิร์ฟเวอร์สำหรับบอทที่คุณต้องหยุดให้เด็ดขาด
ติดตามแบรนด์ของคุณ ทั่วคำตอบ AI
การอนุญาตครอว์เลอร์ AI เป็นเพียงขั้นแรก AI Tracker ของ SEOcrawl แสดงให้เห็นว่าเกิดอะไรขึ้นต่อไป: มันติดตามว่า ChatGPT, Claude, Gemini และ Perplexity กล่าวถึงและอ้างอิงแบรนด์ของคุณจริงบ่อยแค่ไหน พรอมต์ใดที่กระตุ้นให้มีคุณ และคุณเทียบกับคู่แข่งอย่างไร — ทั้งหมดควบคู่ไปกับข้อมูล Google Search Console ของคุณในที่เดียว
คำถามที่พบบ่อย
เครื่องมือตรวจสอบบอท AI คืออะไร?
เครื่องมือตรวจสอบบอท AI จะอ่านไฟล์ robots.txt ของเว็บไซต์และบอกคุณว่าขณะนี้อนุญาตหรือบล็อกครอว์เลอร์ AI ตัวใดบ้าง มันตรวจสอบโทเค็น user-agent ของบริษัท AI หลักๆ — OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) และอื่นๆ — เทียบกับกฎ Allow และ Disallow ใน robots.txt ของคุณ
ฉันจะบล็อกครอว์เลอร์ AI ใน robots.txt ได้อย่างไร?
เพิ่มกลุ่มต่อหนึ่งครอว์เลอร์พร้อมกฎ Disallow เช่น "User-agent: GPTBot" ตามด้วย "Disallow: /" หากต้องการบล็อกหลายตัว ให้ระบุ user-agent แต่ละตัวในกลุ่มของตัวเอง โปรดจำไว้ว่า robots.txt เป็นเพียงคำแนะนำ: ครอว์เลอร์ที่ประพฤติดีอย่าง GPTBot และ ClaudeBot เคารพมัน แต่มันไม่ใช่กลไกบังคับใช้ ดังนั้นมันจึงไม่หยุดบอทที่เลือกจะเพิกเฉย
ฉันควรบล็อกบอท AI หรืออนุญาตให้พวกมัน?
ขึ้นอยู่กับเป้าหมายของคุณ การบล็อกครอว์เลอร์ฝึก (GPTBot, CCBot, Google-Extended) เป็นการปฏิเสธไม่ให้เนื้อหาของคุณถูกใช้ฝึกโมเดล แต่การบล็อกครอว์เลอร์ค้นหา AI (OAI-SearchBot, ClaudeBot, PerplexityBot) อาจทำให้แบรนด์ของคุณหายไปจากคำตอบของ ChatGPT, Claude และ Perplexity ส่งผลต่อการมองเห็นและทราฟฟิกการแนะนำ เว็บไซต์จำนวนมากอนุญาตครอว์เลอร์ค้นหาในขณะที่บล็อกเฉพาะตัวที่ใช้ฝึกเท่านั้น
การบล็อก Google-Extended ทำให้อันดับ Google ของฉันเสียหายหรือไม่?
ไม่ Google-Extended ควบคุมเพียงว่าเนื้อหาของคุณถูกใช้ฝึกและเป็นพื้นฐานให้ Gemini และ Vertex AI หรือไม่ มันแยกจาก Googlebot ดังนั้นการบล็อก Google-Extended จึงไม่มีผลต่ออันดับของคุณในการค้นหา Google มันเป็นวิธีที่สะอาดในการปฏิเสธการฝึก AI โดยไม่แตะต้องการค้นหาออร์แกนิก
อะไรคือความแตกต่างระหว่างบอท AI แบบฝึก ค้นหา และดึงตามต้องการ?
บอทฝึก (GPTBot, CCBot, Google-Extended, Bytespider) ดึงเนื้อหามาฝึกโมเดล บอทค้นหา (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ทำดัชนีเว็บไซต์ของคุณเพื่อให้สามารถถูกอ้างอิงในคำตอบการค้นหา AI บอทดึงตามต้องการ (ChatGPT-User, Claude-User, Perplexity-User) ดึงหน้าเดียวแบบเรียลไทม์เมื่อผู้ใช้ถามผู้ช่วยเกี่ยวกับมัน การบล็อกแต่ละตัวมีผลลัพธ์ที่แตกต่างกันมากต่อการมองเห็นใน AI
