เครื่องมือตรวจสอบบอท AI ใน robots.txt ฟรี: ดูว่าครอว์เลอร์ AI ตัวใดเข้าถึงเว็บไซต์ของคุณ
วางโดเมนหรือ URL ของ robots.txt ของคุณ เราจะอ่านไฟล์ จับคู่ครอว์เลอร์ AI หลักทุกตัวกับกฎ Allow และ Disallow ของคุณ และบอกคุณทีละบอทว่าตัวใดเข้าถึงเว็บไซต์ของคุณได้ ไม่ต้องสมัคร
ฟรี ไม่ต้องสมัคร เราอ่าน robots.txt ของคุณและแสดงว่าครอว์เลอร์ AI ตัวใด — GPTBot, ClaudeBot, Google-Extended, PerplexityBot และอื่นๆ — ที่คุณอนุญาตหรือบล็อกอยู่ในขณะนี้
เครื่องมือตรวจสอบบอท AI ตรวจสอบอะไรบ้าง
- คำตัดสินรายบอท (อนุญาต, บางส่วน, ถูกบล็อก) สำหรับทุก user-agent หลักของ AI
- ครอว์เลอร์ฝึก: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- ครอว์เลอร์ค้นหา: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- บอทดึงตามต้องการ: ChatGPT-User, Claude-User, Perplexity-User
- ตำแหน่ง URL ของ robots.txt และรหัสสถานะ HTTP
- ความขัดแย้งระหว่าง User-agent: * กับกฎเฉพาะบอท
- เส้นทางที่ถูกห้ามต่อบอท — เพื่อให้คุณเห็นว่าอะไรถูกซ่อน ไม่ใช่แค่อะไรถูกบล็อก
ทำไม robots.txt ของคุณจึงสำคัญกว่าแต่ก่อน
robots.txt คือสิ่งแรกที่ครอว์เลอร์อ่าน และตอนนี้บริษัท AI ต่างก็ใช้ครอว์เลอร์หลายตัวพร้อมชื่อ user-agent แยกกัน เฉพาะ OpenAI เพียงรายเดียวก็มีถึงสามตัว: GPTBot สำหรับการฝึก, OAI-SearchBot สำหรับ ChatGPT Search และ ChatGPT-User สำหรับการดึงข้อมูลตามต้องการ Anthropic, Google, Perplexity, Common Crawl และ Meta ต่างก็มีของตัวเอง
การตัดสินใจที่คุณทำในไฟล์นี้กำหนดผลลัพธ์สองแบบที่ต่างกัน บล็อกครอว์เลอร์ค้นหาแล้วแบรนด์ของคุณจะหายไปจากคำตอบของ ChatGPT, Claude และ Perplexity เปิดครอว์เลอร์ฝึกทิ้งไว้ทั้งที่ตั้งใจจะปฏิเสธ แล้วโมเดลของวันพรุ่งนี้ก็จะเรียนรู้จากเนื้อหาของคุณฟรีๆ
เว็บไซต์ส่วนใหญ่ลงเอยด้วยการต้องการอย่างหนึ่งแต่ไม่ต้องการอีกอย่าง
ข้อมูลบอกอะไรเกี่ยวกับการบล็อกบอท AI
สามตัวเลขที่ควรรู้ก่อนที่คุณจะเขียนกฎ
วิธีอ่านผลลัพธ์ของคุณ
อนุญาต
ครอว์เลอร์สามารถเข้าถึงรากของเว็บไซต์คุณได้ สำหรับบอทค้นหาอย่าง OAI-SearchBot, Claude-SearchBot และ PerplexityBot นี่คือสิ่งที่ทำให้คุณมีสิทธิ์ถูกอ้างอิงในคำตอบ AI
บางส่วน
ครอว์เลอร์เข้าถึงเว็บไซต์ของคุณได้ แต่มีบางเส้นทางที่ถูกห้ามสำหรับมัน โดยปกติแล้วไม่เป็นไร — ควรยืนยันว่าคุณไม่ได้ซ่อนหน้าที่คุณต้องการให้ปรากฏในการค้นหา AI
ถูกบล็อก
กฎ Disallow: / หยุดครอว์เลอร์ไว้ทั้งหมด ตั้งใจไว้สำหรับการปฏิเสธการฝึก แต่เป็นปัญหาหากเป็นครอว์เลอร์ค้นหาที่คุณต้องการให้มองเห็นได้
ข้อผิดพลาด robots.txt ที่พบบ่อยที่สุด (และวิธีแก้ไข)
บล็อกการค้นหา AI โดยไม่ตั้งใจ
กฎ Disallow แบบครอบคลุมที่ดักจับ OAI-SearchBot, Claude-SearchBot หรือ PerplexityBot จะลบคุณออกจากคำตอบ AI อย่างเงียบๆ
วิธีแก้: ระบุครอว์เลอร์ค้นหาในกลุ่ม User-agent ของตัวเองและอนุญาตอย่างชัดเจน
ใช้ User-agent: * เพื่อบล็อก AI
กลุ่มนั้นยังดักจับ Googlebot, Bingbot และครอว์เลอร์ค้นหาปกติทุกตัวด้วย ดังนั้นกฎจึงบล็อกมากกว่าที่คุณตั้งใจไว้มาก
วิธีแก้: ระบุชื่อ user-agent ของ AI แต่ละตัวในกลุ่มของมันเอง และปล่อยไวลด์การ์ดไว้ตามเดิม
สับสนระหว่าง Google-Extended กับ Googlebot
การบล็อกโทเค็นที่ผิดอาจปล่อยให้การฝึก AI เปิดอยู่ หรือทำให้คุณหลุดจากดัชนี Google โดยไม่ตั้งใจ
วิธีแก้: ใช้ Google-Extended เพื่อปฏิเสธการฝึกของ Gemini และ Vertex AI; ปล่อย Googlebot ไว้โดยไม่แตะต้องเพื่อการค้นหาออร์แกนิก
มองว่า robots.txt เป็นไฟร์วอลล์
มันเป็นเพียงคำแนะนำ ครอว์เลอร์ที่ประพฤติดีจะเคารพมัน; ผู้ไม่หวังดีและตัวขูดข้อมูลจากบุคคลที่สามจะเพิกเฉย
วิธีแก้: เพิ่มการบล็อกฝั่งเซิร์ฟเวอร์ (กฎ AI ของ Cloudflare, WAF, .htaccess) สำหรับบอทที่คุณต้องหยุดให้เด็ดขาด
Cloudflare ลบล้างกฎ Allow ของคุณ
นับตั้งแต่กรกฎาคม 2025 Cloudflare บล็อกบอท AI โดยค่าเริ่มต้นบนโดเมนใหม่ ไม่ว่า robots.txt ของคุณจะระบุอะไรก็ตาม
วิธีแก้: เปิดแดชบอร์ด Cloudflare ไปที่ Security → Bots → AI Scrapers and Crawlers แล้วปิดหากคุณต้องการให้บอทค้นหา AI เข้าถึงเว็บไซต์ของคุณ
อยากรู้ไหมว่า AI อ้างอิงคุณจริงหรือเปล่า?
การตรวจสอบ robots.txt บอกคุณว่าครอว์เลอร์ AI ตัวใดเข้าถึงเว็บไซต์ของคุณได้ SEOcrawl AI Tracker บอกคุณว่าพวกมันทำอะไรเมื่อเข้าไปถึงแล้ว เรียนรู้ว่า ChatGPT, Claude, Gemini และ Perplexity กล่าวถึงและอ้างอิงแบรนด์ของคุณบ่อยแค่ไหน พรอมต์ใดที่กระตุ้นให้มีคุณ และคุณเทียบกับคู่แข่งที่คุณเลือกติดตามอย่างไร — ควบคู่ไปกับข้อมูล Google Search Console ของคุณบนแดชบอร์ดเดียวกัน
คำถามที่พบบ่อย
เครื่องมือตรวจสอบบอท AI คืออะไร?
เครื่องมือที่อ่าน robots.txt ของคุณและบอกคุณทีละบอทว่าคุณอนุญาตหรือบล็อกครอว์เลอร์ AI ตัวใดบ้าง มันเปรียบเทียบกฎ Allow และ Disallow ของคุณกับโทเค็น user-agent ของบริษัท AI หลักๆ ได้แก่ OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl และอื่นๆ
GPTBot คืออะไร?
GPTBot คือครอว์เลอร์เว็บของ OpenAI เปิดตัวในเดือนสิงหาคม 2023 ใช้เพื่อรวบรวมเนื้อหาที่เปิดเผยต่อสาธารณะสำหรับฝึกโมเดล GPT ในอนาคต มันไม่ใช่บอทตัวเดียวกับ OAI-SearchBot ซึ่งขับเคลื่อน ChatGPT Search หรือ ChatGPT-User ซึ่งดึงหน้าเมื่อมีคนขอให้ผู้ช่วยอ่านหน้านั้น ทั้งสามตัวปฏิบัติตาม robots.txt อย่างเป็นอิสระ ดังนั้นคุณจึงสามารถอนุญาตตัวหนึ่งและบล็อกอีกตัวหนึ่งได้
อะไรคือความแตกต่างระหว่างบอท AI แบบฝึก ค้นหา และดึงตามต้องการ?
บอทฝึก (GPTBot, CCBot, Google-Extended, Bytespider) ดึงเนื้อหามาฝึกโมเดลพื้นฐาน บอทค้นหา (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ทำดัชนีเว็บไซต์ของคุณเพื่อให้สามารถถูกอ้างอิงในคำตอบการค้นหา AI บอทดึงตามต้องการ (ChatGPT-User, Claude-User, Perplexity-User) ดึงหน้าเดียวแบบเรียลไทม์เมื่อผู้ใช้ถามผู้ช่วยเกี่ยวกับมัน แต่ละตัวสามารถควบคุมแยกกันได้ใน robots.txt
ฉันจะบล็อกครอว์เลอร์ AI ใน robots.txt ได้อย่างไร?
เพิ่มหนึ่งกลุ่มต่อหนึ่งครอว์เลอร์พร้อมกฎ Disallow ตัวอย่างเช่น "User-agent: GPTBot" ตามด้วย "Disallow: /" ในบรรทัดถัดไป หากต้องการบล็อกหลายตัว ให้ระบุ user-agent แต่ละตัวในกลุ่มของตัวเอง โปรดจำไว้ว่า robots.txt เป็นเพียงคำแนะนำ: ครอว์เลอร์ที่ประพฤติดีอย่าง GPTBot และ ClaudeBot เคารพมัน แต่มันจะไม่หยุดบอทที่เลือกจะเพิกเฉย
ฉันควรบล็อกบอท AI หรืออนุญาตให้พวกมัน?
ขึ้นอยู่กับเป้าหมายของคุณ อนุญาตบอทค้นหา (OAI-SearchBot, Claude-SearchBot, PerplexityBot) เพื่อให้แบรนด์ของคุณถูกอ้างอิงในคำตอบ AI ได้ บล็อกบอทฝึก (GPTBot, CCBot, Google-Extended, Bytespider) เฉพาะเมื่อคุณมีเหตุผลเฉพาะที่จะปฏิเสธเท่านั้น การศึกษาของ Rutgers/Wharton พบว่าผู้เผยแพร่ที่บล็อกครอว์เลอร์ AI แบบเหมารวมสูญเสียทราฟฟิกรวม 23% ดังนั้นการห้ามแบบครอบคลุมจึงแทบไม่คุ้มค่า
ClaudeBot เคารพ robots.txt หรือไม่?
ใช่ เอกสารทางการของ Anthropic ยืนยันว่า ClaudeBot, Claude-User และ Claude-SearchBot ล้วนเคารพคำสั่ง robots.txt มาตรฐาน รวมถึงส่วนขยาย Crawl-delay ที่ไม่ใช่มาตรฐาน user-agent แต่ละตัวสามารถอนุญาตหรือบล็อกได้อย่างเป็นอิสระ ดังนั้นคุณจึงสามารถปฏิเสธการฝึกในขณะที่ยังคงถูกอ้างอิงได้ในคำตอบการค้นหาของ Claude
การบล็อก Google-Extended ทำให้อันดับ Google ของฉันเสียหายหรือไม่?
ไม่ Google-Extended ควบคุมเพียงว่าเนื้อหาของคุณถูกใช้ฝึกและเป็นพื้นฐานให้ Gemini และ Vertex AI หรือไม่ มันเป็นโทเค็นแยกจาก Googlebot ดังนั้นการบล็อก Google-Extended จึงไม่มีผลต่ออันดับของคุณในการค้นหา Google มันเป็นวิธีที่สะอาดในการปฏิเสธการฝึก AI โดยไม่แตะต้องการค้นหาออร์แกนิก
การบล็อกบอท AI เริ่มต้นของ Cloudflare จะลบล้างกฎ Allow ใน robots.txt ของฉันหรือไม่?
ใช่ การบล็อกในระดับเครือข่ายเป็นฝ่ายชนะ นับตั้งแต่ 1 กรกฎาคม 2025 Cloudflare บล็อกบอท AI โดยค่าเริ่มต้นบนทุกโดเมนใหม่ผ่านกฎที่มีการจัดการ "AI Scrapers and Crawlers" แม้ว่า robots.txt ของคุณจะระบุ Allow ก็ตาม หากบอทปรากฏเป็น Allowed ในเครื่องมือตรวจสอบนี้แต่ไม่สามารถดึงหน้าของคุณได้จริง ให้ตรวจสอบการตั้งค่า Security → Bots ใน Cloudflare ของคุณ
