Pemeriksa Bot AI Robots.txt: lihat crawler AI mana yang Anda izinkan
Tempel domain Anda dan kami membaca robots.txt Anda, lalu menunjukkan — bot demi bot — apakah Anda mengizinkan atau memblokir GPTBot, ClaudeBot, Google-Extended, PerplexityBot, dan setiap crawler AI besar lainnya. Cari tahu apakah Anda terlihat oleh pencarian AI sebelum pesaing Anda mengetahuinya. Tanpa pendaftaran.
Gratis, tanpa pendaftaran. Kami membaca robots.txt Anda dan menunjukkan crawler AI mana — GPTBot, ClaudeBot, Google-Extended, PerplexityBot, dan lainnya — yang saat ini Anda izinkan atau blokir.
Mengapa bot AI di robots.txt Anda penting untuk visibilitas
Robots.txt Anda adalah hal pertama yang dibaca crawler, dan perusahaan AI kini menjalankan crawler mereka sendiri dengan nama user-agent mereka sendiri. OpenAI saja menggunakan GPTBot untuk pelatihan, OAI-SearchBot untuk ChatGPT Search, dan ChatGPT-User untuk pengambilan sesuai permintaan. Anthropic, Google, Perplexity, Common Crawl, dan lainnya masing-masing memiliki crawler sendiri. Satu aturan Disallow menentukan apakah konten Anda dapat menyuapi dan dikutip oleh sistem-sistem ini.
Salah di kedua arah akan merugikan Anda: blokir crawler pencarian dan merek Anda lenyap dari jawaban AI; biarkan crawler pelatihan terbuka padahal Anda ingin menolak, dan konten Anda melatih model secara gratis. Pemeriksaan cepat memberi tahu Anda persis di mana posisi Anda di seluruh bot AI besar.
Cara membaca hasil Anda
Diizinkan
Crawler dapat mengakses root situs Anda. Untuk bot pencarian AI seperti OAI-SearchBot, ClaudeBot, dan PerplexityBot, inilah yang membuat Anda tetap memenuhi syarat untuk dikutip dalam jawaban AI.
Sebagian
Crawler dapat menjangkau situs Anda, tetapi robots.txt Anda melarang beberapa jalur untuknya. Biasanya tidak masalah — cukup pastikan Anda tidak menyembunyikan halaman yang ingin ditampilkan dalam pencarian AI.
Diblokir
Aturan Disallow: / menghentikan crawler ini di pintu masuk. Disengaja untuk menolak pelatihan, tetapi menjadi masalah jika itu crawler pencarian yang Anda ingin tetap terlihat olehnya.
Kesalahan umum robots.txt — dan cara memperbaikinya
Memblokir pencarian AI secara tidak sengaja.
Disallow menyeluruh yang menangkap OAI-SearchBot atau PerplexityBot diam-diam menghapus Anda dari jawaban AI. Izinkan crawler pencarian; blokir hanya bot pelatihan jika memang perlu.
Mengandalkan User-agent: * untuk AI.
Banyak crawler AI mengabaikan grup wildcard dan hanya mematuhi aturan yang menyebut token persis mereka. Targetkan setiap bot AI dengan user-agent spesifiknya.
Mengacaukan Google-Extended dengan Googlebot.
Memblokir token yang salah akan membiarkan pelatihan AI tetap aktif, atau secara tidak sengaja menghapus Anda dari indeks Penelusuran. Gunakan Google-Extended untuk AI, Googlebot untuk Penelusuran.
Memercayai robots.txt sebagai firewall.
Robots.txt bersifat anjuran — ia tidak akan menghentikan crawler yang memilih untuk mengabaikannya atau melakukan scraping melalui pihak ketiga. Gunakan pemblokiran sisi server untuk bot yang harus benar-benar Anda hentikan.
Lacak merek Anda di seluruh jawaban AI
Mengizinkan crawler AI adalah langkah pertama. AI Tracker dari SEOcrawl menunjukkan apa yang terjadi selanjutnya: ia memantau seberapa sering ChatGPT, Claude, Gemini, dan Perplexity benar-benar menyebut dan mengutip merek Anda, prompt mana yang memicu Anda, dan bagaimana Anda dibandingkan dengan pesaing — semuanya berdampingan dengan data Google Search Console Anda di satu tempat.
FAQ
Apa itu pemeriksa bot AI?
Pemeriksa bot AI membaca file robots.txt sebuah situs dan memberi tahu Anda crawler AI mana yang saat ini diizinkan atau diblokir. Ia memeriksa token user-agent perusahaan AI besar — OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot), dan lainnya — terhadap aturan Allow dan Disallow di robots.txt Anda.
Bagaimana cara memblokir crawler AI di robots.txt?
Tambahkan grup per crawler dengan aturan Disallow, mis. "User-agent: GPTBot" diikuti "Disallow: /". Untuk memblokir beberapa, daftarkan setiap user-agent di grupnya sendiri. Ingat bahwa robots.txt bersifat anjuran: crawler yang berperilaku baik seperti GPTBot dan ClaudeBot menghormatinya, tetapi ini bukan mekanisme penegakan, jadi ia tidak akan menghentikan bot yang memilih untuk mengabaikannya.
Haruskah saya memblokir bot AI atau mengizinkannya?
Itu tergantung tujuan Anda. Memblokir crawler pelatihan (GPTBot, CCBot, Google-Extended) menolak konten Anda dari pelatihan model. Tetapi memblokir crawler pencarian AI (OAI-SearchBot, ClaudeBot, PerplexityBot) dapat membuat merek Anda keluar dari jawaban ChatGPT, Claude, dan Perplexity, sehingga merugikan visibilitas dan trafik rujukan Anda. Banyak situs mengizinkan crawler pencarian sambil memblokir yang hanya untuk pelatihan.
Apakah memblokir Google-Extended merugikan peringkat Google saya?
Tidak. Google-Extended hanya mengontrol apakah konten Anda digunakan untuk melatih dan mendasari Gemini serta Vertex AI. Ia terpisah dari Googlebot, jadi memblokir Google-Extended tidak berpengaruh terhadap peringkat Anda di Google Search. Ini cara bersih untuk menolak pelatihan AI tanpa menyentuh pencarian organik.
Apa perbedaan antara bot AI pelatihan, pencarian, dan sesuai permintaan?
Bot pelatihan (GPTBot, CCBot, Google-Extended, Bytespider) melakukan scraping konten untuk melatih model. Bot pencarian (OAI-SearchBot, Claude-SearchBot, PerplexityBot) mengindeks situs Anda agar dapat dikutip dalam jawaban pencarian AI. Bot pengambilan sesuai permintaan (ChatGPT-User, Claude-User, Perplexity-User) mengambil satu halaman secara real time saat pengguna bertanya kepada asisten tentangnya. Memblokir masing-masing memiliki konsekuensi yang sangat berbeda terhadap visibilitas AI.
