Robots.txt AI Bot Denetleyici: hangi AI tarayıcılarına izin verdiğinizi görün
Alan adınızı yapıştırın; robots.txt dosyanızı okuyup GPTBot, ClaudeBot, Google-Extended, PerplexityBot ve diğer tüm büyük AI tarayıcılarına izin mi verdiğinizi yoksa onları mı engellediğinizi bot bot gösterelim. Rakipleriniz fark etmeden önce AI aramasında görünür olup olmadığınızı öğrenin. Kayıt gerekmez.
Ücretsiz, kayıt yok. Robots.txt dosyanızı okuyup hangi AI tarayıcılarına — GPTBot, ClaudeBot, Google-Extended, PerplexityBot ve daha fazlası — şu anda izin verdiğinizi veya hangilerini engellediğinizi gösteririz.
Robots.txt dosyanızdaki AI botları görünürlük için neden önemli
Robots.txt dosyanız bir tarayıcının okuduğu ilk şeydir ve AI şirketleri artık kendi user-agent adlarıyla kendi tarayıcılarını çalıştırıyor. Yalnızca OpenAI, eğitim için GPTBot, ChatGPT Search için OAI-SearchBot ve isteğe bağlı getirmeler için ChatGPT-User kullanıyor. Anthropic, Google, Perplexity, Common Crawl ve diğerlerinin her birinin kendi botu var. Tek bir Disallow kuralı, içeriğinizin bu sistemleri besleyip onlar tarafından alıntılanıp alıntılanamayacağına karar verir.
İki yönde de yanlış yaparsanız bedeli ağır olur: arama tarayıcılarını engellerseniz markanız AI yanıtlarından kaybolur; vazgeçmek isterken eğitim tarayıcılarını açık bırakırsanız içeriğiniz modelleri ücretsiz eğitir. Hızlı bir denetim, tüm büyük AI botları genelinde tam olarak nerede durduğunuzu söyler.
Sonucunuzu nasıl okumalısınız
İzin Verildi
Tarayıcı sitenizin köküne erişebilir. OAI-SearchBot, ClaudeBot ve PerplexityBot gibi AI arama botları için bu, AI yanıtlarında alıntılanmaya uygun kalmanızı sağlayan şeydir.
Kısmi
Tarayıcı sitenize ulaşabilir, ancak robots.txt dosyanız ona bazı yolları kapatır. Genellikle sorun yoktur — yalnızca AI aramasında öne çıkmasını istediğiniz sayfaları gizlemediğinizden emin olun.
Engellendi
Bir Disallow: / kuralı bu tarayıcıyı kapıda durdurur. Eğitimden vazgeçmek için kasıtlı olabilir, ancak görünür kalmak istediğiniz bir arama tarayıcısıysa bu bir sorundur.
Sık yapılan robots.txt hataları — ve bunları nasıl düzeltirsiniz
Yanlışlıkla AI aramasını engellemek.
OAI-SearchBot veya PerplexityBot'u yakalayan kapsamlı bir Disallow, sizi sessizce AI yanıtlarından çıkarır. Arama tarayıcılarına izin verin; gerekiyorsa yalnızca eğitim botlarını engelleyin.
AI için User-agent: * kuralına güvenmek.
Birçok AI tarayıcısı joker grubu yok sayar ve yalnızca kendi tam adını veren bir kurala uyar. Her AI botunu kendi özel user-agent değeriyle hedefleyin.
Google-Extended ile Googlebot'u karıştırmak.
Yanlış adı engellemek ya AI eğitimini açık bırakır ya da sizi yanlışlıkla Arama'dan deindeksler. AI için Google-Extended, Arama için Googlebot kullanın.
Robots.txt'ye güvenlik duvarı gibi güvenmek.
Robots.txt tavsiye niteliğindedir — onu yok saymayı seçen ya da üçüncü taraflar aracılığıyla kazıma yapan tarayıcıları durdurmaz. Kesinlikle durdurmanız gereken botlar için sunucu tarafı engelleme kullanın.
Markanızı AI yanıtlarında takip edin
AI tarayıcılarına izin vermek ilk adımdır. SEOcrawl'ın AI Tracker'ı sonrasında ne olduğunu gösterir: ChatGPT, Claude, Gemini ve Perplexity'nin markanızı gerçekte ne sıklıkta andığını ve alıntıladığını, hangi istemlerin sizi tetiklediğini ve rakiplerinize karşı nasıl konumlandığınızı izler — hepsi de Google Search Console verilerinizle birlikte tek bir yerde.
Sıkça Sorulan Sorular
AI bot denetleyici nedir?
Bir AI bot denetleyici, bir sitenin robots.txt dosyasını okur ve şu anda hangi AI tarayıcılarına izin verdiğini veya hangilerini engellediğini söyler. Büyük AI şirketlerinin user-agent adlarını — OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) ve diğerleri — robots.txt dosyanızdaki Allow ve Disallow kurallarıyla karşılaştırır.
Robots.txt'de AI tarayıcılarını nasıl engellerim?
Her tarayıcı için bir Disallow kuralı içeren bir grup ekleyin, örneğin "User-agent: GPTBot" ardından "Disallow: /". Birkaçını engellemek için her user-agent'ı kendi grubunda listeleyin. Robots.txt'nin tavsiye niteliğinde olduğunu unutmayın: GPTBot ve ClaudeBot gibi düzgün davranan tarayıcılar buna uyar, ancak bir zorlama mekanizması değildir, bu nedenle onu yok saymayı seçen botları durdurmaz.
AI botlarını engellemeli miyim yoksa izin mi vermeliyim?
Bu hedefinize bağlıdır. Eğitim tarayıcılarını (GPTBot, CCBot, Google-Extended) engellemek, içeriğinizi model eğitiminden çıkarır. Ancak AI arama tarayıcılarını (OAI-SearchBot, ClaudeBot, PerplexityBot) engellemek, markanızı ChatGPT, Claude ve Perplexity yanıtlarının dışında tutarak görünürlük ve yönlendirme trafiği kaybettirebilir. Birçok site, yalnızca eğitime yönelik olanları engellerken arama tarayıcılarına izin verir.
Google-Extended'ı engellemek Google sıralamalarıma zarar verir mi?
Hayır. Google-Extended yalnızca içeriğinizin Gemini ve Vertex AI'yı eğitmek ve temellendirmek için kullanılıp kullanılmayacağını denetler. Googlebot'tan ayrıdır, bu nedenle Google-Extended'ı engellemenin Google Search'te nasıl sıralandığınıza hiçbir etkisi yoktur. Organik aramaya dokunmadan AI eğitiminden vazgeçmenin temiz yoludur.
Eğitim, arama ve isteğe bağlı AI botları arasındaki fark nedir?
Eğitim botları (GPTBot, CCBot, Google-Extended, Bytespider) modelleri eğitmek için içerik kazır. Arama botları (OAI-SearchBot, Claude-SearchBot, PerplexityBot) sitenizi indeksler, böylece AI arama yanıtlarında alıntılanabilir. İsteğe bağlı getirme botları (ChatGPT-User, Claude-User, Perplexity-User), bir kullanıcı asistana onun hakkında soru sorduğunda tek bir sayfayı gerçek zamanlı olarak getirir. Her birini engellemenin AI görünürlüğü için çok farklı sonuçları vardır.
