Ücretsiz Robots.txt AI Bot Denetleyici: hangi AI tarayıcılarının sitenize ulaştığını görün
Alan adınızı veya robots.txt URL'nizi yapıştırın. Dosyayı okur, her büyük AI tarayıcısını Allow ve Disallow kurallarınızla eşleştirir ve bot bot hangilerinin sitenize ulaştığını söyleriz. Kayıt gerekmez.
Ücretsiz, kayıt yok. Robots.txt dosyanızı okuyup hangi AI tarayıcılarına — GPTBot, ClaudeBot, Google-Extended, PerplexityBot ve daha fazlası — şu anda izin verdiğinizi veya hangilerini engellediğinizi gösteririz.
AI bot denetleyicinin neyi doğruladığı
- Her büyük AI user-agent için bot bazında karar (İzin Verildi, Kısmi, Engellendi)
- Eğitim tarayıcıları: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- Arama tarayıcıları: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- İsteğe bağlı getirme botları: ChatGPT-User, Claude-User, Perplexity-User
- Robots.txt URL konumu ve HTTP durum kodu
- User-agent: * ile bota özel kurallar arasındaki çakışmalar
- Bot başına izin verilmeyen yollar — böylece yalnızca engelleneni değil, gizleneni de görürsünüz
Robots.txt dosyanız neden eskisinden daha önemli
Robots.txt dosyanız bir tarayıcının okuduğu ilk şeydir ve AI şirketleri artık ayrı user-agent'larla birden fazla tarayıcı çalıştırıyor. Yalnızca OpenAI'nin üç tanesi var: eğitim için GPTBot, ChatGPT Search için OAI-SearchBot ve isteğe bağlı getirmeler için ChatGPT-User. Anthropic, Google, Perplexity, Common Crawl ve Meta'nın her birinin kendine ait tarayıcıları var.
Bu dosyada verdiğiniz kararlar iki farklı sonucu şekillendirir. Arama tarayıcılarını engellerseniz markanız ChatGPT, Claude ve Perplexity yanıtlarından kaybolur. Vazgeçmek isterken eğitim tarayıcılarını açık bırakırsanız, yarının modelleri içeriğinizden ücretsiz öğrenir.
Çoğu site sonunda birini ister, diğerini istemez.
Veriler AI botlarını engellemek hakkında ne diyor
Kuralları yazmadan önce bilmeye değer üç sayı.
Sonucunuzu nasıl okumalısınız
İzin Verildi
Tarayıcı sitenizin köküne ulaşabilir. OAI-SearchBot, Claude-SearchBot ve PerplexityBot gibi arama botları için bu, AI yanıtlarında alıntılanmaya uygun kalmanızı sağlayan şeydir.
Kısmi
Tarayıcı sitenize ulaşabilir, ancak belirli yollar engellidir. Genellikle sorun yoktur — AI aramasında öne çıkmasını istediğiniz sayfaları gizlemediğinizden emin olmakta fayda var.
Engellendi
Bir Disallow: / kuralı tarayıcıyı tamamen durdurur. Eğitimden vazgeçmek için kasıtlıdır, ancak görünür kalmak istediğiniz bir arama tarayıcısıysa bu bir sorundur.
En sık yapılan robots.txt hataları (ve bunları nasıl düzeltirsiniz)
Yanlışlıkla AI aramasını engellemek.
OAI-SearchBot, Claude-SearchBot veya PerplexityBot'u yakalayan toptan bir Disallow, sizi sessizce AI yanıtlarından çıkarır.
Çözüm: Arama tarayıcılarını kendi User-agent gruplarında listeleyin ve onlara açıkça izin verin.
AI'yı engellemek için User-agent: * kullanmak.
Bu grup Googlebot, Bingbot ve her sıradan arama tarayıcısını da yakalar, dolayısıyla kural amaçladığınızdan çok daha fazlasını engeller.
Çözüm: Her AI user-agent'ı kendi grubunda adlandırın ve joker karakteri olduğu gibi bırakın.
Google-Extended ile Googlebot'u karıştırmak.
Yanlış olanı engellerseniz ya AI eğitimini açık bırakırsınız ya da yanlışlıkla kendinizi Google Search'ten kaldırırsınız.
Çözüm: Gemini ve Vertex AI eğitiminden vazgeçmek için Google-Extended kullanın; organik Arama için Googlebot'a dokunmayın.
Robots.txt'yi güvenlik duvarı gibi görmek.
Tavsiye niteliğindedir. Düzgün davranan tarayıcılar buna uyar; kötü niyetliler ve üçüncü taraf kazıyıcılar yok sayar.
Çözüm: Kesinlikle durdurmanız gereken botlar için sunucu tarafı engelleme (Cloudflare AI kuralları, WAF, .htaccess) ekleyin.
Cloudflare'in Allow kuralınızı geçersiz kılması.
Temmuz 2025'ten bu yana Cloudflare, robots.txt'nizin ne dediğine bakılmaksızın yeni alan adlarında AI botlarını varsayılan olarak engeller.
Çözüm: Cloudflare panelini açın, Security → Bots → AI Scrapers and Crawlers bölümüne gidin ve AI arama botlarının sitenize ulaşmasını istiyorsanız kapatın.
AI'nın sizi gerçekten alıntılayıp alıntılamadığını görmek ister misiniz?
Bir robots.txt denetimi, hangi AI tarayıcılarının sitenize ulaşabileceğini söyler. SEOcrawl AI Tracker ise oraya vardıklarında ne yaptıklarını söyler. ChatGPT, Claude, Gemini ve Perplexity'nin markanızı ne sıklıkta andığını ve alıntıladığını, hangi istemlerin sizi tetiklediğini ve izlemeyi seçtiğiniz rakiplere karşı nasıl konumlandığınızı öğrenin — hepsi de Google Search Console verilerinizle aynı panoda bir arada.
Sıkça Sorulan Sorular
AI bot denetleyici nedir?
Robots.txt dosyanızı okuyup hangi AI tarayıcılarına izin verdiğinizi veya hangilerini engellediğinizi bot bot söyleyen bir araçtır. Allow ve Disallow kurallarınızı büyük AI şirketlerinin user-agent adlarıyla karşılaştırır: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl ve diğerleri.
GPTBot nedir?
GPTBot, OpenAI'nin Ağustos 2023'te başlatılan web tarayıcısıdır ve gelecekteki GPT modellerini eğitmek için herkese açık içeriği toplamak amacıyla kullanılır. ChatGPT Search'ü çalıştıran OAI-SearchBot veya biri bir asistandan bir sayfayı okumasını istediğinde o sayfayı getiren ChatGPT-User ile aynı bot değildir. Üçü de robots.txt'ye bağımsız olarak uyar, bu nedenle birine izin verip diğerini engelleyebilirsiniz.
Eğitim, arama ve isteğe bağlı AI botları arasındaki fark nedir?
Eğitim botları (GPTBot, CCBot, Google-Extended, Bytespider) temel modelleri eğitmek için içerik kazır. Arama botları (OAI-SearchBot, Claude-SearchBot, PerplexityBot) sitenizi indeksler, böylece AI arama yanıtlarında alıntılanabilir. İsteğe bağlı getirme botları (ChatGPT-User, Claude-User, Perplexity-User), bir kullanıcı asistana onun hakkında soru sorduğunda tek bir sayfayı gerçek zamanlı olarak getirir. Her biri robots.txt'de ayrı ayrı denetlenebilir.
Robots.txt'de AI tarayıcılarını nasıl engellerim?
Her tarayıcı için bir Disallow kuralı içeren bir grup ekleyin. Örneğin: "User-agent: GPTBot", ardından bir sonraki satırda "Disallow: /". Birkaçını engellemek için her user-agent'ı kendi grubunda listeleyin. Robots.txt'nin tavsiye niteliğinde olduğunu unutmayın: GPTBot ve ClaudeBot gibi düzgün davranan tarayıcılar buna uyar, ancak onu yok saymayı seçen bir botu durdurmaz.
AI botlarını engellemeli miyim yoksa izin mi vermeliyim?
Bu hedefinize bağlıdır. Markanızın AI yanıtlarında alıntılanabilmesi için arama botlarına (OAI-SearchBot, Claude-SearchBot, PerplexityBot) izin verin. Eğitim botlarını (GPTBot, CCBot, Google-Extended, Bytespider) yalnızca vazgeçmek için belirli bir nedeniniz varsa engelleyin. Rutgers/Wharton çalışması, AI tarayıcılarını toptan engelleyen yayıncıların toplam trafiklerinin %23'ünü kaybettiğini buldu, dolayısıyla topyekûn yasaklar nadiren işe yarar.
ClaudeBot robots.txt'ye uyar mı?
Evet. Anthropic'in resmi belgeleri ClaudeBot, Claude-User ve Claude-SearchBot'un hepsinin, standart olmayan Crawl-delay uzantısı da dahil olmak üzere standart robots.txt yönergelerine uyduğunu doğrular. Her user-agent'a bağımsız olarak izin verilebilir veya engellenebilir, böylece eğitimden vazgeçerken Claude'un arama yanıtlarında alıntılanabilir kalabilirsiniz.
Google-Extended'ı engellemek Google sıralamalarıma zarar verir mi?
Hayır. Google-Extended yalnızca içeriğinizin Gemini ve Vertex AI'yı eğitmek ve temellendirmek için kullanılıp kullanılmayacağını denetler. Googlebot'tan ayrı bir belirteçtir, bu nedenle Google-Extended'ı engellemenin Google Search'te nasıl sıralandığınıza hiçbir etkisi yoktur. Organik aramaya dokunmadan AI eğitiminden vazgeçmenin temiz yoludur.
Cloudflare'in varsayılan AI bot engellemesi robots.txt'deki Allow kuralımı geçersiz kılar mı?
Evet, ağ düzeyindeki engelleme kazanır. 1 Temmuz 2025 tarihinden bu yana Cloudflare, robots.txt'niz Allow dese bile, yönetilen “AI Scrapers and Crawlers” kuralı aracılığıyla her yeni alan adında AI botlarını varsayılan olarak engeller. Bir bot bu denetleyicide İzin Verildi olarak görünüyor ancak sayfalarınızı gerçekten getiremiyorsa, Cloudflare Security → Bots ayarlarınızı kontrol edin.
