robots.txt: Tam Yapılandırma Kılavuzu

robots.txt nedir ve ne işe yarar?

robots.txt, sitenizin kök dizininde barındırılan ve belirli botların (Google veya Bing'inkiler gibi) sitenizi veya bölümlerini ziyaret etmesini engellemenize olanak tanıyan bir dosyadır.

DİKKAT: Bunun bir protokol olduğunu ve genel kural olarak tüm „iyi" botların buna uyduğunu bilmek önemlidir (GoogleBot, BingBot, Semrush, ...) ancak kötü niyetli herhangi bir bot bunu atlayabilir, örneğin Screaming Frog bu seçeneği işaretleyerek:

robots.txt dosyası SEO için neden önemlidir?

Daha önce belirttiğimiz gibi, tüm iyi botlar (GoogleBot gibi) bu protokole uyarlar, bu nedenle yapabileceğimiz şey bu dosyayı Google'ı sitemizde yönlendirmek için kullanmaktır.

Ne? Ne demek istiyorsun? robots.txt ile Google'ı yönlendirmek mi?

Evet, endişelenmeyin, çok daha açık olması için bir örnekle açıklayacağız:

Sitenizde yalnızca kayıtlı kullanıcıların erişebileceği özel bir alanınız olduğunu hayal edin ve bildiğimiz gibi Google login gerektiren herhangi bir siteye erişemez (henüz...).

Öyleyse, Google'ın kendisi için değeri olmayan sayfaları taramak için crawl bütçemizi boşa harcamaması mantıklı olmaz mıydı?

Aynen öyle! robots.txt'nin en önemli kullanımlarından biri, Google için az değeri olan yolları engellemek ve böylece sitemizin önemli sayfalarına odaklanmasını sağlamaktır. Bu nedenle robots.txt, SEO stratejimizin akılda tutulması gereken sütunlardan biri olmalıdır.

Bu, bu dosya ile yapabileceğimiz binlerce şeyden sadece bir örnek. Diğer örnekler arasında sitemap'imizi belirtmek, tarama aralığını azaltmak, kaynakların taranmasını engellemek, ...

robots.txt dosyası nasıl oluşturulur

Pekala... işe koyulalım!

Bu dosyayı oluşturmak gerçekten basit: sadece metin editörünüzü (Windows'ta Notepad veya Mac'te TextEdit) almanız veya çevrimiçi bir tane kullanmanız ve robots.txt'nizi taslak olarak hazırladıktan sonra bunu txt dosyası olarak dışa aktarmanız gerekiyor.

Onu aldığımızda, sadece adını „robots.txt" yapıp sunucu paneliniz veya FTP aracılığıyla sitenizin kök dizinine yüklemeniz gerekiyor.

Doğru yüklenip yüklenmediğini kontrol etmek için sadece domain'inize „/robots.txt" eklemelisiniz, örneğin https://seocrawl.com/robots.txt

DİKKAT: Önbelleğe dikkat edin, gizli sekmede görüntülemek daha iyi ;)

WordPress'im varsa?

WordPress'iniz varsa daha basittir çünkü Rank Math veya Yoast gibi en iyi SEO eklentileri robots.txt'yi doğrudan düzenlemek için yerleşik bir eklenti içerir.

Rank Math söz konusu olduğunda Rank Math > General Settings > Edit robots.txt altında bulacaksınız.

Yoast söz konusu olduğunda SEO > Tools > File Editor'a gitmemiz gerekecek.

Bu şekilde, yukarıda açıklanan adımlardan herhangi birini yapmak zorunda kalmadan dosyayı kolayca düzenleyebilir veya oluşturabilirsiniz.

Komutlar

Aşağıda mevcut komutların birçoğuna ilgili örnekleriyle birlikte göz atacağız:

Sitenizin taranmasını engelleyin

User-agent: * Disallow: /

NOT: Sitenizi geliştiriyorsanız ve hiçbir botun girip içeriğinizi okumasını ve indekslemesini istemiyorsanız, bu kural mükemmel çalışır.

Bir sayfanın taranmasını engelleyin

User-agent: * Disallow: /taranmasini-istemedigim-sayfa-url

Bir klasörün taranmasını engelleyin

User-agent: * Disallow: /klasor/

Bir sayfaya erişime izin verin

User-agent: * Allow: /sayfa

Bir klasörü engelleyin ve o klasördeki bir sayfaya izin verin

User-agent: * Disallow: /klasor/ Allow: /klasor/sayfa

Sitemap'i belirtin

Sitemap: https://domain.com/sitemap.xml

Belirli botlara komut verin

Bu durumda biraz daha duralım. Fark ettiyseniz, önceki yönergelerin çoğu şununla başlıyordu:

User-agent: *

O „*", tüm botlara atıfta bulunur. Yani bu satırdan sonraki tüm yönergeler tüm botlar için geçerlidir. Yapmak istediğimiz şey belirli botlara özel komutlar göndermekse, bunu aşağıdaki gibi değiştirmemiz gerekecek:

User-agent: Googlebot Google'ın botuna atıfta bulunmak istiyorsak

User-agent: Bingbot Bing'in botuna atıfta bulunmak istiyorsak

User-agent: DuckDuckBot DuckDuckGo'nun botuna atıfta bulunmak istiyorsak

Tek yapmanız gereken, komut göndermek istediğiniz botun adını öğrenmek ve size az önce gösterdiğimiz gibi adlandırmak.

robots.txt dosyasını gözden geçirin ve test edin

Artık robots'unuzu sitenize tamamen optimize edilmiş ve özelleştirilmiş bırakmak için „ayarlamayı" bitirdiğinize göre, geriye sadece test etmek kalıyor.

Test etmek mi? Ne için?

Şey, herhangi bir satırda hata yapmadığımızdan ve engellemek istediğimiz site bölümlerini gerçekten engellediğinden emin olmak için.

Bunun için bu aracı kullanmanızı öneririz.

İçeri girdiğinizde sadece şunu yapmanız gerekiyor:

• ›

  Tarama izni verilip verilmediğini kontrol etmek istediğiniz URL'yi girin

• ›

  User Agent'ı seçin

• ›

  TEST'e tıklayın

Hemen ardından, tüm robots.txt dosyamız yüklenecek ve altında erişimin verilip verilmediği bize söylenecek.

Bu durumda, gördüğümüz gibi, bize olumlu bir sonuç veriyor, ancak izin verilmeyen bir URL girersek, onu engelleyen satırı da vurgular:

Ayrıca, bu araç sonucun hedefimize uyması için ihtiyaç duyduğumuz herhangi bir değişikliği yapmak için robots.txt dosyamızı doğrudan oradan düzenlememize olanak tanır. Değiştirildikten ve test edildikten sonra, sadece o yeni değişiklikleri robots'umuza uygulamamız gerekir.

Bonus ipucu: robots.txt'nizi unutulmaz yapın

Botlar için çalışan bir ton kod satırı gösterdik, ama satıra „#" ile başlayarak yorumlar da ekleyebilirsiniz. Yani „#" ile başlayan her şey botlar tarafından göz ardı edilecektir. Bu bir olasılıklar ve içeriden şakalar dünyası açar. Bu nedenle windupschool, pccomponentes veya Minube'nin robots.txt'sini kontrol etmenizi öneririz, kesinlikle bir sürprizle karşılaşacaksınız.

Sonuç

Gördüğünüz gibi, robots.txt dosyasının sunacak çok şeyi var ve aynı zamanda çok özen gerektirir çünkü yanlış yerleştirilmiş bir yönerge sitenizin taranmasını engelleyebilir.

Bu kılavuzun size yararlı olmasını umuyoruz ve herhangi bir sorunuz varsa yorumlarda görüşürüz.