Crawl Budget (Tarama Bütçesi): Nedir ve Nasıl Optimize Edilir

Crawl Budget nedir?

Crawl budget, Google'ın bir web sitesini ziyaret ettiğinde ona ayırdığı süredir. Bu bütçe bir sitenin sıralaması ve indekslenmesini etkiler ve bu yüzden web sitemizin tarama bütçesine dikkat etmek kilit önemdedir. Optimal bir crawl budget elde etmek için temel ilkeler şunlar:

• ›

  erişilebilirlik

• ›

  hız

• ›

  kalite

• ›

  otorite

Crawler nedir?

Crawler, web sitelerini ve URL'lerini otomatik olarak tarayan örümcek veya bottur. Bu bot, daha sonra arama sonuçlarında kullanıcılara gösterilen içeriği depolar ve sınıflandırır. İspanya'da olduğumuzdan ve en önemli arama motorunun Google olduğundan bahsettiğimizden ona Googlebot denir. Bu açıdan, Google'ın web siteni bulması ve var olduğunu bilmesi şarttır.

Crawl Budget web sitemi nasıl etkiler?

Optimize edilmiş bir crawl budget, web sitenin arama motorlarında daha iyi konumlandırılmasını destekler. Ayrıca tüm önemli sayfaların doğru indekslenmesine yardımcı olur. SEO konumlandırma stratejimizde tarama bütçesini unutamayız; çünkü Google'ın web sitemizi tanımak için harcadığı süre çok önemlidir.

Nasıl çalışır?

Google'ın örümcekleri web siteni tarar ve eğer crawl budget küçükse sitenden tüm yeni içeriği taramadan ayrılması mümkündür. Bütçeyi iki faktöre göre belirlerler:

• ›

  Tarama limiti (Crawl limit): Bir web sitesinin desteklediği maksimum taramayı ve tercihlerinin neler olduğunu gösterir.

• ›

  Tarama talebi (Crawl demand): Sitenin popülerliğine ve güncellenme sıklığına göre web sitesinin ne sıklıkta taranması gerektiğini gösterir.

Web sitenin ne sıklıkta tarandığını biliyor musun?

Google Search Console sayesinde son üç ayın tarama istatistiklerini görebiliriz. Burada günde taradığı sayfaları, günde indirilen kilobayt miktarını ve bir sayfanın milisaniye cinsinden indirme süresini görebiliriz. Verilerin yüksek, normal ve düşük olarak sınıflandırılan bir ortalaması vardır. Web sitemizdeki toplam sayfa sayısını ve günlük ortalama tarama verilerini dikkate alırsak bu veri çok açıklayıcıdır. Bununla normalin içinde olup olmadığımızı veya aksine, crawl budget'i iyileştirmemiz gerekip gerekmediğini bilebiliriz.

Daha küçük bir crawl budget zararlı mı?

Daha küçük bir crawl budget'a sahip olmanın dezavantajları vardır:

• ›

  İçeriğin hızlı sıralanmasındaki zorluk; çünkü Google bunun var olduğunu bilmez ve dolayısıyla taramaz veya indekslemez.

• ›

  Web sitesinden uzak alanlar, crawl budget küçükse hassas alanlar olacaktır. Bot, web sitesinde daha uzakta olan sayfalardan veya bölümlerden geçecek zamanı bulamaz.

• ›

  Yapılan on-page SEO optimizasyonları taranmayacak ve dolayısıyla iyileştirmeler görünür olmayacak.

• ›

  Eğer başka bir web sitesi aynı içeriği bizden önce indeksleyip sıralarsa, Google içeriği kopyaladığımızı tespit edebilir ve bu yüzden bizi cezalandırabilir.

• ›

  Doğru optimize edilmediği takdirde çok fazla crawl budget hiçbir şeyi garanti etmez.

Örümceklerin davranışı nasıldır?

Google'ın hangi sayfaları ziyaret ettiğini ve hangilerine zaman harcadığını ve bunların SEO konumlandırma açısından önceliklerimizle örtüşüp örtüşmediğini bilmek için logların sağladığı bilgilere başvurmalıyız.

Loglar, sunucuya yapılan ve depolanan isteklerdir; bunlara erişerek Googlebot'un neyi ziyaret edip neyi ziyaret etmediğini öğrenebiliriz. Bu belgeyi dışa aktarmak ve düzenlemek ScreamingFrog Log File Analyser ile daha kolay olabilir.

Crawl Budget'imizi nasıl optimize ederiz?

En çok taranmasını sağlamak için, hem web konumlandırma hem de iş açısından kilit URL'lerimizi net bilmeliyiz. Crawl budget'i parametreli sayfalar, sayfalandırmalar gibi gerçekten önemli olmayan sayfalara yatırmak işe yaramaz.

Yinelenen içerik sorunlarına veya aynı anahtar kelimeyi kanibalize eden URL'lere sahip olmamak çok önemli olacaktır. Düşük kaliteli içerik de zararlıdır çünkü botlar onu gezmek için zaman harcayacaktır.

Onu optimize etmek için aşağıdaki alanları vurgulamalıyız:

WPO (Web Performance Optimization)

Yükleme hızı veya WPO optimize et ki Google web siteni taramak için çok zaman harcamasın. Google temiz kodu ve mümkün olan en az dosyayı sever; bu, yüklemeyi kolaylaştırır ve gezinirken optimal bir kullanıcı deneyimi elde etmeyi sağlar.

Şunları unutma:

• ›

  CSS ve JS dosyalarını azalt ve sıkıştır

• ›

  Görsellerin ağırlığına ve boyutuna dikkat et ve boyutlarını belirt

• ›

  Önbellek yoluyla konumlandırmayı iyileştirmek için sunucu olarak Nginx'i tercih et.

Bağlantılar ve yönlendirmeler

Bot, web sitendeki tüm içeriği tarayacak ve her sayfadaki tüm bağlantıların her birini takip edecek. Doğru bir taramayı desteklemek için şunları dikkate almalısın:

• ›

  Gereksiz yönlendirmelerden kaçınmalısın çünkü Google içlerinde kaybolur.

• ›

  Yönlendirme zincirleri, Google'ın hedef URL'lere ulaşmadan içlerinde kaybolmasına neden olacak çok sayıda URL'nin yönlendirmeleridir.

• ›İç bağlantıdaki kırık bağlantılar (404 not found durumlu sayfalarla bağlantılı sayfalar).

Screaming Frog ve Search Console, hatalı yönlendirmeleri ve her türden hatalı URL'yi tespit etmede özel müttefiklerimiz olacak.

İç bağlantı

İç bağlantı, bağlantıyla aşırıya kaçmamak ve botların URL'leri tararken kaybolmaması için dikkat edilmesi gereken çok önemli bir konudur.

• ›En önemli alanları güçlendirmeli ve daha az önemli olanları daha az bağlantılı bırakmalıyız. Bu nedenle, ana menüden veya alt bilgiden her sayfada bağlantılandırmanın uygun olmayacağı gizlilik politikası veya çerez sayfası gibi sayfalar olacaktır.

Kod

• ›Botlar için tarama ve indekslemeyi kolaylaştırmak amacıyla mümkün olduğunca HTML kullanmak tavsiye edilir. Google'ın JavaScript içeren sayfaları zorlukla render edip indekslediği iyi bilinir.

XML Sitemap

Site haritası, bir web sitesinin doğru taranmasını ve indekslenmesini garanti ettiği için Google için temel dosyalardan biridir.

• ›

  Ne kadar düzenli olursa o kadar iyi. Site haritasını dikeylere veya klasörlere göre düzenle.

• ›

  İçeriğini tanımlayan bir ad belirt. "Sitemap 1" gibi çok genel adlardan kaçın.

• ›

  Görseller, videolar ve dile göre bir site haritası.

• ›

  Eklediğin URL'ler her zaman en önemli olanlar olmalıdır; bu yüzden yönlendirmeli sayfaları, canonical etiketi olmayan sayfaları, filtreli sayfaları, sayfalandırmaları vb. dahil etme. Ayrıca, gizlilik politikası veya çerezler gibi çok alakalı olmayan sayfaları da dahil etme.

Robots txt

Site haritasıyla birlikte robots.txt dosyası, bir web sitesinin indekslenmesi ve taranmasındaki kilit dosyalardan biridir. Bu yüzden onu mümkün olduğunca optimize etmeyi unutma:

• ›

  Taramayı mümkün olduğunca kolaylaştırmak için XML site haritasına atıfta bulun.

• ›

  Önemli klasörleri engelleme. Bunun için Search Console robots.txt test aracını deneyebilir ve önemli bir klasör veya sayfayı engelleyip engellemediğini kontrol edebilirsin.

• ›

  Yönlendirmeli veya canonical sayfaları engelleme

• ›

  JS ve CSS'e erişime izin ver

Hreflang etiketleri

• ›Bu eksiksiz nitelikler, Google'ın web sitesinin hangi dillerde ve kaç dilde mevcut olduğunu tanımlamasına yardımcı olacak.

Metarobots noindex ve X-Robots-Tag

Bu yönergeler, bota hangi sayfaların veya klasörlerin indekslenmemesi gerektiğini söyler, ancak tarama erişimini engellemezler.

• ›

  "noindex" metarobots yönergesine sahip etiketler crawl budget tüketir, bu yüzden onları aşırı kullanmamak hayati önem taşır.

• ›

  X-Robots başlığı, kod düzeyinde başlığa dahil edilir ve Google'a sayfayı indekslememe dahil çeşitli yönergeleri belirtebilir.

Başvurulan kaynaklar:

• ›

  José Facchin: Crawl Budget nedir, Google için ne kadar önemlidir ve nasıl iyileştirebilirsin?

• ›

  SEOCOM Ajansı: Crawl Budget nedir?

• ›

  Big SEO Ajansı: Crawl Budget nedir? Optimize etmenin anahtarları

• ›

  ContentKing: SEO'da crawl budget: referans rehberi

• ›

  Mi posicionamiento web: Crawl Budget nedir?

• ›

  Luis Villanueva: Crawl Budget nedir?

• ›

  Neil Patel: Web sitenin SEO'sunu iyileştirmek için Google'ın Crawl Budget'ini nasıl kullanırsın?

• ›

  Search Engine Journal: SEO için Crawl Budget'i optimize etmenin 7 ipucu

• ›

  Webmasters Google Blog: Googlebot için crawl budget ne anlama gelir?

• ›

  DeepCrawl: Crawl budget nedir?