Laporan Statistik Crawling Baru di Google Search Console
Pada akhir November 2020, Google meluncurkan kembali laporan statistik crawling yang telah diperbarui, dan tampaknya dunia SEO teknis telah dibuat heboh. Sekarang dinamakan Crawl Stats dan, berkat itu, Anda akan dapat mempelajari bagaimana berbagai bot Google mengunjungi situs Anda serta memperoleh wawasan berharga dari data yang berguna ini.
Apa itu Google Crawl Stats?
Ini adalah perombakan menyeluruh dari bagian "crawl stats" yang dulunya ada di Webmaster Tools lama. Dengannya, kita dapat mengakses berbagai data dan statistik tentang riwayat crawling Googlebot di situs web kita. Pada versi baru ini, ia menjadi alat untuk bekerja, sampai batas tertentu, dengan log dan bukan lagi sekadar grafik visualisasi.
Anda dapat mengakses laporan ini dari akun Search Console Anda, di bawah Setelan > Crawl stats.
Hal baru di laporan yang telah diperbarui
Laporan ini membawa beberapa fitur baru:
- Total jumlah permintaan bot yang dikelompokkan berdasarkan kode respons, jenis file yang di-crawl, tujuan crawling, dan jenis Googlebot. Beberapa di antaranya akan sangat berguna bagi Anda.
- Informasi terperinci tentang status host.
- Contoh URL untuk menunjukkan di mana di situs berbagai permintaan tersebut terjadi.
- Ringkasan lengkap properti dengan beberapa host dan dukungan untuk properti domain.
Bagian-bagian alat analisis log Google
Kami mengundang Anda untuk berkeliling melalui berbagai bagian dari Crawl Stats. Mau bergabung dengan kami?
Grafik crawl stats
Grafik baru ini, yang sudah disesuaikan dengan desain Search Console saat ini, menampilkan statistik crawling dari waktu ke waktu. Di dalamnya Anda dapat melihat tiga metrik:
- Total permintaan crawl selama periode waktu tertentu, atau secara harian jika Anda mengarahkan kursor di atas grafik.
- Total ukuran data yang diunduh dalam byte.
- Waktu respons rata-rata dalam milidetik.
Sejauh ini belum banyak yang baru; lebih merupakan perubahan antarmuka. Tapi mari kita lihat bagian-bagian berikut...
Crawling pada berbagai host di properti domain Anda
Properti domain Anda di Search Console mungkin terdiri dari beberapa host, seperti versi dengan dan tanpa www, atau subdomain apa pun yang mungkin Anda miliki. Grafik ini memungkinkan Anda melihat bagaimana Googlebot meng-crawl-nya dan Anda dapat mengklik masing-masing untuk mendapatkan informasi individual yang difilter.
Di bagian ini kita dapat memiliki 3 indikator yang, sekilas, sudah memberi tahu kita banyak hal:
Pengelompokan baru karakteristik crawling
Kita kini dapat mengategorikan kunjungan Googlebot di beberapa dimensi crawling:
- Berdasarkan respons: Dengan cara ini kita akan mengetahui pengalihan dan halaman error yang dilalui Googlebot selama periode waktu tertentu.
- Berdasarkan jenis file: Googlebot mungkin menghabiskan banyak waktu crawling pada jenis file yang tidak kita pedulikan. Berkat pengelompokan ini, kita akan mengetahuinya.
- Berdasarkan tujuan: Di sini kita dapat membedakan antara persentase crawling yang didedikasikan untuk halaman yang sudah dikenal dan untuk menemukan URL baru.
- Berdasarkan jenis bot Google: Kita tahu Google memiliki berbagai jenis bot dan masing-masing memiliki fungsinya sendiri. Dalam laporan ini kita akan melihat seberapa sering masing-masing mengunjungi kita.
Anda akan dapat menyelami masing-masing dan melihat beberapa contoh URL. Meskipun begitu, itu hanya contoh saja. Tidak semua URL yang Anda lihat di laporan akan tersedia untuk Anda. Anda dapat mengenali pola, tetapi tidak dapat mengunduh informasi lengkap dan bekerja darinya.
Kesimpulan tentang alat ini
Ini adalah peningkatan yang sangat membantu mendeteksi masalah crawling signifikan di sebuah situs web dengan cara yang sederhana dan gratis. Kami tidak berpikir ini akan menggantikan alat analisis log seperti Kibana atau Screaming Frog Log File Analyzer, karena apa yang ditawarkan Google kepada kita adalah sampel, bukan data yang tepat. Itulah sebabnya, untuk proyek dengan persyaratan khusus, ia tidak bisa menjadi pengganti. Singkatnya, kita akan dapat menyelesaikan banyak masalah, tetapi tidak sepenuhnya menganalisis crawling yang dilakukan Google di situs web kita. Ingatlah bahwa ini adalah fitur yang baru saja diluncurkan dan, untuk saat ini, kita tidak tahu bagaimana ia akan berkembang.
Penulis: David Kaufmann
Saya telah menghabiskan lebih dari 10 tahun terakhir benar-benar terobsesi dengan SEO — dan jujur saja, saya tidak mau menukarnya dengan apa pun.
Karier saya mencapai level baru ketika saya bekerja sebagai senior SEO specialist untuk Chess.com — salah satu dari 100 website paling banyak dikunjungi di seluruh internet. Bekerja di skala seperti itu, di jutaan halaman, puluhan bahasa, dan di salah satu SERPs paling kompetitif yang ada, mengajari saya hal-hal yang tidak akan pernah bisa diberikan oleh kursus atau sertifikasi mana pun. Pengalaman itu mengubah cara pandang saya tentang seperti apa SEO yang benar-benar hebat — dan menjadi fondasi bagi semua yang saya bangun setelahnya.
Dari pengalaman itu, saya mendirikan SEO Alive — sebuah agency untuk brand yang serius menggarap pertumbuhan organik. Kami tidak di sini untuk menjual dashboards dan laporan bulanan. Kami di sini untuk membangun strategi yang benar-benar menggerakkan hasil, menggabungkan yang terbaik dari SEO klasik dengan dunia baru yang menarik dari Generative Engine Optimization (GEO) — memastikan brand Anda tidak hanya muncul di tautan biru Google, tetapi juga di dalam jawaban yang dihasilkan AI yang dikirimkan ChatGPT, Perplexity, dan Google AI Overviews kepada jutaan orang setiap harinya.
Dan karena saya tidak bisa menemukan tool yang menangani kedua dunia itu dengan benar, saya membangunnya sendiri — SEOcrawl, sebuah platform enterprise SEO intelligence yang menyatukan rankings, audit teknis, pemantauan backlinks, kesehatan crawl, dan pelacakan visibilitas brand di AI dalam satu tempat. Inilah platform yang selalu saya harap pernah ada.
Temukan lebih banyak konten dari penulis ini
