robots.txt: Panduan Lengkap Konfigurasinya
Bosan mendengar soal robots.txt tapi tidak tahu apa yang sedang dibicarakan orang? Tenang, hari ini kami punya solusinya buat kamu. Di artikel ini kami akan berusaha menjelaskan apa itu robots.txt, cara mengonfigurasinya (terutama di WordPress) dan dampak apa yang bisa ditimbulkannya terhadap SEO proyek kita.
Yuk, langsung saja!
Apa itu robots.txt dan untuk apa fungsinya?
File robots.txt sederhananya adalah file yang ditempatkan di root web kamu yang memungkinkanmu mencegah bot tertentu (seperti milik Google atau Bing) mengunjungi situs web kamu atau bagian-bagian darinya.
PERHATIAN: penting untuk tahu bahwa ini adalah sebuah protokol dan secara umum semua bot "baik" mematuhinya (GoogleBot, BingBot, Semrush, ...) tetapi bot apa pun yang punya niat buruk bisa saja mengabaikannya, seperti Screaming Frog dengan mencentang opsi ini:
Mengapa file robots.txt penting untuk SEO?
Seperti yang sudah kami sebutkan tadi, semua bot yang baik (seperti GoogleBot) mematuhi protokol ini, jadi yang bisa kita lakukan adalah memanfaatkan file ini untuk memandu Google saat menjelajahi situs web kita.
Apa? Apa maksudnya? Memandu Google dengan robots.txt?
Iya, tenang saja, kami akan jelaskan lewat sebuah contoh supaya jadi lebih jelas:
Bayangkan di situs webmu ada area privat yang hanya bisa diakses oleh pengguna terdaftar, dan seperti yang kita tahu, Google tidak bisa mengakses situs mana pun yang membutuhkan login (untuk saat ini...).
Jadi, bukankah masuk akal kalau kita tidak ingin Google membuang-buang crawl budget kita untuk merayapi halaman yang tidak punya nilai baginya?
Tepat sekali! Salah satu kegunaan terpenting dari robots.txt adalah memblokir jalur (path) yang nilainya kecil bagi Google, sehingga Google bisa fokus pada halaman-halaman penting di situs web kita. Karena alasan inilah, robots.txt seharusnya menjadi salah satu pilar yang harus diperhatikan dalam strategi SEO kita.
Ini hanya satu contoh dari ribuan hal yang bisa kita lakukan dengan file ini. Contoh lainnya antara lain menunjukkan sitemap kita, mengurangi interval crawling, memblokir crawling resource, ...
Cara membuat file robots.txt
Oke... sekarang waktunya beraksi!
Membuat file ini sebenarnya sangat mudah, kamu cukup membuka editor teks (Notepad di Windows atau TextEdit di Mac) atau memakai editor online, lalu setelah membuat draft robots.txt-mu, ekspor sebagai file txt.
Setelah file siap, kita tinggal memberinya nama "robots.txt" dan mengunggahnya ke root web melalui panel server atau via FTP.
Untuk memastikan file sudah terunggah dengan benar, kamu cukup menambahkan "/robots.txt" di belakang domainmu, misalnya https://seocrawl.com/robots.txt
PERHATIAN: Hati-hati dengan cache, lebih baik buka di mode incognito ;)
Bagaimana kalau pakai WordPress?
Kalau kamu pakai WordPress jadi lebih mudah, karena plugin SEO terbaik seperti Rank Math atau Yoast sudah dilengkapi add-on bawaan untuk mengedit robots.txt secara langsung.
Pada Rank Math kamu bisa menemukannya di Rank Math > General Settings > Edit robots.txt
Pada Yoast kita perlu masuk ke SEO > Tools > File Editor
Dengan cara ini kamu bisa dengan mudah mengedit atau membuat file tanpa harus menjalankan langkah-langkah yang dijelaskan di atas.
Perintah-perintah
Berikut ini kita akan melihat banyak perintah yang tersedia beserta contohnya masing-masing:
Memblokir crawling untuk seluruh situs web
User-agent: * Disallow: /
CATATAN: Jika kamu sedang mengembangkan situs web dan tidak ingin ada bot yang masuk, membaca, dan mengindeks kontenmu, aturan ini sangat berguna.
Memblokir crawling sebuah halaman
User-agent: * Disallow: /url-halaman-yang-tidak-ingin-dirayapi
Memblokir crawling sebuah folder
User-agent: * Disallow: /folder/
Mengizinkan akses ke sebuah halaman
User-agent: * Allow: /halaman
Memblokir folder dan mengizinkan satu halaman di dalamnya
User-agent: * Disallow: /folder/ Allow: /folder/halaman
Menunjukkan sitemap
Sitemap: https://domain.com/sitemap.xml
Memberi perintah ke bot tertentu
Untuk yang satu ini kita akan bahas sedikit lebih detail. Kalau kamu perhatikan, sebagian besar direktif sebelumnya selalu diawali dengan:
User-agent: *
Tanda "*" itu merujuk ke semua bot. Artinya, semua direktif yang muncul setelah baris itu berlaku untuk semua bot. Kalau yang ingin kita lakukan adalah memberi perintah spesifik ke bot tertentu, kita perlu mengubahnya seperti ini:
User-agent: Googlebot Jika kita ingin merujuk ke bot Google
User-agent: Bingbot Jika kita ingin merujuk ke bot Bing
User-agent: DuckDuckBot Jika kita ingin merujuk ke bot DuckDuckGo
Yang perlu kamu lakukan hanyalah mencari tahu nama bot yang ingin kamu beri perintah dan menuliskannya seperti yang baru saja kami contohkan.
Mereview dan menguji file robots.txt
Sekarang setelah kamu selesai "menyetel" robots-mu agar benar-benar optimal dan disesuaikan dengan situs webmu, yang tersisa hanyalah mengujinya.
Mengujinya? Buat apa?
Ya, mengujinya untuk memastikan kita tidak salah ketik di salah satu baris dan memastikan file tersebut benar-benar berfungsi memblokir bagian-bagian situs yang ingin kita blokir.
Untuk itu kami merekomendasikan memakai tool ini.
Setelah masuk ke dalam, kamu cukup:
-
Memasukkan URL yang ingin kamu cek apakah crawling-nya diizinkan
-
Memilih User Agent
-
Klik TEST
Setelah itu, seluruh file robots.txt kita akan dimuat dan di bawahnya akan terlihat apakah akses diizinkan atau tidak.
Dalam kasus ini, seperti yang bisa kita lihat, hasilnya positif, tetapi kalau kita memasukkan URL yang tidak diizinkan, tool ini juga akan menyorot baris yang memblokirnya:
Selain itu, tool ini memungkinkan kita untuk mengedit file robots.txt langsung dari sana untuk membuat modifikasi apa pun yang dibutuhkan agar hasilnya sesuai dengan tujuan kita. Setelah dimodifikasi dan diuji, kita tinggal menerapkan modifikasi baru itu ke robots-mu.
Tips bonus: bikin robots.txt-mu tak terlupakan
Kami sudah menunjukkan banyak baris kode yang berguna untuk bot, tapi kamu juga bisa menyisipkan komentar dengan mengawali baris menggunakan "#". Artinya, apa pun yang dimulai dengan "#" akan diabaikan oleh bot. Ini membuka peluang untuk berkreasi dan menyisipkan inside jokes. Karena itu kami sarankan kamu mengintip robots.txt milik windupschool, pccomponentes atau Minube, kamu pasti akan menemukan kejutan ?
Kesimpulan
Seperti yang sudah kamu lihat, file robots.txt punya banyak hal yang bisa ditawarkan dan juga butuh perhatian ekstra, karena satu direktif yang salah penempatan saja bisa memblokir crawling seluruh situs webmu.
Semoga panduan ini bermanfaat untukmu, dan kalau ada pertanyaan, kita ngobrol lagi di kolom komentar.
Penulis: David Kaufmann
Saya telah menghabiskan lebih dari 10 tahun terakhir benar-benar terobsesi dengan SEO — dan jujur saja, saya tidak mau menukarnya dengan apa pun.
Karier saya mencapai level baru ketika saya bekerja sebagai senior SEO specialist untuk Chess.com — salah satu dari 100 website paling banyak dikunjungi di seluruh internet. Bekerja di skala seperti itu, di jutaan halaman, puluhan bahasa, dan di salah satu SERPs paling kompetitif yang ada, mengajari saya hal-hal yang tidak akan pernah bisa diberikan oleh kursus atau sertifikasi mana pun. Pengalaman itu mengubah cara pandang saya tentang seperti apa SEO yang benar-benar hebat — dan menjadi fondasi bagi semua yang saya bangun setelahnya.
Dari pengalaman itu, saya mendirikan SEO Alive — sebuah agency untuk brand yang serius menggarap pertumbuhan organik. Kami tidak di sini untuk menjual dashboards dan laporan bulanan. Kami di sini untuk membangun strategi yang benar-benar menggerakkan hasil, menggabungkan yang terbaik dari SEO klasik dengan dunia baru yang menarik dari Generative Engine Optimization (GEO) — memastikan brand Anda tidak hanya muncul di tautan biru Google, tetapi juga di dalam jawaban yang dihasilkan AI yang dikirimkan ChatGPT, Perplexity, dan Google AI Overviews kepada jutaan orang setiap harinya.
Dan karena saya tidak bisa menemukan tool yang menangani kedua dunia itu dengan benar, saya membangunnya sendiri — SEOcrawl, sebuah platform enterprise SEO intelligence yang menyatukan rankings, audit teknis, pemantauan backlinks, kesehatan crawl, dan pelacakan visibilitas brand di AI dalam satu tempat. Inilah platform yang selalu saya harap pernah ada.
Temukan lebih banyak konten dari penulis ini
