robots.txt

Seperti apa isi file robots.txt?

robots.txt adalah file teks yang menuliskan per baris ‘untuk robot mana (User-agent)’, ‘bagian mana yang jangan dimasuki (Disallow)’, dan ‘bagian mana yang boleh dimasuki (Allow)’. Pada September 2022 (9/2022), lembaga standar internet internasional (IETF) menerbitkan dokumen standarnya sebagai RFC 9309.

Nama file wajib robots.txt, lokasinya di folder paling atas situs, dan formatnya file teks UTF-8. Aturannya hanya berlaku untuk domain · protokol · port tempat file itu berada, jadi subdomain seperti ‘shop.namatoko.kr’ butuh file tersendiri.

Nama baris (User-agent, Disallow) tidak membedakan huruf besar-kecil, tetapi jalurnya membedakan. ‘/Admin’ dan ‘/admin’ dianggap jalur yang berbeda.

• User-agent: * → berlaku untuk semua robot.
• Disallow: /admin/ → mohon jangan baca bagian di bawah /admin/.
• Allow: / → sisanya boleh dibaca semua.
• Sitemap: https://namatoko.kr/sitemap.xml → sitemap ada di sini.

Apa bedanya robots.txt dan noindex?

robots.txt berarti ‘jangan datang membaca’, sedangkan noindex berarti ‘boleh dibaca, tetapi jangan masukkan ke hasil pencarian’. Google menegaskan bahwa robots.txt bukan cara untuk mengeluarkan halaman dari Google Penelusuran.

Halaman yang diblokir dengan robots.txt pun bisa muncul di hasil pencarian hanya berupa alamat tanpa deskripsi jika ada tautan dari tempat lain. Untuk benar-benar mengeluarkannya dari pencarian, pakai noindex, dan halaman itu jangan diblokir robots.txt agar robot bisa membaca noindex.

Dalam praktik, bagi seperti ini: halaman pemberitahuan yang tidak perlu dilihat pelanggan pakai noindex, alamat pencarian · filter tempat robot bisa berputar-putar tanpa akhir pakai robots.txt, dan tempat berisi data pribadi diamankan dengan login.

Bagaimana membuat dan mengecek robots.txt?

Sebagian besar alat pembuat situs web dan framework membuat robots.txt secara otomatis. Anda cukup membukanya sekali sebelum rilis dan mengecek mengikuti urutan di bawah.

Naver Search Advisor punya fitur untuk membuat dan mengunduh robots.txt dengan mudah, serta fitur untuk langsung meminta pengumpulan file yang sudah diubah dan menguji apakah halaman tertentu terblokir. Google membacanya sendiri tanpa perlu mengirim file baru.

Jika ingin cepat memberi tahu Google setelah mengubah robots.txt, Anda bisa meminta crawl ulang di laporan robots.txt Search Console. Jika tidak, file lama yang tersimpan bisa masih dipakai untuk sementara.

1. 01Buka ‘namatoko.kr/robots.txt’ di jendela penyamaran dan cek apakah file tampil sebagai teks.
2. 02Cek apakah di bawah ‘User-agent: *’ hanya ada satu baris ‘Disallow: /’. Jika ada, berarti seluruh situs terblokir.
3. 03Lihat apakah hanya jalur yang tidak perlu dibaca robot, seperti panel admin, yang ditulis dengan Disallow.
4. 04Cek apakah baris Sitemap di bagian paling bawah memuat alamat lengkap sitemap.
5. 05Cek apakah tidak ada error di laporan robots.txt pada menu Setelan Google Search Console.
6. 06Di menu verifikasi alat webmaster Naver Search Advisor, minta pengumpulan robots.txt dan uji apakah halaman utama tampil bisa dikumpulkan.

Apa yang terjadi jika robots.txt tidak ada atau error?

Jika file tidak ada, robot pencarian menganggap semua halaman boleh dibaca. Naver dan Google sama-sama menafsirkan robots.txt yang memberi respons ‘tidak ada’ seperti 404 sebagai tanpa batasan.

Sebaliknya, error server (5xx) berbahaya. Naver menafsirkannya sebagai ‘tidak mengizinkan semua’, sedangkan Google menghentikan crawling situs selama 12 jam pertama, lalu memakai aturan terakhir yang dibaca hingga paling lama 30 hari. Jika server tidak stabil, robot pencarian bisa sama sekali tidak bisa membaca situs web.

Ada juga patokan lain yang baik untuk diketahui. Google biasanya menyimpan dan memakai robots.txt hingga paling lama 24 jam, sehingga perubahan bisa tidak langsung berlaku, dan bagian yang melebihi 500KiB diabaikan. Naver menyebutkan jika robots.txt dikembalikan sebagai dokumen HTML, aturan di dalamnya bisa diabaikan dan dianggap ‘tidak ada’.

Bagaimana mengatur crawler AI dengan robots.txt?

Crawler AI juga bisa diizinkan · diblokir per nama (User-agent). Misalnya, OpenAI memisahkan GPTBot untuk pelatihan dan OAI-SearchBot untuk pencarian ChatGPT, sedangkan Google menyediakan nama Google-Extended untuk menentukan terpisah apakah situs dipakai untuk pelatihan Gemini dan sebagai dasar jawaban.

Ringkasan AI dan Mode AI di Google Penelusuran mengikuti pengaturan Googlebot, robot pencarian umum. Google menyatakan Google-Extended tidak memengaruhi apakah situs disertakan di pencarian atau peringkatnya. Sebaliknya, jika Googlebot diblokir, situs bisa hilang dari pencarian biasa maupun fitur AI.

Untuk situs web usaha, sering kali lebih menguntungkan jika informasi yang tepat muncul saat pelanggan bertanya ke AI. Pisahkan pertimbangan antara crawler pelatihan dan crawler pencarian, dan pertimbangkan lebih dulu untuk setidaknya membuka crawler pencarian AI. Namun robots.txt bersifat imbauan, jadi tidak ada jaminan semua crawler mematuhinya.

Apa kesalahan umum pada robots.txt?

Menulis jalur yang ingin disembunyikan di robots.txt sama saja memberi tahu jalur itu kepada siapa pun yang membuka file tersebut. Dokumen standar internasional juga menyebutkan aturan robots.txt bukan mekanisme otorisasi akses dan tidak bisa menggantikan langkah keamanan.

Memblokir jalur file desain (CSS) atau skrip (JS) juga kesalahan umum. Robot pencarian harus membaca file-file ini agar bisa memahami tampilan dengan benar, jadi Naver pun meminta agar sumber daya seperti ini diberi aturan yang sama dengan halaman atau diizinkan.

Tepat sebelum rilis, cek robots.txt dan noindex sebagai satu pasangan. Membuka blokir selama pembuatan hanya perubahan satu baris bagi pengembang, tetapi jika terlewat, situs bisa hilang dari pencarian selama beberapa minggu.

• Membiarkan ‘Disallow: /’ yang dipasang selama pembuatan tetap ada setelah rilis
• Memblokir halaman bertanda noindex juga dengan robots.txt sehingga noindex tidak terbaca
• Memblokir jalur CSS · JS · favicon
• Menaruh robots.txt di subfolder, bukan di bagian paling atas situs
• Menulis huruf besar-kecil jalur berbeda dari alamat sebenarnya