Crawler AI

Apa saja jenis crawler AI?

Crawler AI secara garis besar terbagi tiga sesuai tugasnya: crawler yang mengumpulkan bahan pelatihan model AI, crawler pencarian yang mengumpulkan halaman lebih dulu untuk jawaban pencarian AI, dan kunjungan atas permintaan pengguna yang datang membaca halaman saat pelanggan bertanya.

Di perusahaan yang sama pun peran tiap nama berbeda, jadi saat ‘memblokir crawler AI’, Anda harus memilih dengan tepat apa yang diblokir. Meski crawler pelatihan diblokir, jika crawler pencarian terbuka, situs tetap bisa muncul di jawaban pencarian AI.

OpenAI dan Perplexity menyatakan kunjungan atas permintaan pengguna adalah perintah langsung pengguna sehingga robots.txt bisa tidak berlaku. Sebaliknya, Anthropic menyebutkan Claude-User juga bisa diatur dengan robots.txt. Kebijakan berbeda per perusahaan dan bisa berubah, jadi sebaiknya sesekali cek dokumentasi resminya.

Jika Google-Extended diblokir, apakah situs hilang dari Google Penelusuran?

Tidak. Google menyatakan Google-Extended tidak memengaruhi visibilitas atau peringkat di Google Penelusuran. Google-Extended bukan robot yang berkunjung terpisah, melainkan penanda di robots.txt yang menentukan apakah konten yang dikumpulkan Google boleh dipakai untuk pelatihan model Gemini dan grounding (menjadikan konten pencarian sebagai dasar saat menyusun jawaban).

Ringkasan AI dan Mode AI di Google Penelusuran mengikuti syarat yang sama dengan pencarian biasa. Halaman harus terindeks di pencarian biasa dan bisa tampil dengan snippet, jadi jika Googlebot, crawler pencarian, diblokir, situs bisa hilang dari pencarian biasa maupun fitur AI — ini harus sangat diwaspadai.

Ringkasnya, Googlebot tetap dibuka, dan jika tidak ingin dipakai untuk pelatihan Gemini, cukup blokir Google-Extended saja. Google menyatakan meski begitu, visibilitas di Google Penelusuran tetap sama.

Bagaimana mengatur crawler AI di robots.txt?

robots.txt adalah file panduan akses yang diletakkan di jalur paling atas situs web (namatoko.kr/robots.txt). Isinya memasangkan nama crawler (User-agent) dengan jalur yang diizinkan · diblokir (Allow · Disallow).

robots.txt adalah permintaan untuk dipatuhi, bukan gembok. Crawler resmi menyatakan mematuhinya, tetapi program yang memalsukan nama atau sebagian kunjungan atas permintaan pengguna bisa tidak mematuhi. Informasi yang benar-benar tidak boleh dipublikasikan sebaiknya diletakkan di balik login.

1. 01Buka namatoko.kr/robots.txt di browser dan cek apa yang tertulis saat ini.
2. 02Lihat apakah di bawah ‘User-agent: *’ tidak tersisa baris yang memblokir semuanya seperti ‘Disallow: /’. Kadang pengaturan uji coba sebelum rilis masih tertinggal.
3. 03Tentukan masing-masing apakah crawler pelatihan (GPTBot · ClaudeBot · Google-Extended) dan crawler pencarian (OAI-SearchBot · Claude-SearchBot · PerplexityBot) dibuka atau diblokir.
4. 04Tulis nama hanya untuk crawler yang diblokir dengan ‘Disallow: /’, dan sisanya tidak perlu ditulis atau dibuka dengan ‘Allow: /’.
5. 05Blokir hanya jalur yang tidak perlu untuk pencarian, seperti panel admin · layar pembayaran selesai.
6. 06Jika ada subdomain (misalnya shop.namatoko.kr), pasang robots.txt terpisah di alamat itu juga.
7. 07Setelah diubah, cek lagi dengan laporan robots.txt Search Console dan verifikasi robots.txt Search Advisor.

Bolehkah memblokir crawler pelatihan dan hanya membuka crawler pencarian?

Boleh, bisa diatur terpisah seperti itu. OpenAI menyebutkan bahwa memblokir GPTBot dianggap sebagai permintaan agar konten situs tidak dipakai untuk pelatihan model dasar, dan situs yang memblokir OAI-SearchBot tidak ditampilkan di jawaban pencarian ChatGPT.

Anthropic juga menjelaskan bahwa memblokir ClaudeBot mengeluarkan konten selanjutnya dari bahan pelatihan, dan memblokir Claude-SearchBot mengeluarkan situs dari indeks untuk jawaban pencarian. Situs web usaha bertujuan memperkenalkan diri ke pelanggan, jadi buka crawler pencarian, dan tentukan crawler pelatihan sesuai pertimbangan Anda.

Untuk tempat yang kontennya sendiri merupakan produk, seperti kolom tulisan · resep · materi edukasi buatan sendiri, memblokir crawler pelatihan adalah pilihan yang cukup masuk akal. Sebaliknya, jika sebagian besar berupa informasi yang perlu diketahui luas seperti jam buka · lokasi · harga, tidak banyak manfaatnya memblokir.

Kapan crawler AI bisa tidak sengaja terblokir?

Ada kasus terblokir meski robots.txt tidak diutak-atik. Di antara fitur keamanan hosting atau CDN (layanan yang menyebar salinan situs web ke seluruh dunia), ada pengaturan yang memblokir crawler AI secara massal, dan jika aktif, crawler tidak bisa masuk apa pun isi robots.txt.

Sebagian besar bisa dicek dengan menanyakan dua hal ke pembuat situs: ‘Crawler mana yang dibuka dan diblokir di robots.txt?’ dan ‘Apakah pemblokiran bot AI aktif di pengaturan hosting · keamanan?’. Jika kunjungannya terlalu sering hingga membebani, ada crawler seperti ClaudeBot yang menyatakan mendukung pengaturan jeda kunjungan (Crawl-delay).

• Pengaturan ‘blokir pencarian’ yang diaktifkan sebelum rilis tidak dimatikan setelah rilis
• Fitur ‘blokir bot AI’ di layanan keamanan aktif secara bawaan
• Memblokir seluruh alamat IP karena kunjungannya banyak: Anthropic menyarankan robots.txt karena pemblokiran IP bisa tidak berfungsi dengan benar
• Konten hanya terlihat jika JavaScript dijalankan, sehingga sebagian crawler hanya membaca layar kosong