AI мөлхөгч

AI мөлхөгч ямар төрлүүдтэй вэ?

AI мөлхөгч хийдэг ажлаасаа хамаарч үндсэндээ 3 төрөлд хуваагдана. AI загварын сургалтын материал цуглуулдаг мөлхөгч, AI хайлтын хариултад ашиглах хуудсуудыг урьдчилан цуглуулдаг хайлтын мөлхөгч, үйлчлүүлэгч асуусан тэр мөчид хуудсыг уншихаар ирдэг хэрэглэгчийн хүсэлтийн зочлолт.

Нэг компанийн дотор ч нэр бүрийн үүрэг өөр тул "AI мөлхөгчийг хаана" гэхдээ юуг хаахаа яг таг сонгох хэрэгтэй. Сургалтын мөлхөгчийг хаасан ч хайлтынх нээлттэй бол AI хайлтын хариултад үргэлжлэн гарч болно.

Хэрэглэгчийн хүсэлтийн зочлолт нь үйлчлүүлэгчийн өөрөө даалгасан ажил тул robots.txt үйлчлэхгүй байж болно гэж OpenAI болон Perplexity мэдэгдсэн. Харин Anthropic Claude-User-ийг ч robots.txt-ээр зохицуулж болно гэж заасан. Компани бүрийн бодлого өөр бөгөөд өөрчлөгдөж болох тул албан ёсны баримт бичгийг хааяа шалгах нь зүйтэй.

Google-Extended-ийг хаавал Google хайлтаас хасагдах уу?

Үгүй, Google-Extended нь Google хайлтад харагдах болон байрлалд нөлөөлөхгүй гэж Google мэдэгдсэн. Google-Extended бол тусад нь зочилдог робот биш, Google-ийн цуглуулсан агуулгыг Gemini загварын сургалт болон grounding (хариулт гаргахдаа хайлтын агуулгыг эх сурвалж болгон залгах ажил)-д ашиглаж болох эсэхийг robots.txt-д бичдэг тэмдэглэгээ юм.

Google хайлтын AI Overview болон AI Mode нь ердийн хайлттай ижил нөхцлийг дагадаг. Ердийн хайлтад индексжүүлэгдэж, snippet-тэй хамт харагдах боломжтой хуудас байх ёстой тул хайлтын мөлхөгч Googlebot-ыг хаавал ердийн хайлт болон AI функц аль алинаас нь хасагдаж болзошгүй тул онцгой болгоомжлох хэрэгтэй.

Товчхондоо Googlebot-ыг нээлттэй үлдээгээд, Gemini-ийн сургалтад ашиглагдахыг хүсэхгүй бол зөвхөн Google-Extended-ийг хаах байдлаар салгаж болно. Ингэсэн ч Google хайлтад харагдах байдал хэвээр үлдэнэ гэж Google мэдэгдсэн.

robots.txt-д AI мөлхөгчийг яаж тохируулах вэ?

robots.txt бол вэбсайтын хамгийн дээд замд (yourshop.kr/robots.txt) байрладаг нэвтрэх журмын файл. Мөлхөгчийн нэр (User-agent) болон зөвшөөрөх · хаах замыг (Allow · Disallow) хослуулж бичнэ.

robots.txt бол дагаж мөрдөөч гэсэн амлалт болохоос цоож биш. Албан ёсны мөлхөгчид дагадаг гэж мэдэгддэг ч нэрийг нь дуурайдаг програмууд болон зарим хэрэглэгчийн хүсэлтийн зочлолт дагахгүй байж болно. Үнэхээр нийтэд ил болгож болохгүй мэдээллийг нэвтрэлтийн ард байршуулах нь зөв.

1. 01yourshop.kr/robots.txt-ийг хөтчөөр нээж одоо юу бичигдсэнийг шалгана.
2. 02"User-agent: *" доор "Disallow: /" шиг бүгдийг хаадаг мөр үлдсэн эсэхийг харна. Нээхээс өмнөх туршилтын тохиргоо хэвээр үлдэх тохиолдол бий.
3. 03Сургалтын (GPTBot · ClaudeBot · Google-Extended) болон хайлтын (OAI-SearchBot · Claude-SearchBot · PerplexityBot) мөлхөгч тус бүрийг нээх үү, хаах уу гэдгээ шийднэ.
4. 04Хаах мөлхөгчийнхөө л нэрийг бичиж "Disallow: /" тавиад, бусдыг нь тусад нь бичихгүй эсвэл "Allow: /"-ээр нээлттэй үлдээнэ.
5. 05Админ хуудас · төлбөр дууссан дэлгэц гэх мэт хайлтад хэрэггүй замуудыг л сонгож хаана.
6. 06Дэд домэйн (жишээ нь: shop.yourshop.kr) байгаа бол тэр хаягт ч robots.txt-ийг тусад нь байршуулна.
7. 07Засварласны дараа Search Console-ийн robots.txt тайлан болон Search Advisor-ийн robots.txt шалгалтаар дахин шалгана.

Сургалтын мөлхөгчийг хаагаад зөвхөн хайлтынхыг нээж болох уу?

Тийм, ингэж салгаж тохируулж болно. OpenAI GPTBot-ыг хаавал тухайн сайтын контентыг суурь загварын сургалтад бүү ашигла гэсэн утгаар ойлгож, OAI-SearchBot-ыг хаасан сайтыг ChatGPT-ийн хайлтын хариултад харуулахгүй гэж заасан.

Anthropic ч ClaudeBot-ыг хаавал цаашдын контентыг сургалтын материалаас хасаж, Claude-SearchBot-ыг хаавал хайлтын хариултад зориулсан индексээс хасагдана гэж тайлбарладаг. Бизнесийн вэбсайт үйлчлүүлэгчдэд мэдээлэх зорилготой тул хайлтынхыг нээлттэй үлдээж, сургалтынхыг та өөрийн шийдвэрээр тогтооход болно.

Өөрөө бичсэн нийтлэл · жор · сургалтын материал гэх мэт контент нь өөрөө бүтээгдэхүүн болдог газарт сургалтын мөлхөгчийг хаах сонголт бүрэн үндэслэлтэй. Харин ажлын цаг · байршил · үнэ гэх мэт өргөн мэдэгдэх ёстой мэдээлэл голлодог бол хаагаад олох зүйл төдийлөн их биш.

AI мөлхөгчийг андуурч хаадаг нь ямар үед вэ?

robots.txt-д хүрээгүй байхад ч хаагддаг тохиолдол бий. Хостинг эсвэл CDN (вэбсайтын хуулбарыг дэлхийн өнцөг булан бүрт хувааж байршуулдаг үйлчилгээ)-ийн аюулгүй байдлын функцуудын дунд AI мөлхөгчийг бөөнөөр нь хаадаг тохиргоо байдаг бөгөөд энэ тохиргоо асаалттай бол robots.txt-ээс үл хамааран мөлхөгч нэвтэрч чадахгүй.

Гүйцэтгэгчээс "robots.txt-д ямар мөлхөгчийг нээж, хаасан бэ?", "Хостинг · аюулгүй байдлын тохиргоонд AI бот хаах функц асаалттай юу?" гэсэн 2 зүйлийг асуухад ихэнхдээ тодорхой болно. Зочлолт хэт олон удаа ирж ачаалал болж байвал ClaudeBot шиг зочлох завсрын (Crawl-delay) тохиргоог дэмждэг гэж мэдэгдсэн мөлхөгч ч бий.

• Нээхээс өмнө асаасан "хайлтаас хаах" тохиргоог нээсний дараа ч унтраагаагүй тохиолдол
• Аюулгүй байдлын үйлчилгээний "AI бот хаах" функц анхнаасаа асаалттай байсан тохиолдол
• Зочлолт олон байна гээд IP хаягийг бүхэлд нь хаасан тохиолдол: Anthropic IP хаалт зөв ажиллахгүй байж болно гээд robots.txt-ийг зөвлөдөг
• JavaScript ажиллуулж байж л агуулга харагдахаар хийсэн тул зарим мөлхөгч хоосон дэлгэц л уншиж болох тохиолдол