Хайлт · AI-д харагдахRobots Exclusion Standard · Мөлхөгчид зориулсан заавар файл
robots.txt
robots.txt гэдэг нь хайлтын систем болон AI-н автоматаар зочилдог программ (мөлхөгч)-д вэбсайтын аль хэсгийг уншиж болохыг мэдэгддэг заавар файл юм.
Дэлгүүрийн арын хаалган дээр наасан "Ажилтнаас бусад нь орохыг хориглоно" гэсэн самбартай адил. Дагадаг хүн нь дагана, гэхдээ цоож биш.
Арай дэлгэрэнгүй
Үргэлж "yourshop.kr/robots.txt" хаягт байдаг. Google-ийн Googlebot, Naver-ийн Yeti, OpenAI-ийн GPTBot гэх мэт мөлхөгчийн нэр тус бүрээр зөвшөөрөх, хаахыг бичиж болно.
Андуурч бүгдийг хааж орхивол хайлт болон AI хариултаас бүхэлдээ алга болж болно. Бүтээх явцад хаасан тохиргоогоо нээх үедээ буцааж нээхээ мартах алдаа нэлээд түгээмэл.
robots.txt бол хэн ч нээж харж болох нийтэд ил файл тул аюулгүй байдлын хэрэгсэл биш. Нуух ёстой хуудсыг нэвтрэх эрх эсвэл нууц үгээр хаах хэрэгтэй.
robots.txt ямар харагдалттай вэ?
robots.txt бол "ямар роботод (User-agent)", "хаашаа орж болохгүй (Disallow)", "хаашаа орж болно (Allow)" гэдгийг мөр мөрөөр бичсэн текст файл юм. 2022 оны 9 сард Интернэтийн олон улсын стандартын байгууллага (IETF) RFC 9309 нэртэйгээр стандарт баримт бичгийг гаргасан.
Файлын нэр заавал robots.txt, байршил нь сайтын хамгийн дээд хавтас, формат нь UTF-8 текст файл байх ёстой. Дүрэм нь тухайн файл байгаа домэйн · протокол · порт дээр л үйлчилдэг тул "shop.yourshop.kr" шиг дэд домэйнд тусдаа файл хэрэгтэй.
Мөрийн нэр (User-agent, Disallow) том, жижиг үсгийг ялгадаггүй ч зам нь ялгадаг. "/Admin" ба "/admin"-ийг өөр зам гэж үздэг.
- User-agent: * → бүх роботод үйлчилнэ.
- Disallow: /admin/ → /admin/ доорх хэсгийг битгий уншаарай.
- Allow: / → үлдсэн бүгдийг уншиж болно.
- Sitemap: https://yourshop.kr/sitemap.xml → сайтын зураглал энд байна.
robots.txt, noindex хоёр юугаараа ялгаатай вэ?
robots.txt нь "уншихаар битгий ир", noindex нь "уншиж болно, гэхдээ хайлтын үр дүнд битгий оруул" гэсэн үг. Google robots.txt нь хуудсыг Google хайлтаас хасах хэрэгсэл биш гэдгийг тодорхой заасан.
robots.txt-ээр хаасан хуудас ч өөр газар холбоостой бол тайлбаргүйгээр зөвхөн хаяг нь хайлтын үр дүнд гарч болно. Хайлтаас баттай хасахыг хүсвэл noindex ашиглаж, тэр хуудсыг robots.txt-ээр хаахгүй байж байж робот noindex-ийг уншиж чадна.
Бодит байдал дээр ингэж хувааж хэрэглэхэд болно. Үйлчлүүлэгчид харуулах шаардлагагүй мэдэгдлийн хуудсанд noindex, робот эцэс төгсгөлгүй төөрч болох хайлт · шүүлтүүрийн хаягт robots.txt, хувийн мэдээлэлтэй газарт нэвтрэлтээр хаана.
Хүснэгтийг хажуу тийш гүйлгэж үзэж болно
| Арга | Юу хийдэг вэ | Хайлтын үр дүн | Тохирох газар |
|---|---|---|---|
| robots.txt Disallow | Робот хуудсыг уншихаар ирэхгүй болгоно | Холбоос байвал зөвхөн хаяг харагдаж болно | Админ хуудас, сайт доторх хайлтын үр дүн гэх мэт робот төөрөх газар |
| noindex | Уншсаны дараа хайлтын жагсаалтад оруулахгүй болгоно | Хайлтын үр дүнгээс хасагдана | Цаг захиалга дууссан · туршилтын хуудас |
| Нэвтрэлт · Нууц үг | Зөвшөөрөгдсөн хүн л орох боломжтой болгоно | Робот ч орж чадахгүй | Гишүүдийн мэдээлэл, захиалгын түүх, дотоод материал |
robots.txt-ийг яаж үүсгэж, шалгах вэ?
Вэбсайт бүтээх ихэнх хэрэгсэл болон framework robots.txt-ийг автоматаар үүсгэдэг. Та нээхээсээ өмнө нэг удаа нээж үзээд доорх дарааллаар шалгахад хангалттай.
Naver Search Advisor-т robots.txt-ийг хялбархан үүсгэж татаж авах функц, засварласан файлаа шууд цуглуулах хүсэлт гаргаж, тодорхой хуудас хаагдаж байгаа эсэхийг турших функц бий. Google шинэ файлыг тусад нь илгээх шаардлагагүйгээр өөрөө уншиж авдаг.
robots.txt-ээ засварласны дараа Google-д хурдан мэдэгдэхийг хүсвэл Search Console-ийн robots.txt тайлангаас дахин мөлхөх хүсэлт гаргаж болно. Эс тэгвээс хадгалж байсан хуучин файл нь хэсэг хугацаанд ашиглагдаж болно.
- 01Нууц (incognito) цонхонд "yourshop.kr/robots.txt"-ийг нээж файл текстээр харагдаж байгаа эсэхийг шалгана.
- 02"User-agent: *" доор "Disallow: /" гэсэн ганц мөр байгаа эсэхийг шалгана. Байвал сайт бүхэлдээ хаагдсан төлөвтэй байна.
- 03Админ хуудас шиг робот унших шаардлагагүй замууд л Disallow-оор бичигдсэн эсэхийг харна.
- 04Хамгийн доод Sitemap мөрөнд сайтын зураглалын бүтэн хаяг байгаа эсэхийг шалгана.
- 05Google Search Console-ийн тохиргооны цэсний robots.txt тайлангаас алдаа байхгүй эсэхийг шалгана.
- 06Naver Search Advisor-ийн вэбмастерийн хэрэгслийн шалгах цэснээс robots.txt-ийг цуглуулах хүсэлт гаргаж, гол хуудсууд цуглуулах боломжтой гэж гарч байгааг туршина.
robots.txt байхгүй эсвэл алдаатай бол юу болох вэ?
Файл байхгүй бол хайлтын робот бүх хуудсыг уншиж болно гэж үздэг. Naver, Google хоёулаа robots.txt нь 404 шиг "байхгүй" гэсэн хариу өгвөл хязгаарлалтгүй гэж тайлбарладаг.
Харин серверийн алдаа (5xx) эсрэгээрээ аюултай. Naver үүнийг "бүгдийг зөвшөөрөхгүй" гэж тайлбарладаг бол Google эхний 12 цагт сайтын мөлхөлтийг зогсоож, дараа нь 30 хүртэл хоногийн турш хамгийн сүүлд уншсан дүрмээ ашигладаг. Сервер тогтворгүй бол хайлтын робот вэбсайтыг огт уншиж чадахгүй болж болно.
Үүнээс гадна мэдэж байхад илүүдэхгүй шалгуурууд бий. Google robots.txt-ийг ихэвчлэн 24 хүртэл цаг хадгалж ашигладаг тул засварласан агуулга шууд тусахгүй байж болох бөгөөд 500KiB-аас хэтэрсэн хэсгийг үл тоодог. Naver robots.txt нь HTML баримт бичиг болж ирвэл доторх дүрмийг үл тоож "байхгүй" гэж үзэж болно гэж заасан.
AI мөлхөгчийг robots.txt-ээр яаж зохицуулах вэ?
AI мөлхөгчийг ч нэр (User-agent) тус бүрээр нь зөвшөөрөх · хаахаар бичиж болно. Жишээ нь OpenAI сургалтын GPTBot болон ChatGPT хайлтын OAI-SearchBot-ыг тусад нь ашигладаг, Google нь Google-Extended гэсэн нэрээр Gemini-ийн сургалт болон хариултын эх сурвалжид ашиглах эсэхийг тусад нь тохируулах боломж олгодог.
Google хайлтын AI Overview болон AI Mode нь ердийн хайлтын робот болох Googlebot-ийн тохиргоог дагадаг. Google-Extended нь хайлтад багтах эсэх болон байрлалд нөлөөлөхгүй гэж Google мэдэгдсэн. Харин Googlebot-ыг хаавал ердийн хайлт болон AI функц аль алинаас нь хасагдаж болно.
Бизнесийн вэбсайт бол үйлчлүүлэгч AI-аас асуухад зөв мэдээлэл гарч ирэх нь ашигтай байх нь олонтаа. Сургалтын болон хайлтын мөлхөгчийг салгаж бодоод, наад зах нь AI хайлтын мөлхөгчийг нээлттэй үлдээх талаар эхэлж авч үзээрэй. Гэхдээ robots.txt нь зөвлөмж төдий тул бүх мөлхөгч дагана гэсэн баталгаа байхгүй.
robots.txt-д ямар алдаа их гаргадаг вэ?
Нуухыг хүссэн замаа robots.txt-д бичвэл тэр файлыг нээж үзсэн хэн бүхэнд замаа зааж өгч байгаатай адил. Олон улсын стандарт баримт бичигт ч robots.txt-ийн дүрэм нь хандах эрхийн хэрэгсэл биш бөгөөд аюулгүй байдлын арга хэмжээг орлож чадахгүй гэж бичсэн.
Дизайны файл (CSS) эсвэл скрипт (JS)-ийн замыг хаах нь бас түгээмэл алдаа. Хайлтын робот эдгээр файлыг хүртэл уншиж байж дэлгэцийг зөв ойлгодог тул Naver ч ийм нөөцүүдийг хуудастай ижил дүрмээр үлдээх эсвэл зөвшөөрөхийг зөвлөдөг.
Нээхийн өмнөхөн robots.txt болон noindex-ийг хос болгон шалгаарай. Бүтээх үеийн хоригийг авах нь хөгжүүлэгчид нэг мөр засвар ч мартвал хэдэн долоо хоног хайлтаас алга болж болно.
- Бүтээх үед оруулсан "Disallow: /"-ийг нээсний дараа ч үлдээх
- noindex тавьсан хуудсыг robots.txt-ээр ч хааж, noindex уншигдахгүй болгох
- CSS · JS · favicon-ы замыг хаах
- robots.txt-ийг сайтын хамгийн дээд хавтсанд биш, доод хавтсанд байрлуулах
- Замын том, жижиг үсгийг бодит хаягаас өөрөөр бичих
Жишээлбэл
- Админ хуудасны хаягийг (/admin) хайлтын мөлхөгч уншихгүй байхаар бичиж өгдөг.
Үүнийг л шалгаарай
- yourshop.kr/robots.txt-г нээгээд "бүгдийг хаах" тохиргоо байхгүй эсэх
- Сайтын зураглалын хаяг хамт бичигдсэн эсэх
- AI мөлхөгчийг хаах эсвэл нээхээ шийдсэн эсэх
Манай бизнест?
Бүх вэбсайтад байдаг. Нээхийн өмнө нэг удаа заавал шалгаарай.
ISSYMO-д
Хайлт · AI-д харагдах үндсэн тохиргоонд robots.txt, сайтын зураглалыг хамт цэгцэлж, гол AI мөлхөгчид уншиж чадахаар нээлттэй байлгадаг.
SEO · GEO-ийн талаар мэдэхТүгээмэл асуулт
Ашигласан эх сурвалж
Сүүлд зассан өдөр