AI Crawler

AI crawler มีกี่ประเภท อะไรบ้าง

AI crawler แบ่งตามหน้าที่ได้ใหญ่ ๆ 3 ประเภท คือ crawler ที่เก็บข้อมูลสำหรับฝึกโมเดล AI crawler สำหรับการค้นหาที่รวบรวมหน้าไว้ล่วงหน้าเพื่อใช้ในคำตอบของการค้นหาด้วย AI และการเข้าชมตามคำขอของผู้ใช้ที่เข้ามาอ่านหน้าในขณะที่ลูกค้าถาม

แม้ในบริษัทเดียวกัน แต่ละชื่อก็มีบทบาทต่างกัน เวลาพูดว่า “บล็อก AI crawler” จึงต้องเลือกให้แน่ว่าจะบล็อกตัวไหน แม้บล็อกตัวสำหรับฝึกโมเดล ถ้าตัวสำหรับการค้นหายังเปิดอยู่ ก็ยังขึ้นในคำตอบของการค้นหาด้วย AI ได้

OpenAI และ Perplexity ระบุว่าการเข้าชมตามคำขอของผู้ใช้เป็นสิ่งที่ลูกค้าสั่งเอง จึงอาจไม่อยู่ภายใต้ robots.txt ส่วน Anthropic แจ้งว่า Claude-User ก็ควบคุมด้วย robots.txt ได้ นโยบายต่างกันในแต่ละบริษัทและเปลี่ยนได้ จึงควรตรวจเอกสารทางการเป็นครั้งคราว

ถ้าบล็อก Google-Extended จะหายจาก Google Search ไหม

ไม่ Google ระบุว่า Google-Extended ไม่มีผลต่อการแสดงผลหรืออันดับใน Google Search Google-Extended ไม่ใช่โรบอตที่เข้ามาแยกต่างหาก แต่เป็นสัญลักษณ์ที่เขียนใน robots.txt ว่าเนื้อหาที่ Google รวบรวมไว้ ใช้ฝึกโมเดล Gemini และทำ Grounding (การแนบเนื้อหาจากการค้นหาเป็นหลักฐานตอนสร้างคำตอบ) ได้หรือไม่

AI Overviews และ AI Mode ของ Google Search ทำตามเงื่อนไขเดียวกับการค้นหาทั่วไป ต้องเป็นหน้าที่ถูกจัดทำดัชนีในการค้นหาทั่วไปและแสดงพร้อม Snippet ได้ ถ้าบล็อก Googlebot ซึ่งเป็น crawler ค้นหา อาจหายไปทั้งจากการค้นหาทั่วไปและฟังก์ชัน AI จึงต้องระวังเป็นพิเศษ

สรุปคือเปิด Googlebot ไว้ และถ้าไม่อยากให้ใช้ฝึก Gemini ก็บล็อกแค่ Google-Extended แยกกันแบบนี้ได้ Google ระบุว่าทำแบบนี้การแสดงผลใน Google Search ก็ยังเหมือนเดิม

ตั้งค่า AI crawler ใน robots.txt อย่างไร

robots.txt คือไฟล์แนะนำการเข้าออกที่วางไว้ที่เส้นทางบนสุดของเว็บไซต์ (ชื่อร้าน.kr/robots.txt) โดยเขียนชื่อ crawler (User-agent) คู่กับเส้นทางที่อนุญาต · บล็อก (Allow · Disallow)

robots.txt เป็นคำขอให้ปฏิบัติตาม ไม่ใช่กุญแจล็อก crawler ทางการระบุว่าทำตาม แต่โปรแกรมที่แอบอ้างชื่อหรือการเข้าชมตามคำขอของผู้ใช้บางแบบอาจไม่ทำตาม ข้อมูลที่ห้ามเปิดเผยจริง ๆ ควรอยู่หลังการล็อกอิน

1. 01เปิด ชื่อร้าน.kr/robots.txt ในเบราว์เซอร์ แล้วดูว่าตอนนี้เขียนอะไรไว้
2. 02ดูว่าใต้ “User-agent: *” ไม่มีบรรทัดที่บล็อกทั้งหมดอย่าง “Disallow: /” ค้างอยู่ บางครั้งการตั้งค่าทดสอบก่อนเปิดเว็บไซต์ยังค้างอยู่
3. 03กำหนดว่าจะเปิดหรือบล็อกตัวสำหรับฝึก (GPTBot · ClaudeBot · Google-Extended) และตัวสำหรับค้นหา (OAI-SearchBot · Claude-SearchBot · PerplexityBot) แต่ละตัว
4. 04เขียนชื่อเฉพาะ crawler ที่จะบล็อกแล้วใส่ “Disallow: /” ที่เหลือไม่ต้องเขียนแยก หรือเปิดไว้ด้วย “Allow: /”
5. 05เลือกบล็อกเฉพาะเส้นทางที่ไม่จำเป็นต่อการค้นหา เช่น หน้าผู้ดูแล · หน้าชำระเงินเสร็จ
6. 06ถ้ามีซับโดเมน (เช่น shop.ชื่อร้าน.kr) ให้วาง robots.txt แยกไว้ที่ที่อยู่นั้นด้วย
7. 07หลังแก้ ตรวจอีกครั้งด้วยรายงาน robots.txt ของ Search Console และการตรวจ robots.txt ของ Search Advisor

บล็อกตัวสำหรับฝึก แต่เปิดเฉพาะตัวสำหรับค้นหาได้ไหม

ได้ แยกกำหนดแบบนั้นได้ OpenAI แจ้งว่าถ้าบล็อก GPTBot จะถือว่าห้ามใช้เนื้อหาของเว็บไซต์นั้นฝึกโมเดลพื้นฐาน และเว็บไซต์ที่บล็อก OAI-SearchBot จะไม่แสดงในคำตอบของ ChatGPT Search

Anthropic ก็อธิบายว่าถ้าบล็อก ClaudeBot เนื้อหาหลังจากนั้นจะถูกนำออกจากข้อมูลฝึก และถ้าบล็อก Claude-SearchBot จะหลุดจากดัชนีสำหรับคำตอบการค้นหา เว็บไซต์ร้านมีเป้าหมายเพื่อแจ้งลูกค้า จึงเปิดตัวสำหรับค้นหาไว้ ส่วนตัวสำหรับฝึกให้คุณตัดสินใจเอง

ที่ที่เนื้อหาเป็นสินค้าในตัว อย่างคอลัมน์ · สูตรอาหาร · สื่อการสอนที่เขียนเอง การบล็อกตัวสำหรับฝึกก็เป็นทางเลือกที่สมเหตุสมผล กลับกัน ถ้าส่วนใหญ่เป็นข้อมูลที่ควรแพร่หลายอย่างเวลาเปิด · ที่ตั้ง · ราคา บล็อกไปก็ไม่ได้อะไรมาก

บล็อก AI crawler โดยไม่ตั้งใจได้ในกรณีไหนบ้าง

บางครั้งแม้ไม่ได้แตะ robots.txt ก็ยังถูกบล็อก ฟังก์ชันความปลอดภัยของโฮสติ้งหรือ CDN (บริการที่กระจายสำเนาเว็บไซต์ไว้ทั่วโลก) บางตัวมีการตั้งค่าบล็อก AI crawler ทั้งหมด ถ้าเปิดไว้ crawler จะเข้าไม่ได้โดยไม่เกี่ยวกับ robots.txt

ถาม 2 เรื่องกับบริษัทรับทำเว็บไซต์ “ใน robots.txt เปิดและบล็อก crawler ตัวไหนบ้าง” “ในการตั้งค่าโฮสติ้ง · ความปลอดภัย เปิดการบล็อกบอต AI ไว้หรือไม่” ก็ตรวจได้เกือบทั้งหมด ถ้าการเข้าชมถี่จนเป็นภาระ crawler บางตัวอย่าง ClaudeBot ก็ระบุว่ารองรับการตั้งช่วงเวลาเข้าชม (Crawl-delay)

• ไม่ได้ปิดการตั้งค่า “ปิดกั้นการค้นหา” ที่เปิดไว้ก่อนเปิดเว็บไซต์
• ฟังก์ชัน “บล็อกบอต AI” ของบริการความปลอดภัยเปิดอยู่เป็นค่าเริ่มต้น
• บล็อกที่อยู่ IP ทั้งชุดเพราะเข้าชมเยอะ: Anthropic แนะนำ robots.txt เพราะการบล็อก IP อาจทำงานได้ไม่ถูกต้อง
• ทำให้เนื้อหาแสดงเฉพาะเมื่อรัน JavaScript จน crawler บางตัวอ่านได้แค่หน้าว่าง