robots.txt

robots.txt หน้าตาเป็นอย่างไร

robots.txt คือไฟล์ตัวอักษรที่เขียนทีละบรรทัดว่า “ถึงโรบอตตัวไหน (User-agent)” “ห้ามเข้าตรงไหน (Disallow)” และ “เข้าตรงไหนได้ (Allow)” เมื่อเดือน 9 ปี 2022 องค์กรมาตรฐานอินเทอร์เน็ตสากล (IETF) ออกเอกสารมาตรฐานเป็น RFC 9309

ชื่อไฟล์ต้องเป็น robots.txt อยู่ในโฟลเดอร์บนสุดของเว็บไซต์ และเป็นไฟล์ตัวอักษรแบบ UTF-8 กฎใช้กับโดเมน · โปรโตคอล · พอร์ตที่ไฟล์นั้นอยู่เท่านั้น ซับโดเมนอย่าง “shop.ชื่อร้าน.kr” จึงต้องมีไฟล์แยก

ชื่อบรรทัด (User-agent, Disallow) ไม่แยกตัวพิมพ์ใหญ่เล็ก แต่เส้นทางแยก “/Admin” กับ “/admin” ถือเป็นคนละเส้นทาง

• User-agent: * → ใช้กับโรบอตทุกตัว
• Disallow: /admin/ → กรุณาอย่าอ่านส่วนที่อยู่ใต้ /admin/
• Allow: / → ส่วนที่เหลืออ่านได้ทั้งหมด
• Sitemap: https://ชื่อร้าน.kr/sitemap.xml → ไซต์แมปอยู่ที่นี่

robots.txt กับ noindex ต่างกันอย่างไร

robots.txt คือ “อย่าเข้ามาอ่าน” ส่วน noindex คือ “อ่านได้ แต่อย่าใส่ในผลการค้นหา” Google ระบุชัดว่า robots.txt ไม่ใช่วิธีนำหน้าออกจาก Google Search

หน้าที่บล็อกด้วย robots.txt ถ้ามีลิงก์จากที่อื่น อาจขึ้นในผลการค้นหาเป็นแค่ที่อยู่โดยไม่มีคำอธิบาย ถ้าจะเอาออกจากการค้นหาให้แน่นอน ให้ใช้ noindex และต้องไม่บล็อกหน้านั้นด้วย robots.txt โรบอตจึงจะอ่าน noindex ได้

ในทางปฏิบัติแบ่งใช้แบบนี้ได้ หน้าแจ้งข้อมูลที่ไม่จำเป็นต้องให้ลูกค้าเห็นใช้ noindex ที่อยู่การค้นหา · ตัวกรองที่โรบอตอาจวนหลงไม่รู้จบใช้ robots.txt ส่วนที่ที่มีข้อมูลส่วนบุคคลให้ปิดด้วยการล็อกอิน

ทำและตรวจ robots.txt อย่างไร

เครื่องมือทำเว็บไซต์และเฟรมเวิร์กส่วนใหญ่สร้าง robots.txt ให้อัตโนมัติ คุณแค่เปิดดูสักครั้งก่อนเปิดเว็บไซต์ แล้วตรวจตามลำดับด้านล่าง

Naver Search Advisor มีฟังก์ชันสร้าง robots.txt อย่างง่ายแล้วดาวน์โหลด และฟังก์ชันขอเก็บข้อมูลไฟล์ที่แก้แล้วทันทีกับทดสอบว่าหน้าใดถูกบล็อกหรือไม่ ส่วน Google จะอ่านไฟล์ใหม่เองโดยไม่ต้องส่งแยก

ถ้าแก้ robots.txt แล้วอยากแจ้ง Google เร็ว ๆ ขอให้ Crawl ใหม่ได้ในรายงาน robots.txt ของ Search Console ไม่อย่างนั้นไฟล์เก่าที่เก็บไว้อาจถูกใช้ไปอีกสักพัก

1. 01เปิด “ชื่อร้าน.kr/robots.txt” ในหน้าต่างไม่ระบุตัวตน แล้วตรวจว่าไฟล์แสดงเป็นตัวอักษร
2. 02ตรวจว่าใต้ “User-agent: *” มีแค่บรรทัด “Disallow: /” บรรทัดเดียวหรือไม่ ถ้าใช่ แปลว่าทั้งเว็บไซต์ถูกบล็อกอยู่
3. 03ดูว่าเขียน Disallow ไว้เฉพาะเส้นทางที่โรบอตไม่จำเป็นต้องอ่าน เช่น หน้าผู้ดูแล
4. 04ตรวจว่าบรรทัด Sitemap ด้านล่างสุดมีที่อยู่เต็มของไซต์แมป
5. 05ตรวจในรายงาน robots.txt ในเมนูการตั้งค่าของ Google Search Console ว่าไม่มีข้อผิดพลาด
6. 06ในเมนูตรวจสอบของ Naver Search Advisor เครื่องมือเว็บมาสเตอร์ ขอเก็บข้อมูล robots.txt แล้วทดสอบว่าหน้าหลักขึ้นว่าเก็บข้อมูลได้หรือไม่

ถ้าไม่มี robots.txt หรือเกิดข้อผิดพลาด จะเป็นอย่างไร

ถ้าไม่มีไฟล์ โรบอตค้นหาจะถือว่าอ่านได้ทุกหน้า ทั้ง Naver และ Google ตีความว่าไม่มีข้อจำกัด หาก robots.txt ตอบกลับว่า “ไม่มี” อย่าง 404

กลับกัน ข้อผิดพลาดเซิร์ฟเวอร์ (5xx) อันตราย Naver ตีความว่า “ไม่อนุญาตทั้งหมด” ส่วน Google จะหยุด Crawl เว็บไซต์ใน 12 ชั่วโมงแรก แล้วหลังจากนั้นใช้กฎที่อ่านได้ครั้งล่าสุดได้นานสุด 30 วัน ถ้าเซิร์ฟเวอร์ไม่เสถียร โรบอตค้นหาอาจอ่านเว็บไซต์ไม่ได้เลย

ยังมีเกณฑ์อื่นที่ควรรู้ Google มักเก็บ robots.txt ไว้ใช้นานสุด 24 ชั่วโมง สิ่งที่แก้จึงอาจไม่มีผลทันที และส่วนที่เกิน 500KiB จะถูกละเลย Naver แจ้งว่าถ้า robots.txt ตอบกลับมาเป็นเอกสาร HTML อาจละเลยกฎข้างในแล้วถือว่า “ไม่มี”

AI crawler จัดการด้วย robots.txt อย่างไร

AI crawler ก็เขียนอนุญาต · บล็อกแยกตามชื่อ (User-agent) ได้ เช่น OpenAI แยกใช้ GPTBot สำหรับฝึกโมเดล กับ OAI-SearchBot สำหรับ ChatGPT Search ส่วน Google ให้กำหนดแยกได้ว่าจะใช้ข้อมูลฝึก Gemini และเป็นหลักฐานในคำตอบหรือไม่ ด้วยชื่อ Google-Extended

AI Overviews และ AI Mode ของ Google Search ทำตามการตั้งค่าของ Googlebot ซึ่งเป็นโรบอตค้นหาทั่วไป Google ระบุว่า Google-Extended ไม่มีผลต่อการอยู่ในผลการค้นหาหรืออันดับ กลับกัน ถ้าบล็อก Googlebot อาจหายไปทั้งจากการค้นหาทั่วไปและฟังก์ชัน AI

สำหรับเว็บไซต์ร้าน หลายกรณีได้ประโยชน์ถ้าข้อมูลที่ถูกต้องขึ้นมาเมื่อลูกค้าถาม AI ให้แยกคิดระหว่างแบบฝึกโมเดลกับแบบค้นหา และพิจารณาเปิด crawler สำหรับการค้นหาของ AI ไว้อย่างน้อยก่อน แต่ robots.txt เป็นแค่ข้อแนะนำ ไม่รับประกันว่า crawler ทุกตัวจะทำตาม

ความผิดพลาดที่พบบ่อยใน robots.txt มีอะไรบ้าง

ถ้าเขียนเส้นทางที่อยากซ่อนไว้ใน robots.txt ก็เท่ากับบอกเส้นทางนั้นให้ทุกคนที่เปิดไฟล์ดู เอกสารมาตรฐานสากลก็เขียนไว้ว่ากฎใน robots.txt ไม่ใช่กลไกสิทธิ์การเข้าถึง และใช้แทนมาตรการความปลอดภัยไม่ได้

การบล็อกเส้นทางไฟล์ดีไซน์ (CSS) หรือสคริปต์ (JS) ก็เป็นความผิดพลาดที่พบบ่อย โรบอตค้นหาต้องอ่านไฟล์เหล่านี้ด้วยจึงจะเข้าใจหน้าจอได้ถูกต้อง Naver ก็แนะนำให้ตั้งไฟล์ทรัพยากรแบบนี้ด้วยกฎเดียวกับหน้า หรืออนุญาตไว้

ก่อนเปิดเว็บไซต์ ให้ตรวจ robots.txt กับ noindex เป็นคู่กัน การปลดการบล็อกระหว่างทำเว็บไซต์ สำหรับนักพัฒนาคือแก้บรรทัดเดียว แต่ถ้าลืม เว็บไซต์อาจหายจากการค้นหาไปหลายสัปดาห์

• ปล่อย “Disallow: /” ที่ใส่ไว้ระหว่างทำเว็บไซต์ค้างไว้หลังเปิดเว็บไซต์
• บล็อกหน้าที่ติด noindex ด้วย robots.txt ด้วย จน noindex ไม่ถูกอ่าน
• บล็อกเส้นทาง CSS · JS · ฟาวิคอน
• วาง robots.txt ไว้ในโฟลเดอร์ย่อย ไม่ใช่บนสุดของเว็บไซต์
• เขียนตัวพิมพ์ใหญ่เล็กของเส้นทางไม่ตรงกับที่อยู่จริง