การจัดทำดัชนี (Indexing)

การ Crawl กับการจัดทำดัชนีต่างกันอย่างไร

การ Crawl คือการที่โรบอตค้นหาเข้ามาอ่านหน้าเว็บ ส่วนการจัดทำดัชนีคือการวิเคราะห์เนื้อหาที่อ่านไปแล้วใส่ลงในรายการสำหรับค้นหา แม้ถูก Crawl แล้วก็อาจไม่ถูกจัดทำดัชนี และแม้ถูกจัดทำดัชนีแล้วก็ไม่รับประกันว่าจะขึ้นด้านบนในคำค้นหาใดคำค้นหาหนึ่ง

ในขั้นตอนจัดทำดัชนี Google วิเคราะห์ข้อความในเนื้อหา แท็กชื่อ คำอธิบายรูป (alt) รูปภาพ · วิดีโอ ฯลฯ ถ้ามีหน้าคล้ายกันหลายหน้า จะมองเป็นกลุ่มเดียว แล้วแสดงในผลการค้นหาเฉพาะหน้าหลัก (หน้า Canonical)

Naver ก็ผ่านกระบวนการคล้ายกัน เมื่อแจ้งที่อยู่ผ่านคำขอเก็บข้อมูลหรือไซต์แมป โรบอตค้นหาจะเข้ามาตามลำดับความสำคัญ และในเอกสารที่เก็บไป เฉพาะที่ผ่านเกณฑ์การจัดทำดัชนีเท่านั้นจึงจะขึ้นในการค้นหา

ตรวจอย่างไรว่าหน้าของเราถูกจัดทำดัชนีแล้ว

วิธีที่แม่นยำที่สุดคือใส่ที่อยู่ลงในเครื่องมือตรวจสอบ URL ของ Google Search Console และ Naver Search Advisor การค้นหาด้วย “site:” ใช้ตรวจคร่าว ๆ เท่านั้น ไม่พอสำหรับหาหน้าที่ตกหล่นอย่างแม่นยำ

การตรวจ URL ของ Naver แสดงแยกว่าเก็บข้อมูลแล้วหรือยัง จัดทำดัชนีได้หรือไม่ และจัดทำดัชนีแล้วหรือยัง และบอกด้วยว่าอ่านชื่อ · คำอธิบายได้ถูกต้องไหม การตรวจสอบ URL ของ Google แสดงไปถึงวันที่ Google อ่านครั้งล่าสุดและที่อยู่ที่เลือกเป็นหน้าหลัก

จำนวนผลการค้นหา “site:ชื่อร้าน.kr” เป็นค่าประมาณคร่าว ๆ จึงเปลี่ยนได้ทุกวัน แทนที่จะตกใจเพราะตัวเลขลด ให้ดูแนวโน้มจำนวนหน้าที่ถูกจัดทำดัชนีในรายงานการจัดทำดัชนีหน้าเว็บของ Search Console จะแม่นยำกว่า

1. 01เข้า Google Search Console แล้ววางที่อยู่เต็มของหน้าที่จะตรวจลงในช่องค้นหาด้านบนสุด
2. 02ในหน้าผลลัพธ์ ตรวจสถานะการจัดทำดัชนี และถ้ายังไม่ถูกจัดทำดัชนี ดูว่าเขียนเหตุผลไว้ว่าอะไร
3. 03ถ้ายังไม่ถูกจัดทำดัชนีและไม่มีอะไรต้องแก้ ให้กด “ขอจัดทำดัชนี” หนึ่งครั้ง
4. 04ใน Naver Search Advisor เครื่องมือเว็บมาสเตอร์ เลือกเว็บไซต์ แล้วใส่ที่อยู่เดียวกันในการตรวจ URL
5. 05ตรวจสถานะการเก็บข้อมูล · การจัดทำดัชนี และผลการดึงชื่อ · คำอธิบาย ถ้าจำเป็นให้ขอเก็บข้อมูลหน้าเว็บในเมนูคำขอ

“Crawled – currently not indexed” (รวบรวมข้อมูลแล้ว - ยังไม่ได้จัดทำดัชนี) หมายความว่าอะไร

หมายความว่า Google อ่านหน้าไปแล้ว แต่ยังไม่ได้ใส่ลงในรายการสำหรับค้นหา ดูได้ในรายงานการจัดทำดัชนีหน้าเว็บของ Search Console และยังมีสถานะคล้ายกันคือ “Discovered – currently not indexed” (พบแล้ว - ยังไม่ได้จัดทำดัชนี) ซึ่งหมายความว่ารู้ที่อยู่แล้วแต่ยังไม่ได้เข้ามาอ่าน

Google ยกเหตุผลที่พบบ่อยที่ทำให้ไม่ถูกจัดทำดัชนีว่า คุณภาพเนื้อหาต่ำ มีการตั้งค่าที่ปิดกั้นการจัดทำดัชนี หรือโครงสร้างเว็บไซต์ทำให้จัดทำดัชนียาก หน้าที่มีแค่รูปหนึ่งรูปกับคำอธิบายบรรทัดเดียว หรือหน้าที่เนื้อหาแทบเหมือนหน้าอื่น มักติดสถานะนี้

สถานะนี้ขึ้นมาก็ไม่ได้แปลว่ามีปัญหาทันที หลังเปิดเว็บไซต์ไม่นาน หลายครั้งผ่านไปสักพักก็หายเอง ให้เริ่มปรับหน้าที่เสริมเนื้อหาได้ก่อน แล้วตรวจใหม่หลังผ่านไปหลายสัปดาห์

• เสริมเนื้อหา: เพิ่มข้อมูลที่มีเฉพาะในหน้านั้น เช่น ราคา · เวลา · วิธีดำเนินการ
• จัดการหน้าซ้ำ: หน้าที่แทบเหมือนกันให้รวมเป็นหน้าเดียว หรือกำหนดที่อยู่หลัก
• เชื่อมลิงก์: ใส่ลิงก์ไปยังหน้านั้นจากเมนูหรือบทความที่เกี่ยวข้อง
• ตรวจอีกครั้ง: ผ่านไปหลายสัปดาห์ ใช้การตรวจสอบ URL ดูว่าสถานะเปลี่ยนแล้วหรือยัง

ควรขอจัดทำดัชนีเมื่อไร บ่อยแค่ไหน

ขอจัดทำดัชนีหน้าละครั้งก็พอ เมื่อเปิดหน้าใหม่หรือแก้เนื้อหาสำคัญครั้งใหญ่ Google แจ้งว่าขอที่อยู่เดิมหลายครั้งก็ไม่ได้ถูก Crawl เร็วขึ้น และการขอแบบรายที่อยู่มีโควตาจำกัด

Naver ก็ระบุว่าคำขอเก็บข้อมูลไม่ได้ประมวลผลแบบเรียลไทม์ แต่ตามลำดับความสำคัญ อาจใช้เวลาอย่างน้อยหนึ่งวันถึงหลายสัปดาห์ ไม่ต้องขอที่อยู่เดิมซ้ำทุกวัน และแม้เก็บข้อมูลสำเร็จก็ไม่รับประกันการแสดงผลในการค้นหา

ถ้ามีหลายหน้าหรือเปลี่ยนบ่อย การส่งไซต์แมปไว้มีประสิทธิภาพกว่าการขอทีละหน้า ถ้าเป็นร้านที่ลงบทความบล็อกสม่ำเสมอ ก็ตั้งให้ไซต์แมปอัปเดตอัตโนมัติไว้

หน้าที่อยากเอาออกจากการค้นหา ต้องทำอย่างไร

หน้าที่อยากเอาออกจากการค้นหาให้ติดสัญลักษณ์ noindex ทำได้โดยใส่ <meta name='robots' content='noindex'> ในโค้ดหน้า หรือให้เซิร์ฟเวอร์แจ้งด้วยส่วนหัวการตอบกลับ X-Robots-Tag Google แจ้งว่าเมื่อเห็นสัญลักษณ์นี้จะนำหน้านั้นออกจากผลการค้นหา

ตอนนี้ห้ามบล็อกหน้านั้นด้วย robots.txt ไปพร้อมกัน ถ้าโรบอตค้นหาเข้าหน้าไม่ได้ ก็อ่านสัญลักษณ์ noindex ไม่ได้ ถ้ามีลิงก์จากที่อื่น ที่อยู่อาจยังค้างในผลการค้นหาต่อไป

ถ้าลบหน้าที่ขึ้นในการค้นหาของ Naver ไปแล้ว ให้ลบหน้าต้นฉบับก่อน ตรวจว่าตอบกลับเป็น 404 (ไม่พบหน้า) แล้วยื่นขอนำหน้าเว็บออกจากการค้นหาในเมนูคำขอของ Search Advisor ต้องผ่านการจัดทำดัชนีใหม่ จึงไม่ได้หายไปทันที

• หน้าแจ้งผลอย่างจองเสร็จ · ชำระเงินเสร็จ
• หน้าแบบร่าง · หน้าทดสอบที่กำลังทำ
• หน้าสำหรับสมาชิกเท่านั้น (ข้อนี้ควรปิดด้วยการล็อกอินเป็นหลัก)

สาเหตุที่พบบ่อยที่ทำให้ไม่ถูกจัดทำดัชนีมีอะไรบ้าง

สาเหตุที่พบบ่อยที่สุดคือ noindex หรือการบล็อกด้วย robots.txt ที่ใส่ไว้ระหว่างทำเว็บไซต์ ไม่ได้ถูกปลดหลังเปิดเว็บไซต์ ต้องถามบริษัทรับทำเว็บไซต์ให้แน่ว่าในเช็กลิสต์ก่อนเปิดเว็บไซต์มีรายการนี้ไหม

ถัดมาคือเนื้อหาน้อยเกินไปหรือซ้ำกับหน้าอื่น ถ้าที่อยู่ดูตัวอย่างกับที่อยู่จริงเปิดอยู่พร้อมกัน เนื้อหาเดียวกันจะอยู่สองที่ จนอาจเลือกผิดหน้าเป็นหน้าหลัก

หน้าที่แสดงเนื้อหาด้วย JavaScript อย่างเดียว โรบอตค้นหาอาจเห็นเนื้อหาช้าหรือพลาดไป ข้อความสำคัญควรอยู่เป็นตัวอักษรตั้งแต่โหลดหน้าครั้งแรกเพื่อความปลอดภัย

• สัญลักษณ์ noindex หรือการบล็อกทั้งหมดด้วย robots.txt ที่ยังค้างอยู่หลังเปิดเว็บไซต์
• หน้าซ้ำที่เกิดเพราะที่อยู่ดูตัวอย่าง · ทดสอบเปิดให้ค้นหาได้
• หน้าโดดเดี่ยวที่ไม่มีลิงก์จากเมนูหรือหน้าอื่นเลย
• หน้าที่มีแต่รูปและแทบไม่มีข้อความ
• เซิร์ฟเวอร์ช้าหรือเกิดข้อผิดพลาดบ่อย