ถ้าไฟล์ robots.txt ของคุณมีทั้งส่วน user-agent: Googlebot และส่วน user-agent: * แยกกัน Google จะอ่านเฉพาะส่วนของ Googlebot เท่านั้น บรรทัด disallow ที่อยู่ใต้เครื่องหมายดอกจันจะไม่ถูกนำมาใช้เลย John Mueller อธิบายเรื่องนี้ในบทสนทนาที่ Search Engine Journal รายงานเมื่อวันที่ 25 กรกฎาคม 2026 หลังเจ้าของร้านค้าออนไลน์ถามว่าทำไม URL ขยะที่เกิดจากหน้าค้นหาในเว็บถึงยังถูกจัดทำดัชนีทั้งที่มีกฎ disallow เขียนไว้อยู่ในไฟล์แล้ว
Mueller บอกว่าใน robots.txt กฎที่เจาะจงกว่าจะชนะ ดังนั้นถ้ามีส่วนของ Googlebot อยู่ Google ก็จะใช้เฉพาะส่วนนั้น คำแนะนำของเขาคือให้ก๊อบปี้กฎทั้งหมดเข้าไปไว้ในส่วนของ user-agent ที่เจาะจง หรือรวม user-agent หลายตัวให้ใช้กฎชุดเดียวกัน แทนที่จะแยกบล็อกกันไว้หลายชุด
นี่ไม่ใช่การเปลี่ยนแปลงใหม่
วันที่ 25 กรกฎาคมไม่มีอะไรในวิธีที่ Google อ่าน robots.txt เปลี่ยนไป การเลือกใช้กลุ่มกฎที่ตรงกับตัวเองที่สุดเป็นวิธีทำงานของไฟล์นี้มาตลอด และ Mueller แค่พูดย้ำอีกครั้งเพราะมีคนโดนเข้าจริง ๆ ประเด็นนี้สำคัญตอนคุยกันในทีม เพราะสิ่งที่ต้องทำคือไปไล่หาบั๊กการตั้งค่า ไม่ใช่ไปทำตามกฎใหม่
มันเป็นความผิดพลาดแบบเงียบ ๆ ไฟล์อ่านได้ปกติ เครื่องมือตรวจก็บอกว่าไฟล์ถูกต้อง และเวลาคนเปิดไฟล์อ่านจากบนลงล่างก็เห็นบรรทัด disallow อยู่ตรงนั้นชัดเจน แต่ Googlebot ไม่ได้อ่านทั้งไฟล์เพื่อหาอะไรก็ตามที่เกี่ยวกับตัวเอง มันเลือกกลุ่มเดียวแล้วทำตามกลุ่มนั้น
รูปแบบที่พัง
เขียนแบบทั่วไปโดยไม่อ้างอิงเว็บจริง ไฟล์ที่พังจะหน้าตาประมาณนี้ โดยแยกทีละบรรทัด
- User-agent: *
- Disallow: /search
- Disallow: /cart
- User-agent: Googlebot
- Disallow: /admin
Googlebot จะใช้เฉพาะกลุ่มที่สอง มันเห็นคำสั่งเดียว แล้วก็เข้าไปคลานที่ /search และ /cart ได้ตามปกติ เพราะสองบรรทัดนั้นเขียนไว้ให้บอตตัวอื่น
แก้ได้สองทาง
ทางแรกคือลบบล็อกเฉพาะทิ้ง แล้วเหลือกฎชุดเดียวสำหรับทุกบอต
- User-agent: *
- Disallow: /search
- Disallow: /cart
- Disallow: /admin
ทางที่สองคือเก็บบล็อกของ Googlebot ไว้ แต่ใส่กฎที่ใช้ร่วมกันทุกบรรทัดลงไปในบล็อกนั้นด้วย เพื่อให้กลุ่มที่ Google อ่านจริงมีข้อมูลครบ
- User-agent: Googlebot
- Disallow: /search
- Disallow: /cart
- Disallow: /admin
| การตั้งค่า | สิ่งที่ Googlebot ใช้ |
|---|---|
| มีเฉพาะกลุ่มดอกจัน | ใช้กลุ่มดอกจันทั้งหมด |
| มีกลุ่มดอกจันและกลุ่ม Googlebot | ใช้เฉพาะกลุ่ม Googlebot กฎในกลุ่มดอกจันไม่ถูกใช้ |
| กลุ่ม Googlebot ที่มีกฎครบทุกข้อ | ใช้กลุ่ม Googlebot ซึ่งครอบคลุมครบแล้ว |
เว็บมาถึงจุดนี้ได้อย่างไร
แทบไม่มีใครตั้งใจเขียนไฟล์แบบนี้ มันค่อย ๆ สะสม มีคนเพิ่มบล็อก Googlebot ไว้เมื่อหลายปีก่อนเพื่อสั่งอะไรบางอย่างกับ Google โดยเฉพาะ ต่อมาอีกคนเพิ่ม disallow สำหรับ URL ที่มีปัญหา แล้วใส่ไว้ในกลุ่มดอกจันด้านบนของไฟล์ เพราะ disallow อื่น ๆ ก็อยู่ตรงนั้น การแก้ทั้งสองครั้งดูถูกต้องเมื่อมองแยกกัน แต่พอรวมกันแล้วได้ไฟล์ที่ Google มองไม่เห็นกฎที่ใหม่และสำคัญที่สุดในนั้น
ไฟล์ที่ระบบสร้างให้อัตโนมัติก็เจอปัญหาเดียวกัน แพลตฟอร์ม ปลั๊กอิน และชั้น CDN ต่างก็เขียนต่อท้าย robots.txt กันคนละแบบ และไม่ได้ตกลงกันว่าจะไปต่อท้ายกลุ่มไหน ร้านที่สร้างจากเทมเพลตบวกแอปอีกสามตัวจึงลงเอยด้วยไฟล์ที่มีกลุ่ม user-agent หลายกลุ่มโดยไม่มีใครวางแผนไว้
มุมมองสำหรับนักการตลาดไทย
นี่เป็นงานตรวจห้านาทีที่มีโอกาสเจอของจริง ซึ่งหาไม่ค่อยได้ เปิด robots.txt ของทุกเว็บที่ดูแลอยู่แล้วนับบรรทัด user-agent ถ้ามีกลุ่มเดียวก็จบ ถ้ามีมากกว่าหนึ่งกลุ่ม ให้อ่านกลุ่มของ Googlebot แล้วถามตัวเองว่ามี disallow ครบทุกข้อที่เราคิดว่ากำลังใช้งานอยู่หรือเปล่า
เคสที่ Search Engine Journal รายงานเป็นร้านบน Shopify ซึ่งเป็นรายละเอียดที่ควรสังเกตไว้ แพลตฟอร์มสำเร็จรูปสร้าง URL จากการค้นหาและการกรองสินค้าออกมาจำนวนมาก และ URL กลุ่มนี้แหละคือสิ่งที่กฎ disallow ส่วนใหญ่ถูกเขียนขึ้นมาเพื่อกั้น ถ้ากฎไปอยู่ผิดกลุ่ม บอตก็จะไล่คลาน URL พารามิเตอร์ไปเรื่อย ๆ ขณะที่งบการคลานที่ควรตกกับหน้าสินค้าและหน้าหมวดหมู่ก็หายไปกับที่อื่น ใครที่ดูแล SEO สำหรับ Shopify ที่มีสินค้าจำนวนมากคือกลุ่มเสี่ยงของบั๊กนี้
บทเรียนที่กว้างกว่านั้นคือเรื่องการตรวจสอบ กฎที่มีอยู่ในไฟล์ไม่เท่ากับกฎที่กำลังทำงาน robots.txt เป็นหนึ่งในไฟล์เล็ก ๆ ไม่กี่ไฟล์ที่ตั้งค่าผิดแบบเงียบ ๆ แล้วปล่อยไว้ได้เป็นปี กว่าจะมีคนอ่านสถิติการคลานละเอียดพอจนสังเกตเห็น
คำถามที่เจอบ่อย
แปลว่า Google ไม่สนใจ robots.txt ใช่ไหม
ไม่ใช่ Google ทำตามกลุ่มกฎที่ตรงกับตัวเองเจาะจงที่สุด เมื่อมีกลุ่มของ Googlebot อยู่ กลุ่มนั้นคือกลุ่มที่ถูกใช้ ส่วนกลุ่มดอกจันจะไม่ถูกนำมาใช้ซ้อนทับเพิ่ม
ควรลบส่วน Googlebot ทิ้งเลยไหม
ถ้าในนั้นไม่มีคำสั่งเฉพาะสำหรับ Google ที่ยังจำเป็นอยู่ การรวมเหลือกลุ่มเดียวก็ดูแลง่ายกว่า Mueller พูดถึงทั้งการรวมกลุ่มและการก๊อบปี้กฎข้ามไปไว้เป็นทางเลือก
จะรู้ได้อย่างไรว่าเว็บเราโดนเรื่องนี้
นับบรรทัด user-agent ใน robots.txt ถ้า Googlebot มีกลุ่มของตัวเอง ให้เทียบกลุ่มนั้นกับกลุ่มดอกจันทีละบรรทัด แล้วมองหา disallow ที่มีอยู่ในกลุ่มหนึ่งแต่ไม่มีในอีกกลุ่ม
ใช้กับบอตตัวอื่นด้วยหรือเปล่า
ตรรกะกลุ่มที่เจาะจงที่สุดเป็นวิธีทำงานของไฟล์นี้โดยทั่วไป กลุ่มของ Bingbot หรือ AdsBot จึงมีลักษณะเดียวกัน
สรุปสั้น ๆ
ส่วนของ Googlebot ใน robots.txt ไม่ได้เพิ่มเข้าไปในกฎกลุ่มดอกจัน แต่แทนที่กฎเหล่านั้นสำหรับ Google ถ้าไฟล์ของคุณมีทั้งสองกลุ่ม disallow ทุกข้อที่คุณให้ความสำคัญต้องอยู่ในกลุ่ม Googlebot ด้วย หรือไม่ก็เอากลุ่มนั้นออกไปเลย เรื่องนี้ควรใส่ไว้ในรายการที่ไล่เช็กตอนทำ งาน SEO เพราะใช้เวลาไม่กี่นาที แต่ความผิดพลาดจะมองไม่เห็นเลยจนกว่าสิ่งที่ตั้งใจจะกั้นไว้จะโผล่ขึ้นมาในดัชนี
