TollBit พบเอเจนต์ AI ในยุโรป 15% เข้าถึง URL ที่ robots.txt สั่งห้าม

TollBit บริษัทด้านการให้สิทธิ์ใช้งานคอนเทนต์ เผยแพร่ข้อมูลครึ่งแรกของปี 2026 ที่ชี้ว่าเอเจนต์ดึงหน้าเว็บของ AI ที่ระบุตัวตนได้ราว 15% เข้าถึง URL ที่ robots.txt สั่งห้ามไว้ โดยวัดจากเว็บไซต์ในยุโรปที่มีกฎ disallow อยู่จริง รายงานนี้ถูกเผยแพร่เมื่อวันที่ 15 สิงหาคม 2026 และตัวเลขพาดหัวมีประโยชน์น้อยกว่าการแยกย่อยที่อยู่ข้างใต้ เพราะบางเอเจนต์ข้ามคำสั่งบนเว็บไซต์ราวครึ่งหนึ่งของเว็บที่ระบุชื่อมันไว้ ขณะที่บางตัวอยู่ต่ำกว่า 15%

PPC Land รายงานผลการศึกษาของ TollBit เมื่อวันที่ 15 สิงหาคม 2026 บทเรียนที่ใช้ได้จริงสำหรับคนดูแลเว็บไซต์ไม่ใช่ว่าบริษัท AI ไร้กติกา แต่คือ robots.txt ไม่เคยเป็นกลไกบังคับใช้ตั้งแต่แรก มันคือคำขอที่ประกาศไว้ในที่สาธารณะ และได้รับการเคารพด้วยธรรมเนียมปฏิบัติ ซึ่งตอนนี้แต่ละบริษัทตีความธรรมเนียมนั้นต่างกัน และเขียนความต่างนั้นไว้เป็นลายลักษณ์อักษรแล้ว

TollBit วัดอะไรในครึ่งแรกของปี 2026

TollBit ดูเว็บไซต์ที่มีกฎ disallow ใน robots.txt แล้วนับว่าเอเจนต์ดึงหน้าเว็บที่ระบุตัวตนได้ไปจบอยู่บน URL ที่กฎเหล่านั้นกันไว้บ่อยแค่ไหน ในเว็บไซต์ยุโรป ราว 15% ของเอเจนต์ที่ระบุตัวตนได้ทำแบบนั้น นี่คือตัวเลขระดับประชากรที่รวมหลายเอเจนต์และหลายเว็บไซต์เข้าด้วยกัน การแยกดูรายเอเจนต์จึงสำคัญกว่าค่าเฉลี่ย

มีสามเอเจนต์ที่โดดออกมา ChatGPT-User, Bytespider และ Youbot ต่างเข้าถึงหน้าที่ถูกห้ามบนเว็บไซต์ยุโรปราว 50% ของเว็บที่ระบุชื่อพวกมันไว้ใน robots.txt อย่างชัดเจน การระบุชื่อเอเจนต์ลงไปตรง ๆ คือสัญญาณที่หนักที่สุดที่ผู้เผยแพร่ส่งได้ ก่อนจะไปถึงขั้นบล็อกที่เซิร์ฟเวอร์ และบนเว็บครึ่งหนึ่งที่ส่งสัญญาณนั้นออกไป ทั้งสามตัวก็ยังเข้ามาอยู่ดี TollBit พบว่า ChatGPT-User กระทบเว็บไซต์มากที่สุดในภาพรวม ซึ่งเป็นผลจากจำนวนคนที่ใช้ ChatGPT มากกว่าจะเป็นเพราะตัวครอว์เลอร์มีอะไรพิเศษ

อีกสองเอเจนต์ทำตัวดีกว่าอย่างเห็นได้ชัด และทำตัวต่างกันตามภูมิภาคด้วย Claude-User เข้าถึง URL ที่ถูกห้ามบนเว็บไซต์ยุโรป 9% เทียบกับ 26% ในอเมริกาเหนือ ส่วน Perplexity-User อยู่ที่ 13% ในยุโรป เทียบกับ 26% ในอเมริกาเหนือ เอเจนต์ตัวเดียวกัน คำสั่งแบบเดียวกัน แต่ผลลัพธ์ต่างกันอย่างมีนัยสำคัญระหว่างสองฝั่งของมหาสมุทรแอตแลนติก ข้อมูลของ TollBit ไม่ได้อธิบายว่าทำไมช่องว่างนี้จึงเกิดขึ้น และคนที่อ่านอย่างซื่อตรงก็อธิบายไม่ได้เช่นกัน แรงกดดันด้านกฎระเบียบในยุโรปเป็นคำอธิบายหนึ่งที่เป็นไปได้ การตั้งค่าเว็บไซต์ที่ต่างกันก็เป็นอีกคำอธิบายหนึ่ง การวัดครั้งนี้บันทึกความต่างไว้โดยไม่ได้ให้เหตุผล

ตารางด้านล่างเรียงตัวเลขรายเอเจนต์ตามที่ TollBit รายงาน จุดไหนที่ไม่มีตัวเลขรายภูมิภาคสำหรับเอเจนต์นั้น จะระบุว่าไม่ได้ระบุไว้ แทนที่จะเติมตัวเลขเอง

robots.txt คือคำขอ ไม่ใช่รั้ว

ไฟล์ที่วางอยู่ที่รากของโดเมนคุณไม่ได้บล็อกอะไรเลย มันประกาศความต้องการเอาไว้ แล้วอาศัยให้ฝ่ายที่ส่งคำขอเข้ามาอ่านและปฏิบัติตาม ไม่มีการยืนยันตัวตน ไม่มีการปฏิเสธที่ชั้นเครือข่าย และไม่มีข้อความแสดงข้อผิดพลาดส่งกลับไปหาไคลเอนต์ที่เพิกเฉยต่อมัน ครอว์เลอร์ที่ดึง URL ที่ถูกห้ามจะได้รับการตอบกลับ 200 เหมือนกับที่เบราว์เซอร์ได้รับทุกประการ

เรื่องนี้เป็นจริงมาตลอด และส่วนใหญ่ก็ไม่เคยเป็นปัญหา เพราะครอว์เลอร์ที่ส่งทราฟฟิกให้จริงมีเหตุผลทางธุรกิจที่จะทำตัวดี สิ่งที่เปลี่ยนไปคือมีตัวดึงหน้าเว็บกลุ่มใหม่โผล่ขึ้นมา และความสัมพันธ์ของมันกับเว็บไซต์คุณต่างออกไป มันไม่ได้สร้างดัชนีที่ส่งผู้เข้าชมกลับมาหาคุณ มันดึงหน้าเว็บของคุณไปตอบคำถามภายในผลิตภัณฑ์ของคนอื่น และอย่างน้อยหนึ่งกรณีที่มีเอกสารรองรับ บริษัทที่ดูแลมันได้เขียนไว้ชัดว่าไฟล์ robots อาจไม่มีผลกับการดึงข้อมูลแบบนั้น

ข้อยกเว้นที่ OpenAI เขียนไว้ กับการปฏิบัติตามที่ Anthropic เขียนไว้

เอกสารครอว์เลอร์ของ OpenAI ระบุว่า ChatGPT-User จะเข้าเยี่ยมหน้าเว็บเมื่อผู้ใช้ ChatGPT ถามคำถาม และเพราะคำขอนั้นเริ่มต้นจากมนุษย์ "robots.txt rules may not apply" ประโยคนี้ไม่ใช่รายงานบั๊กและไม่ใช่การอนุมานจากข้อมูลล็อก แต่คือผู้ให้บริการอธิบายพฤติกรรมของตัวเองไว้ในเอกสารที่เผยแพร่ต่อสาธารณะ และมันอธิบายตัวเลขของ ChatGPT-User ในข้อมูลของ TollBit ได้เกือบทั้งหมด

เหตุผลเบื้องหลังคือการดึงข้อมูลที่ผู้ใช้เป็นคนสั่ง ใกล้เคียงกับคนกดลิงก์มากกว่าครอว์เลอร์ที่กวาดเว็บทั้งไซต์ คุณจะยอมรับกรอบคิดนี้หรือไม่เป็นคนละคำถามกับการที่คุณต้องวางแผนรับมือกับมัน เพราะมันถูกเขียนไว้แล้ว จึงต้องวางแผนรับมือ

Anthropic ยืนอยู่คนละจุดและเขียนไว้ชัดเช่นกัน เอกสารของบริษัทระบุว่าบอตทั้งสามตัวของตนเคารพ robots.txt โดยไม่มีการเว้นข้อยกเว้นสำหรับคำขอที่ผู้ใช้เป็นคนเริ่ม ความต่างที่เป็นลายลักษณ์อักษรนี้คือเหตุผลที่สองบริษัทซึ่งผลิตสินค้าคล้ายกันแสดงตัวเลขต่างกันในชุดข้อมูลเดียวกัน และเป็นสิ่งที่มีประโยชน์ที่สุดในรายงานของ TollBit สำหรับเจ้าของเว็บไซต์ที่กำลังตัดสินใจว่าจะทำอะไรต่อ

ความต่างที่ตัดสินว่าการบล็อกจะทำให้คุณเสียทราฟฟิกหรือไม่

ตรงนี้คือส่วนที่แพงเมื่อเข้าใจผิด ChatGPT-User กับ OAI-SearchBot ไม่ใช่สิ่งเดียวกันและไม่ได้ทำงานแบบเดียวกัน ChatGPT-User ดึงหน้าเว็บเพื่อตอบคำถามสด ๆ จากคนที่กำลังใช้ ChatGPT ส่วน OAI-SearchBot คือครอว์เลอร์ที่กำหนดว่าหน้าเว็บของคุณจะปรากฏในผลการค้นหาของ ChatGPT ได้หรือไม่ตั้งแต่แรก

ถ้าบล็อกทั้งสองตัว คุณจะเสียการมองเห็นในการค้นหาบน ChatGPT ขณะที่ข้อจำกัดเรื่องการดึงข้อมูลที่คุณตั้งใจบังคับใช้จริง ๆ กลับมีข้อยกเว้นที่เขียนไว้เป็นเอกสาร ซึ่งอาจปล่อยให้การดึงนั้นผ่านไปได้อยู่ดี คุณยอมสละสิ่งที่ได้ผล แล้วหยุดสิ่งที่ไม่ได้ผลไม่สำเร็จ นั่นคือผลลัพธ์ที่แย่ที่สุดเท่าที่เป็นไปได้ และมันคือผลลัพธ์ตั้งต้นของการบล็อกแบบกวาดเรียบที่เขียนขึ้นจากการจับคู่คำว่า ChatGPT

จุดตั้งต้นที่ถูกต้องคือตัดสินใจก่อนว่าคุณกำลังพยายามป้องกันอะไรกันแน่ ถ้ากังวลว่าคอนเทนต์ถูกใช้ตอบคำถามโดยไม่มีคนคลิกเข้ามา นั่นคือตัวดึงหน้าเว็บ ถ้ากังวลเรื่องการเทรนโมเดล นั่นคือเอเจนต์อีกชุดหนึ่ง ถ้ากังวลเรื่องการควบคุมว่าคุณจะปรากฏในผลการค้นหาแบบ AI หรือไม่ การบล็อกครอว์เลอร์ค้นหาคือคันโยกเดียวที่ได้ผลแน่นอน และมันได้ผลด้วยการเอาคุณออกไปเลย

สำหรับเว็บไซต์เชิงพาณิชย์ส่วนใหญ่ การปรากฏในคำตอบของ AI ใกล้เคียงกับโอกาสมากกว่าภัยคุกคาม และงานที่ต้องทำคือทำให้ถูกอ้างอิงได้ ไม่ใช่ทำให้มองไม่เห็น นั่นคือแก่นทั้งหมดของ generative engine optimisation ถ้าคำตอบถูกประกอบขึ้นจากหน้าเว็บ คุณก็อยากให้หน้าเว็บนั้นเป็นของคุณ การบล็อกครอว์เลอร์ค้นหาคือการตัดสินใจถอนตัวออกจากพื้นที่นั้นทั้งหมด และควรตัดสินใจอย่างตั้งใจ ไม่ใช่เป็นผลพลอยได้จากบรรทัดใน robots.txt ที่เขียนแบบรีบ ๆ

การเปลี่ยนค่าเริ่มต้นของ Cloudflare วันที่ 15 กันยายน 2026

อีกวันที่หนึ่งในเรื่องนี้อยู่ที่ชั้นโครงสร้างพื้นฐาน การเปลี่ยนค่าเริ่มต้นของ Cloudflare ในวันที่ 15 กันยายน 2026 จะบล็อกครอว์เลอร์ประเภท Training และ Agent บนหน้าที่มีโฆษณาสำหรับโดเมนใหม่ ที่ระดับชั้นเครือข่าย นั่นคือกลไกคนละแบบกับ robots.txt ในจุดที่สำคัญที่สุด การบล็อกที่ชั้นเครือข่ายไม่ได้ขอ แต่ปฏิเสธ

มีข้อจำกัดสองข้อที่ควรอ่านให้ละเอียด มันใช้กับโดเมนใหม่ ดังนั้นเว็บไซต์ที่มีอยู่แล้วจะไม่ตื่นขึ้นมาเจอพฤติกรรมที่เปลี่ยนไปในวันที่ 15 กันยายน และมันใช้กับหน้าที่มีโฆษณา จึงถูกจำกัดขอบเขตอยู่กับรูปแบบการเผยแพร่แบบหนึ่งเท่านั้น ไม่ใช่ทั้งเว็บทั้งโลก ใครที่กำลังจะเปิดโดเมนใหม่หลังวันนั้นควรรู้ว่าค่าเริ่มต้นคืออะไร ก่อนที่จะมานั่งสงสัยว่าการอ้างอิงจาก AI หายไปไหน

สิ่งที่ควรตรวจจริง ๆ บนเว็บไซต์ของคุณ

เลิกใช้ไฟล์ robots เป็นหลักฐานของอะไรก็ตาม มันบันทึกสิ่งที่คุณร้องขอ ส่วนล็อกของเซิร์ฟเวอร์บันทึกสิ่งที่เกิดขึ้นจริง สองอย่างนี้เป็นคนละเอกสาร และมีเพียงอย่างเดียวที่เป็นการวัดผล

ดึงล็อกการเข้าถึงออกมา แล้วจัดกลุ่มคำขอตาม user agent มองหาเอเจนต์ที่ถูกระบุชื่อในข้อมูลของ TollBit และสิ่งอื่นใดที่ระบุตัวเองว่าเป็นตัวดึงหน้าเว็บของ AI จากนั้นเทียบ URL ที่เอเจนต์เหล่านั้นเข้าถึงกับกฎ disallow ของคุณ ถ้าพาธที่ถูกห้ามโผล่ขึ้นมา คุณก็รู้แล้วว่าไฟล์ robots ของคุณไม่ได้ทำงานอย่างที่คุณคิด และตัดสินใจได้ว่าจะยกระดับไปเป็นการบล็อกจริงหรือไม่ นี่คือวินัยระดับล็อกชุดเดียวกับที่งาน technical SEO audit ที่ทำอย่างถูกต้องใช้กับปัญหาการเก็บข้อมูลทุกแบบ เพียงแต่เอามาใช้กับไคลเอนต์กลุ่มใหม่

ตรวจไฟล์ robots ของคุณหาความผิดพลาดแบบที่อธิบายไว้ข้างต้น ถ้า OAI-SearchBot ถูกสั่ง disallow ให้ยืนยันว่ามีคนตั้งใจทำแบบนั้นจริง บรรทัดพวกนี้จำนวนไม่น้อยถูกเพิ่มเข้าไปด้วยความระแวง แล้วไม่เคยถูกทบทวนอีกเลย

กำหนดจุดยืนของคุณเป็นรายประเภทการใช้งาน ไม่ใช่รายบริษัท การเทรนโมเดล การดึงข้อมูลเพื่อตอบคำถามสด และการทำดัชนีค้นหา คือการใช้คอนเทนต์ของคุณสามแบบที่ให้ผลกับทราฟฟิกต่างกันสามแบบ นโยบายที่มองทั้งสามอย่างเป็นเรื่องเดียวกันจะผิดอย่างน้อยสองทาง ถ้าคุณอยากถูกค้นเจอและถูกอ้างอิงในคำตอบของ AI งานอีกครึ่งที่เป็นเชิงสร้างสรรค์คือเรื่องโครงสร้างและหน้าเว็บ ซึ่งเป็นขอบเขตของ AI SEO

สุดท้าย อย่าอ่านคำสั่งใน robots ว่าเป็นเครื่องมือทางกฎหมาย ตัวเลขของ TollBit แสดงให้เห็นว่าการปฏิบัติตามในโลกจริงหน้าตาเป็นอย่างไร และในโลกจริงมันแตกต่างกันตามผู้ให้บริการ ตามภูมิภาค และตามเอเจนต์ ถ้าหน้าใดต้องไม่ถูกดึงจริง ๆ การควบคุมต้องอยู่ที่เซิร์ฟเวอร์หรือเครือข่าย ไม่ใช่ในไฟล์ข้อความที่ทำได้แค่ขออย่างสุภาพ

เรื่องนี้หมายความว่าอย่างไรกับนักการตลาดไทย

ข้อมูลของ TollBit ครอบคลุมยุโรปและอเมริกาเหนือ ไม่ได้พูดถึงประเทศไทยหรือตลาด APAC อื่นใด และไม่มีตัวเลขระดับภูมิภาคที่เทียบเคียงได้สำหรับเว็บไซต์ไทยในรายงานฉบับนี้ อย่าเหมาว่าตัวเลขยุโรปอธิบายสิ่งที่เกิดขึ้นบนล็อกของคุณในกรุงเทพฯ ไม่ว่าจะในทางดีหรือทางร้าย

สิ่งที่ถ่ายโอนมาได้คือวิธีการและพฤติกรรมที่มีเอกสารรองรับ เอกสารของ OpenAI และ Anthropic เป็นระดับสากล ไม่ใช่ระดับภูมิภาค ข้อยกเว้นของ ChatGPT-User จึงมีผลกับเว็บไซต์ไทยแบบเดียวกับที่มีผลกับเว็บไซต์ฝรั่งเศส ส่วนความแตกต่างระดับภูมิภาคที่ TollBit พบนั้นอยู่ที่ผลลัพธ์ ไม่ได้อยู่ที่นโยบาย ข้อสันนิษฐานที่ปลอดภัยสำหรับเว็บไซต์ไทยจึงเป็นว่าคุณยังไม่รู้ตัวเลขของตัวเอง จนกว่าจะเปิดล็อกของตัวเองดู

อย่างที่สองที่ถ่ายโอนมาได้คือบทเรียนเรื่อง OAI-SearchBot เว็บไซต์ไทยที่ทำคอนเทนต์สองภาษามีสิ่งที่จะเสียมากกว่าคนอื่นถ้าบล็อกพลาด เพราะหน้าภาษาไทยที่ถูกอ้างอิงในคำตอบของ AI กำลังแข่งอยู่ในสระที่ตื้นกว่าหน้าภาษาอังกฤษมาก การถอนตัวเองออกจากสระนั้นด้วยความผิดพลาดคือวิธีที่แพงมากในการรู้สึกว่าตัวเองปลอดภัย

คำถามที่พบบ่อย

การบล็อก ChatGPT-User ใน robots.txt หยุดมันได้จริงไหม

ไม่ได้อย่างน่าเชื่อถือ ทั้งจากข้อมูลและจากเอกสารของ OpenAI เอง TollBit พบว่า ChatGPT-User เข้าถึงหน้าที่ถูกห้ามบนเว็บไซต์ยุโรปราว 50% ของเว็บที่ระบุชื่อมันไว้ และ OpenAI ระบุไว้ว่าเพราะคำขอเริ่มต้นจากมนุษย์ กฎใน robots.txt จึงอาจไม่มีผล การบล็อกที่ระดับเซิร์ฟเวอร์หรือเครือข่ายคือทางเดียวที่แน่ใจได้

ควรบล็อก OAI-SearchBot ด้วยหรือไม่

ควรก็ต่อเมื่อคุณตัดสินใจแล้วว่าไม่อยากปรากฏในผลการค้นหาของ ChatGPT เพราะนั่นคือสิ่งที่มันควบคุม OAI-SearchBot คือครอว์เลอร์ที่อยู่เบื้องหลังการมองเห็นในการค้นหาบน ChatGPT ไม่ใช่ตัวที่ดึงหน้าเว็บไปตอบคำถามสด การบล็อกมันจึงทำให้คุณเสียการปรากฏตัวโดยไม่ได้แก้ปัญหาเรื่องการดึงข้อมูลเลย

รายงานนี้พูดถึงประเทศไทยบ้างหรือไม่

ไม่ ตัวเลขของ TollBit ครอบคลุมเว็บไซต์ในยุโรปและอเมริกาเหนือเท่านั้น และไม่มีส่วนใดในรายงานที่พูดถึงประเทศไทยหรือภูมิภาค APAC ในภาพกว้าง นโยบายครอว์เลอร์ที่ OpenAI และ Anthropic เขียนไว้ไม่ได้แบ่งตามภูมิภาค แต่เปอร์เซ็นต์การปฏิบัติตามนั้นแบ่ง เจ้าของเว็บไซต์ไทยจึงยังไม่มีค่าอ้างอิงที่เผยแพร่แล้วให้เทียบ

จะรู้ได้อย่างไรว่าเอเจนต์ AI ตัวไหนเข้ามาที่เว็บไซต์ของเรา

อ่านล็อกการเข้าถึงของเซิร์ฟเวอร์ แล้วจัดกลุ่มคำขอตามสตริง user agent นั่นคือบันทึกจริงว่ามีอะไรถูกดึงไปบ้าง ซึ่ง robots.txt ให้คุณไม่ได้ เพราะมันบันทึกแค่สิ่งที่คุณร้องขอ จากนั้นเทียบ URL กับกฎ disallow ของคุณเพื่อดูว่าคำสั่งถูกเคารพหรือไม่

การเปลี่ยนแปลงของ Cloudflare วันที่ 15 กันยายน 2026 กระทบเว็บไซต์เดิมของเราไหม

ไม่ ตามที่มีการอธิบายไว้ มันใช้กับโดเมนใหม่ และใช้เฉพาะหน้าที่มีโฆษณา การเปลี่ยนแปลงนี้ทำให้การบล็อกครอว์เลอร์ประเภท Training และ Agent กลายเป็นค่าเริ่มต้นที่ชั้นเครือข่ายสำหรับโดเมนใหม่เหล่านั้น ซึ่งเป็นการควบคุมที่แข็งแรงกว่า robots.txt เพราะมันปฏิเสธคำขอ แทนที่จะขอให้ไคลเอนต์ถอนคำขอเอง

เริ่มจากตรงไหนดี

เปิดล็อกก่อนเปิดไฟล์ robots ตัวเลขของ TollBit มีประโยชน์ในฐานะคำเตือนว่าคำสั่งกับผลลัพธ์เป็นคนละเรื่องกัน แต่ตัวเลขเดียวที่อธิบายเว็บไซต์ของคุณคือตัวเลขในบันทึกการเข้าถึงของคุณเอง เมื่อรู้แล้วว่าเอเจนต์ตัวไหนเข้ามาและเอาอะไรไปบ้าง คำถามเชิงนโยบายก็จะตอบได้จริง แทนที่จะเป็นเรื่องทฤษฎี ถ้าอยากได้คนช่วยอ่านล็อกเหล่านั้นและช่วยตัดสินใจว่าคอนเทนต์ของคุณควรและไม่ควรปรากฏตรงไหนในคำตอบของ AI ทีมของเรายินดีนั่งดูไปด้วยกัน