IAB Australia เผยแพร่กรอบการตัดสินใจเรื่องบอตและครอว์เลอร์เมื่อวันที่ 28 กรกฎาคม 2026 โดยมองว่านโยบายครอว์เลอร์ไม่ใช่การตัดสินใจครั้งเดียว แต่เป็นห้าการตัดสินใจที่แยกจากกัน เอกสารเขียนโดย Jonas Jaanimagi หัวหน้าฝ่ายเทคโนโลยีของสมาคม แบ่งครอว์เลอร์ทุกตัวออกเป็นห้ากลุ่ม แล้วให้เจ้าของเว็บไซต์กำหนดคำตัดสินให้แต่ละกลุ่มจากสี่ทางเลือก คืออนุญาต อนุญาตแบบมีเงื่อนไข ต้องทำสัญญาอนุญาตสิทธิ์ หรือบล็อก เอกสารฉบับนี้มีสถานะเป็นคำแนะนำ ไม่ได้มีผลผูกพันกับใคร
การบล็อกบอต AI ไม่ใช่การตัดสินใจเดียว
ประเด็นที่ใช้ได้จริงจากเอกสารวันที่ 28 กรกฎาคม 2026 คือคำว่า "บล็อกบอต AI" ครอบคลุมการกระทำหลายอย่างที่เจ้าของเว็บแทบไม่เคยอยากทำพร้อมกัน Googlebot ที่เข้ามาเก็บหน้าเว็บไปทำดัชนีค้นหา GPTBot ที่เก็บข้อความไปเทรนโมเดล และ AdsBot-Google ที่ตรวจหน้าแลนดิงเพื่อประเมินคุณภาพโฆษณา เป็นครอว์เลอร์คนละตัวที่ทำงานคนละอย่าง และ IAB Australia จัดไว้คนละกลุ่ม กฎแบบเหวี่ยงแหที่เขียนขึ้นเพื่อหยุดตัวหนึ่งจึงหยุดอีกสองตัวไปด้วยได้ เว็บไซต์เปิดให้ทำดัชนีค้นหาและเสิร์ฟโฆษณาต่อไปได้ พร้อมกับปิดหรือขอค่าลิขสิทธิ์กับการเก็บข้อมูลไปเทรนโมเดล แต่ทำได้ต่อเมื่อเขียนกฎแยกตาม user agent ไม่ใช่สั่งรวดเดียว
ห้ากลุ่มครอว์เลอร์ในเมทริกซ์ของ IAB Australia
กรอบที่เผยแพร่เมื่อวันที่ 28 กรกฎาคม 2026 จัดครอว์เลอร์ทุกตัวเข้าหนึ่งในห้ากลุ่มนี้ก่อนจะตัดสินว่าจะอนุญาตหรือบล็อก
| กลุ่ม | ตัวอย่าง user agent | ทำหน้าที่อะไร |
|---|---|---|
| A. ครอว์เลอร์ค้นหาและทำดัชนี | Googlebot, bingbot, OAI-SearchBot, Claude-SearchBot, Applebot | เก็บหน้าเว็บไปทำดัชนีเพื่อให้ปรากฏในผลการค้นหา |
| B. ครอว์เลอร์เก็บข้อมูลเทรน AI | GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent, Bytespider | เก็บเนื้อหาไปใช้ฝึกโมเดล |
| C. เอเจนต์ AI และการดึงหน้าตามคำสั่งผู้ใช้ | ChatGPT-User, Claude-User, Google-Agent, Perplexity-User | ดึงหน้าเว็บแบบเรียลไทม์เพราะมีคนเพิ่งถามคำถาม |
| D. โครงสร้างพื้นฐานด้านปฏิบัติการและโฆษณา | AdsBot-Google, Mediapartners-Google, บอตตรวจสอบโฆษณา, บอตดึงพรีวิวลิงก์ของแพลตฟอร์ม | ทำให้การเสิร์ฟโฆษณา การตรวจสอบ และพรีวิวลิงก์ทำงานได้ |
| E. ตัวปลอมและตัวที่ไม่ทราบที่มา | user agent ปลอม, python-requests, residential proxy, ครอว์เลอร์ที่ไม่มีเอกสารกำกับ | ยืนยันตัวตนไม่ได้และไม่ระบุวัตถุประสงค์ |
สี่คำตัดสินที่ให้กับแต่ละกลุ่ม
เมื่อจัดกลุ่มเสร็จ เอกสารของ IAB Australia วันที่ 28 กรกฎาคม 2026 ให้เจ้าของเว็บกำหนดคำตัดสินกับแต่ละกลุ่ม
- อนุญาต เมื่อคุณค่าที่ได้คุ้มกับการเปิดให้เข้าถึงแบบไม่จำกัด
- อนุญาตแบบมีเงื่อนไข เช่น จำกัดอัตราการเรียก จำกัดเส้นทางที่เข้าถึงได้ หรือกำหนดเงื่อนไขการให้เครดิต
- ต้องทำสัญญาอนุญาตสิทธิ์ คือเข้าถึงได้ภายใต้ข้อตกลงเชิงพาณิชย์เท่านั้น
- บล็อก เมื่อไม่มีคุณค่า มีต้นทุนจริง หรือยืนยันตัวตนไม่ได้
กลุ่ม E มักจบที่การบล็อกอยู่แล้ว เพราะตัวตนที่ยืนยันไม่ได้ไม่เหลืออะไรให้ชั่งน้ำหนัก ส่วนกลุ่ม A กับ D คือจุดที่การบล็อกแบบไม่ระวังสร้างความเสียหายมากที่สุด เพราะเป็นครอว์เลอร์ที่ทำให้หน้าเว็บยังอยู่ในดัชนีและโฆษณายังเสิร์ฟได้
ตัวเลขในเอกสารมาจากใคร
IAB Australia รวบรวมข้อมูลการวัดของบุคคลที่สามมาเรียบเรียง ไม่ได้วัดเอง และเอกสารระบุแหล่งไว้ชัด ได้แก่ DataDome AI Traffic Report ไตรมาส 2 ปี 2026, ข้อมูล Cloudflare Radar ช่วงกลางปี 2026, HUMAN Security 2026 State of AI Traffic, Gartner และ Adobe Digital Insights การอ้างที่มาสำคัญ เพราะตัวเลขชุดนี้มักถูกส่งต่อโดยไม่มีเจ้าของ
ข้อมูลของ Cloudflare ช่วงกลางปี 2026 ตามที่เอกสารอ้าง ระบุว่า 57.5% ของคำขอหน้าเว็บมาจากระบบอัตโนมัติแทนที่จะมาจากมนุษย์ ซึ่งเอกสารเรียกว่าเป็นครั้งแรกที่มีการบันทึกว่าทราฟฟิกอัตโนมัติแซงมนุษย์ Cloudflare ยังระบุว่าราว 52% ของคำขอจากครอว์เลอร์ AI มุ่งไปที่การเทรนโมเดล และมีเพียงราว 2.6% ที่เป็นการดึงหน้าแบบเรียลไทม์ตามคำสั่งของคนจริง ส่วนตัวเลขของ DataDome ที่ IAB Australia อ้างไว้ ระบุว่า 80% ถึง 88% ของทราฟฟิกที่ถูกส่งต่อมาจาก AI มีต้นทางจาก ChatGPT แม้ปริมาณการไล่เก็บข้อมูลจะลดลง และคำขอจากเอเจนต์ AI โต 45% เทียบไตรมาสต่อไตรมาส แตะ 17,700 ล้านครั้งในไตรมาส 2 ปี 2026 ทั้ง Cloudflare และ DataDome เป็นผู้ขายบริการจัดการบอตและบริการ edge และวัดจากทราฟฟิกที่วิ่งผ่านเครือข่ายของตัวเอง ซึ่งควรระบุไว้ทุกครั้งที่หยิบตัวเลขเหล่านี้ไปใช้
เส้นตายวันที่ 15 กันยายน 2026 ของค่าเริ่มต้นบน Cloudflare
เอกสารมีคำแนะนำที่ระบุวันไว้ข้อเดียว คือก่อนวันที่ 15 กันยายน 2026 ให้ตรวจสอบค่าเริ่มต้นเรื่องครอว์เลอร์ AI ถ้าเว็บไซต์ใช้ Cloudflare หรือใช้โครงสร้าง edge หรือ WAF แบบมีผู้ดูแล เพราะค่าเริ่มต้นชุดใหม่จะจำกัดบอตกลุ่มเทรนโมเดลและกลุ่มเอเจนต์บนหน้าที่มีการแสดงโฆษณา นี่คือการเปลี่ยนที่ระดับการตั้งค่า ไม่ใช่ระดับเนื้อหา และเกิดขึ้นได้โดยที่ฝั่งการตลาดไม่ได้แตะอะไรเลย
สิ่งนี้หมายความว่าอย่างไรกับนักการตลาดไทย
เอกสารฉบับนี้เขียนขึ้นสำหรับผู้เผยแพร่เนื้อหาในออสเตรเลีย และไม่ได้กล่าวถึงประเทศไทย แต่ชื่อ user agent และนโยบายของ Cloudflare เป็นของระดับโลก เว็บไซต์ไทยที่อยู่หลัง Cloudflare จึงเข้าข่ายการเปลี่ยนค่าเริ่มต้นวันที่ 15 กันยายน 2026 เหมือนกัน ไม่ว่าคำแนะนำจะเขียนที่ไหน ถ้าเว็บของคุณมีการแสดงโฆษณาและอยู่หลัง Cloudflare ควรใส่การตรวจสอบนี้ลงปฏิทินก่อนถึงวันดังกล่าว
ส่วนที่เหลือคือการตัดสินใจที่ทีมควรเลือกเอง ไม่ใช่รับค่าเริ่มต้นมาโดยไม่รู้ตัว ถ้า การถูกอ้างอิงในเครื่องมือตอบคำถามด้วย AI มีผลกับธุรกิจ การบล็อกครอว์เลอร์กลุ่ม B ย่อมมีต้นทุน และการปฏิเสธกลุ่ม C มีต้นทุนที่เห็นผลเร็วกว่า เพราะคำขอเหล่านั้นเกิดจากคนที่กำลังถามคำถามอยู่ตอนนั้น ถ้าโมเดลทราฟฟิกของคุณพึ่งการค้นหา กลุ่ม A และ D ต้องเปิดไว้ไม่ว่าจะตัดสินใจกับกลุ่มอื่นอย่างไร การตรวจว่าบอตตัวไหนเข้าถึงหน้าเว็บของคุณจริงเป็นงานที่อยู่คู่กับ งาน SEO เชิงเทคนิค อยู่แล้ว และการชั่งน้ำหนักระหว่างการเปิดให้เทรนโมเดลกับการถูกอ้างอิง คือคำถามหลักของ การทำ AI SEO
คำถามที่พบบ่อย
บล็อก GPTBot แล้วจะบล็อก Google ไปด้วยไหม
ไม่ GPTBot กับ Googlebot เป็น user agent คนละตัวและอยู่คนละกลุ่มในเมทริกซ์ของ IAB Australia ฉบับวันที่ 28 กรกฎาคม 2026 กฎที่ระบุชื่อ GPTBot จึงไม่กระทบ Googlebot สิ่งที่ทำให้การทำดัชนีค้นหาเสี่ยงคือกฎแบบเหวี่ยงแหที่สั่งห้ามครอว์เลอร์ทั้งหมด หรือกฎที่บล็อกด้วยรูปแบบแทนที่จะระบุชื่อ
Google จะลงโทษเว็บที่บล็อกครอว์เลอร์เทรน AI หรือเปล่า
เอกสารไม่ได้ระบุไว้ คู่มือของ IAB Australia อธิบายเฉพาะการแบ่งกลุ่มและคำตัดสิน ไม่ได้กล่าวถึงว่า Google จะปฏิบัติกับเว็บที่บล็อกครอว์เลอร์กลุ่ม B อย่างไร ใครที่อ้างเอกสารนี้เพื่อสรุปเรื่องดังกล่าวจึงพูดเกินกว่าที่แหล่งข้อมูลบอกไว้
วันที่ 15 กันยายน 2026 มีผลกับเว็บไซต์ไทยไหม
มีผล ถ้าเว็บไซต์นั้นใช้ Cloudflare หรือใช้โครงสร้าง edge หรือ WAF แบบมีผู้ดูแล เพราะนโยบายนี้เป็นระดับโลกไม่ใช่เฉพาะออสเตรเลีย ตัวเอกสารเขียนสำหรับผู้เผยแพร่เนื้อหาออสเตรเลียและไม่ได้เอ่ยถึงประเทศไทย จึงควรมองวันดังกล่าวเป็นเส้นตายของการตั้งค่า Cloudflare ไม่ใช่กฎเกณฑ์ในประเทศ
ตัวเลขทราฟฟิกในเอกสารใครเป็นคนวัด
Cloudflare และ DataDome เป็นผู้วัด ไม่ใช่ IAB Australia ตัวเลข 57.5% ของทราฟฟิกอัตโนมัติ และสัดส่วน 52% ที่ไปเทรนโมเดลเทียบกับ 2.6% ที่เป็นการดึงแบบเรียลไทม์ มาจาก Cloudflare Radar ช่วงกลางปี 2026 ส่วนสัดส่วน 80% ถึง 88% ของทราฟฟิกที่ส่งต่อมาจาก ChatGPT และคำขอจากเอเจนต์ 17,700 ล้านครั้งในไตรมาส 2 ปี 2026 มาจาก DataDome นอกจากนี้เอกสารยังอ้าง HUMAN Security, Gartner และ Adobe Digital Insights เป็นแหล่งข้อมูลด้วย
กรอบของ IAB Australia บังคับใช้หรือไม่
ไม่บังคับ เป็นคำแนะนำจากสมาคมอุตสาหกรรมที่ไม่มีผลผูกพัน คุณค่าของมันจึงอยู่ที่โครงสร้างการตัดสินใจที่ให้ไว้ มากกว่าข้อกำหนดว่าต้องทำตาม
งานจริงหลังวันที่ 28 กรกฎาคม 2026 เล็กกว่าที่หัวข้อฟังดู คือไล่ดูว่าครอว์เลอร์ตัวไหนเข้าถึงหน้าเว็บของคุณบ้าง จัดแต่ละตัวเข้ากลุ่ม กำหนดคำตัดสินให้กลุ่มนั้น แล้วเขียนกฎแยกตาม user agent ถ้าอยากให้จับคู่เรื่องนี้กับทราฟฟิกจริงของคุณก่อนวันที่ 15 กันยายน การ ตรวจสอบ GEO และการมองเห็นบน AI กับทีม Relevant Audience คือจุดเริ่มต้น
