Report: Cloudflare's AI crawler blocking is returning 403s to Googlebot, weeks before the September deadline

รายงาน: การบล็อก AI crawler ของ Cloudflare ส่ง 403 กลับให้ Googlebot ก่อนถึงกำหนดเดือนกันยายน

เอสอีโอ (Search Engine Optimization)August 6, 2026
By Antonio Fernandez

Search Engine Journal รายงานเมื่อวันที่ 4 สิงหาคม 2026 ว่ามีผู้ใช้ใน subreddit r/TechSEO แจ้งว่า หลังเปิดการบล็อก AI bot ของ Cloudflare แล้ว Googlebot และ Bingbot ได้รับ HTTP 403 ตอนพยายามดึงไฟล์ sitemap ของเว็บไซต์ เรื่องนี้ยังเป็นรายงานจากผู้ใช้ที่ไม่ได้รับการยืนยัน โดย Search Engine Journal ระบุตรง ๆ ว่ายังสรุปไม่ได้ว่าเป็นปัญหาทางเทคนิคจริงหรือเป็นการตั้งค่าผิดของผู้ใช้เอง ด้าน John Mueller จาก Google ตอบในเธรดนั้นและขอให้ติดต่อเขาโดยตรงเพื่อเข้าไปตรวจสอบเคสนี้

รายงานพูดถึงอะไร

ค่าที่ถูกระบุในรายงานคือ AI Crawlers & Scrapers ของ Cloudflare และตัวเลือกย่อยชื่อ Block AI Training ตามที่ Search Engine Journal เผยแพร่เมื่อ 4 สิงหาคม 2026 การเปิดตัวเลือกดังกล่าวทำให้ Googlebot และ Bingbot ได้รับ 403 ตอนร้องขอไฟล์ sitemap ของเว็บ ซึ่ง 403 คือการที่เซิร์ฟเวอร์ปฏิเสธคำขอ และเมื่อไฟล์ที่ถูกปฏิเสธคือ sitemap บอทก็เสียแผนที่ที่ใช้ไล่เข้าไปหาหน้าอื่นทั้งเว็บ

อาการที่ถูกรายงานมีเท่านี้ Cloudflare ยังไม่ได้ยืนยันว่ามีข้อผิดพลาด และในรายงานก็ไม่มีการทดสอบซ้ำบนเว็บอื่น เธรดเดียวคือข้อมูลหนึ่งจุด ไม่ใช่รูปแบบที่พิสูจน์แล้ว

ทำไมบอทของ Search ถึงไปโดนสวิตช์ฝั่ง AI

Cloudflare จัดประเภท Googlebot และ Bingbot ไว้เป็นบอทกลุ่ม Search + Training คือถือว่าเป็นบอทที่ทำงานทั้งเก็บข้อมูลสำหรับ search index และเก็บข้อมูลสำหรับเทรน AI การจัดประเภทนี้เองคือจุดที่เชื่อมการตัดสินใจเชิงนโยบายเรื่อง AI เข้ากับ organic search เจ้าของเว็บที่เลือกบล็อกการเทรน AI กำลังตัดสินใจเรื่องสิทธิ์ในคอนเทนต์ของตัวเอง แต่เพราะบอทตัวเดียวกันทำงานสองอย่าง การตัดสินใจนั้นจึงมีทางไปแตะการทำ index ด้วย

วันที่ 15 กันยายน 2026 ในเอกสารของ Cloudflare

เอกสารของ Cloudflare ระบุว่า ตั้งแต่วันที่ 15 กันยายน 2026 เป็นต้นไป บอทที่ทำงานผสมทั้ง search และ training จะถูกบล็อกด้วยทุกการตั้งค่าที่บล็อกการเทรน AI ด้วย วันที่ที่ประกาศไว้นี้คือเหตุผลที่ทำให้รายงานนี้ผิดคาด เพราะตามกำหนดของ Cloudflare เอง การปฏิบัติแบบนี้ยังไม่ควรเริ่มจนถึงเดือนกันยายน ขณะที่รายงานลงวันที่ 4 สิงหาคม 2026

ข้อเท็จจริงที่มีอยู่ตอนนี้สั้นพอจะสรุปเป็นตารางได้ทั้งหมด

วันที่ 15 กันยายน 2026 ในเอกสารของ Cloudflare
รายละเอียดข้อมูลที่ปรากฏ
ค่าที่ถูกระบุในรายงานAI Crawlers & Scrapers ของ Cloudflare ตัวเลือก Block AI Training
Cloudflare จัด Googlebot และ Bingbot เป็นประเภทใดบอทกลุ่ม Search + Training ทำงานทั้ง search และการเทรน AI
อาการที่ถูกรายงานGooglebot และ Bingbot ได้รับ HTTP 403 ตอนร้องขอ sitemap
กำหนดในเอกสารสำหรับบล็อกบอทที่ทำงานผสม15 กันยายน 2026 ตามเอกสารของ Cloudflare
การตอบของ Google ในเธรดJohn Mueller ขอให้ติดต่อโดยตรงเพื่อเข้าไปตรวจสอบเคส

สิ่งที่ยังไม่มีใครยืนยัน

Search Engine Journal ระบุชัดว่ายังไม่รู้ว่า 403 ที่เกิดขึ้นมาจากปัญหาทางเทคนิคจริงหรือมาจากการตั้งค่าผิดของผู้ใช้ ไม่มีใครในรายงานบอกว่า Cloudflare ปล่อยการเปลี่ยนแปลงของเดือนกันยายนออกมาก่อนกำหนด และการที่ Mueller ขอให้ติดต่อโดยตรงคือการขอหลักฐาน ไม่ใช่การยืนยันว่ามีบั๊ก การอ่านเรื่องนี้แบบพอดี ๆ คือมีเจ้าของเว็บรายหนึ่งเจออาการแปลก และ Google อยากดูเคสนั้น

ตรวจเว็บของตัวเองอย่างไร

ถ้าโดเมนที่คุณดูแลเปิดค่า AI Crawlers & Scrapers อยู่ การตรวจสอบทำได้เลยและไม่ต้องรอใครอนุมัติ

  • ดึง log ของเซิร์ฟเวอร์หรือ CDN กรองเฉพาะ user agent ของ Googlebot และ Bingbot แล้วหาสถานะ 403 เริ่มจาก URL ของ sitemap ก่อน เพราะเป็นไฟล์ที่รายงานระบุถึงโดยตรง
  • เปิด Search Console ดูรายงาน Sitemaps ว่ามี fetch error หรือไม่ แล้วดูรายงาน Pages ว่าจำนวน URL ที่ crawl ไม่ได้เพิ่มขึ้นหรือเปล่า
  • ตามให้เจอว่าใครถือบัญชี Cloudflare และตัวเลือกบล็อก AI ถูกแก้ครั้งล่าสุดวันไหน วันที่นั้นคือสิ่งที่เอาไปเทียบกับความผิดปกติของการ crawl

ถ้าไทม์ไลน์ตรงกันจริง ให้ส่งเรื่องต่อพร้อมบรรทัด log จริง ไม่ใช่ภาพหน้าจอจากเธรดในฟอรัม สถานะการ crawl เป็นของที่อยู่ในขอบเขตปกติของ การทำ SEO audit อยู่แล้ว ปัญหาประเภทนี้จึงมักโผล่ขึ้นมาเองโดยไม่ต้องตั้งงานสืบสวนพิเศษ ส่วนคำถามใหญ่กว่านั้นว่าจะให้บอทตัวไหนอ่านคอนเทนต์ของคุณได้บ้าง และการบล็อก AI crawler แลกมาด้วยอะไรในแง่ การมองเห็นบน AI search ควรเป็นการตัดสินใจของมันเอง ไม่ใช่ผลพลอยได้จากการกดสวิตช์บน firewall

เรื่องนี้หมายความว่าอย่างไรกับนักการตลาดไทย

Cloudflare วางอยู่หน้าเว็บ WordPress ไทยจำนวนมากในฐานะ CDN และ WAF ตัวหลัก และคนที่ตั้งค่ามักเป็นผู้ให้บริการโฮสติ้งหรือนักพัฒนา ไม่ใช่ทีมการตลาด การตัดสินใจบล็อกบอท AI ด้วยเจตนาดีจึงเกิดขึ้นได้จากคนที่ไม่เคยคิดว่าต้องแจ้งเจ้าของเว็บ ความเสี่ยงจริงจึงไม่ใช่บั๊กของ Cloudflare ที่ยังไม่มีใครยืนยัน แต่เป็นการที่ค่าซึ่งกระทบ search ถูกเปลี่ยนได้โดยคนที่อยู่นอกวงคุยเรื่อง search ถ้า impression จาก organic ตกลงโดยไม่มีคำอธิบายจากฝั่งคอนเทนต์หรืออันดับ ให้ถามว่าใครแตะ CDN และแตะเมื่อไหร่ การเปิดสายคุยระหว่างนักพัฒนากับคนที่ดูแล SEO ไม่มีต้นทุน แต่ปิดจุดบอดที่เกิดขึ้นจริง

คำถามที่พบบ่อย

ต้องรีบปิดการบล็อก AI ของ Cloudflare เลยไหม

ยังไม่ต้อง อย่างน้อยไม่ใช่เพราะรายงานเดียวที่ยังไม่ได้รับการยืนยัน ยังไม่มีการยืนยันว่าเป็นข้อผิดพลาดของ Cloudflare และการบล็อกบอทที่เก็บข้อมูลไปเทรน AI เป็นการตัดสินใจเรื่องคอนเทนต์ที่หลายสำนักพิมพ์เลือกไว้ด้วยเหตุผลของตัวเอง อ่าน log ของตัวเองก่อนแล้วค่อยตัดสินใจจากสิ่งที่เห็น

ยืนยันแล้วหรือยังว่าเป็นบั๊กของ Cloudflare

ยังไม่ยืนยัน Search Engine Journal ระบุว่ายังสรุปไม่ได้ว่า 403 มาจากปัญหาทางเทคนิคจริงหรือการตั้งค่าผิดของผู้ใช้ และในรายงานไม่มีคำยืนยันจาก Cloudflare ว่ามีข้อผิดพลาด

ทำไมการบล็อกบอท AI ถึงไปกระทบ Googlebot ได้

เพราะ Cloudflare จัด Googlebot เป็นบอทกลุ่ม Search + Training คือถือว่าทำงานทั้งฝั่ง search และฝั่งเทรน AI กฎที่ตั้งใจเล็งไปที่การเทรนจึงมีเส้นทางไปถึงบอทที่ทำ index ด้วย

วันที่ 15 กันยายน 2026 จะเกิดอะไรขึ้น

เอกสารของ Cloudflare ระบุว่าตั้งแต่วันนั้น บอทที่ทำงานผสมทั้ง search และ training จะถูกบล็อกด้วยทุกการตั้งค่าที่บล็อกการเทรน AI ใครที่เปิดค่านี้อยู่ก็มีเวลาถึงตอนนั้นในการตัดสินใจว่าต้องการให้มันทำอะไร

Google ยืนยันหรือยังว่าการบล็อกเกิดขึ้นจริง

ยังไม่ยืนยัน John Mueller ตอบในเธรดโดยขอให้ติดต่อเขาโดยตรงเพื่อเข้าไปตรวจสอบเคส นอกเหนือจากนี้แหล่งข่าวไม่ได้ระบุท่าทีอื่นของ Google

สิ่งที่ควรทำจากรายงานนี้เป็นเรื่องเล็ก ๆ คือเช็กว่าโดเมนของคุณเปิดค่าบล็อก AI อยู่หรือไม่ แล้วไล่ log หา 403 ของ Googlebot บน sitemap ถ้าอยากให้คนที่อ่าน crawl log เป็นประจำช่วยตรวจให้ Relevant Audience รวมงานนี้เข้าไปในการตรวจสอบด้านเทคนิคได้

Antonio Fernandez

Antonio Fernandez

ผู้ก่อตั้งและ CEO ของ Relevant Audience ผู้นำด้านการตลาดดิจิทัลในเอเชียตะวันออกเฉียงใต้ ด้วยประสบการณ์กว่า 15 ปีในการพัฒนากลยุทธ์การตลาดดิจิทัล เขาได้นำพาทีมงานในการสร้างผลลัพธ์ที่ยอดเยี่ยมให้กับลูกค้าผ่านโซลูชันดิจิทัลที่มุ่งเน้นประสิทธิภาพ

แชร์ไปยัง:
คัดลอกลิงก์: