Common Crawl ออกคู่มือตรวจการมองเห็นของ AI และการบล็อกที่สำคัญที่สุดไม่ได้อยู่ใน robots.txt

Common Crawl องค์กรไม่แสวงหากำไรที่เก็บข้อมูลหน้าเว็บมากกว่าสองพันล้านหน้าต่อเดือนและเปิดให้ทุกคนดาวน์โหลดคลังข้อมูลไปใช้ฟรี ได้เผยแพร่คู่มือความยาว 18 หน้าในเดือนมิถุนายน 2026 ชื่อ The AI Visibility Audit ซึ่งอธิบายวิธีที่เจ้าของเว็บไซต์จะตรวจสอบได้ว่าหน้าเว็บของตัวเองอยู่ในชุดข้อมูลที่โมเดลภาษาขนาดใหญ่ส่วนมากใช้เทรนหรือไม่ Search Engine Journal รายงานถึงคู่มือฉบับนี้เมื่อวันที่ 10 สิงหาคม 2026 พร้อมชี้ว่าขั้นตอนทั้งหมดตามที่ Common Crawl เขียนไว้นั้นต้องทำด้วยมือล้วน ๆ

ตัวเลขที่อยู่เบื้องหลังเรื่องนี้อยู่ในบทความเดียวกัน Search Engine Journal ระบุว่าโมเดลภาษาขนาดใหญ่ที่เปิดตัวระหว่างปี 2019 ถึง 2023 จำนวน 64% เทรนด้วยข้อมูลจาก Common Crawl และ GPT-3 มีสัดส่วนราว 60% ของน้ำหนักข้อมูลเทรนมาจาก Common Crawl ที่ผ่านการกรองแล้ว ส่วนรอบเก็บข้อมูลเดือนกรกฎาคม 2026 มีหน้าเว็บอยู่ 2.14 พันล้านหน้า เว็บไซต์ที่หายไปจากคลังนี้ ก็คือหายไปจากสัดส่วนใหญ่ของสิ่งที่โมเดลเหล่านั้นได้อ่านตอนเทรน

คู่มือของ Common Crawl สั่งให้เจ้าของเว็บทำอะไรบ้าง

คู่มือที่ Common Crawl เผยแพร่เมื่อมิถุนายน 2026 ไล่ขั้นตอนตรวจสอบแบบทำมือเป็นลำดับ Search Engine Journal สรุปลำดับนั้นว่า ให้ใช้ curl ยิงหน้าแรกของเว็บด้วย user agent ของ CCBot แล้วเทียบผลลัพธ์กับที่เบราว์เซอร์ได้รับ จากนั้นใช้ index API เพื่อดูจำนวนครั้งที่ถูกเก็บ ต่อด้วยการเช็กอันดับของโดเมนใน web graph ของ Common Crawl แล้วจึงประกอบเป็นสกอร์การ์ดรายโดเมนด้วยมือ ทุกขั้นตอนไม่ได้ยากในเชิงเทคนิค แต่ช้าทั้งหมด และพังทันทีเมื่อมีโดเมนต้องตรวจมากกว่าสองสามโดเมน

ข้อแนะนำในคู่มือสั้นพอที่จะไล่ได้ครบตามที่ Search Engine Journal รายงาน ให้ตรวจการตั้งค่า CDN ก่อนไปแตะไฟล์บนเซิร์ฟเวอร์ เพราะจุดที่บล็อกจริงส่วนใหญ่อยู่ตรงนั้น ให้อนุญาต CCBot ใน robots.txt โดยการไม่มีกฎใด ๆ ถือเป็นการอนุญาตอยู่แล้ว ไม่ใช่ช่องโหว่ ให้ใส่ sitemap ไว้ใน robots.txt เพื่อให้ตัวเก็บข้อมูลมีเส้นทางค้นหาหน้าเว็บ ให้เรนเดอร์เนื้อหาฝั่งเซิร์ฟเวอร์ และให้สร้างลิงก์ขาเข้าจากเว็บที่เชื่อมโยงกับเว็บอื่นเยอะ เพราะลำดับความสำคัญในการเก็บข้อมูลเดินตามโครงสร้างลิงก์

ทำไมลำดับของขั้นตอนถึงเป็นสาระสำคัญ

การให้ตรวจ CDN ก่อนไม่ใช่เรื่องของสไตล์ ไฟล์ robots.txt ที่เขียนอนุญาต CCBot ไว้จะไม่มีความหมายเลยถ้าคำขอนั้นไปไม่ถึงเซิร์ฟเวอร์ต้นทาง เพราะคำขอถูกหยุดที่ขอบเครือข่ายก่อนที่ robots.txt จะถูกอ่านด้วยซ้ำ เจ้าของเว็บที่เริ่มด้วยการแก้ robots.txt บนเซิร์ฟเวอร์แล้วจบแค่นั้น จะได้ไฟล์ที่อ่านแล้วดูเปิดกว้างเต็มที่ ทั้งที่โดเมนยังปิดอยู่ ความกลับหัวกลับหางตรงนี้คือเหตุผลที่คู่มือถูกเขียนออกมาในรูปแบบนี้

Suganthan Mohanadasan ทำระบบอัตโนมัติขึ้นมา แล้วผลลัพธ์เปลี่ยนโจทย์

Suganthan Mohanadasan สร้างเครื่องมือฟรีชื่อ Common Crawl Visibility Checker ที่รันขั้นตอนตรวจสอบชุดเดียวกันแบบอัตโนมัติ และ Search Engine Journal อธิบายผลลัพธ์ไว้เมื่อ 10 สิงหาคม 2026 เครื่องมือนี้แสดงผลผ่านแผงวิเคราะห์สี่ส่วน ส่วนแรกคือจำนวนครั้งที่ถูกเก็บในแต่ละรอบ แสดงเป็นแนวโน้ม 12 เดือน โดยโดเมนขนาดใหญ่จะเห็นเป็นค่าประมาณ ส่วนที่สองคือประวัติ robots.txt ที่ย้อนดูสำเนาที่เก็บไว้เป็นรายเดือนและเทียบความต่างของกฎที่เกี่ยวกับตัวเก็บข้อมูล AI ทำให้เห็นว่าการเปลี่ยนแปลงเกิดขึ้นวันไหน ส่วนที่สามคือการระบุแหล่งที่มาของการบล็อก โดยเทียบกับเทมเพลตที่รู้จัก เช่น ค่าเริ่มต้นของ Cloudflare และปลั๊กอินของ Squarespace ส่วนที่สี่คือการยิงทดสอบสด โดยขอหน้าเว็บในนาม CCBot/2.0 แล้วเทียบกับคำขอจากเบราว์เซอร์ปกติและบอทควบคุม

Search Engine Journal ยังระบุการตรวจเพิ่มอีกสามอย่างในเครื่องมือเดียวกัน คือความครอบคลุมของ sitemap ที่เทียบ sitemap ที่ส่งไปกับ URL ที่ถูกเก็บจริง การติดตามหน้าเว็บรายหน้าย้อนหลัง 12 เดือน และการตรวจสำเนาที่เก็บไว้ ซึ่งเทียบไบต์ของหน้าที่ถูกเก็บกับ HTML สด นั่นคือเวอร์ชันก่อนที่ JavaScript จะทำงาน

ประเด็นของเรื่องนี้ไม่ใช่ตัวเครื่องมือ แต่คือการที่การทำสกอร์การ์ดให้เป็นอัตโนมัติ ทำให้ปัญหาประเภทหนึ่งโผล่ขึ้นมา ทั้งที่การตรวจด้วยมือแบบเดิมมองไม่เห็นโดยโครงสร้าง

การบล็อกสองแบบที่ไม่มีวันโผล่ในไฟล์ robots.txt

Search Engine Journal ระบุการบล็อกสองประเภทที่ไม่ปรากฏเมื่ออ่าน robots.txt ด้วยตา ประเภทแรกคือค่าเริ่มต้นของ CDN โดยตั้งแต่วันที่ 1 กรกฎาคม 2025 Cloudflare บล็อก AI crawler เป็นค่าเริ่มต้นบนทุกโดเมนใหม่ที่ให้บริการ และ Search Engine Journal รายงานว่า robots.txt แบบจัดการให้ของ Cloudflare ครอบคลุมโดเมนเพิ่มอีก 3.8 ล้านโดเมน ประเภทที่สองคือกฎที่ขอบเครือข่าย คือ WAF ที่ตั้งด่านท้าทาย CCBot ในขณะที่ robots.txt อ่านแล้วสะอาดหมดจด

ทั้งสองแบบนี้เอาชนะวิธีตรวจที่คนส่วนใหญ่ใช้ ถ้าวิธีตรวจของคุณคือเปิดไฟล์ที่ /robots.txt แล้วมองหาบรรทัด Disallow ที่เล็ง CCBot ไฟล์ที่สะอาดจะไม่บอกอะไรเลยว่าตัวเก็บข้อมูลถูกส่งหน้าท้าทายกลับไปที่ขอบเครือข่ายหรือเปล่า robots.txt กับขอบเครือข่ายคือประตูสองบานที่แยกจากกัน และมีสิทธิ์ให้คำตอบไม่ตรงกัน

ตัวเลขด้านล่างคือชุดที่ Search Engine Journal ใช้อธิบายขนาดของการบล็อกตัวเก็บข้อมูล AI และควรอ่านรวมกันมากกว่าอ่านทีละบรรทัด

อ่านรวมกันแล้วตัวเลขชุดนี้บอกอะไรที่ชัดเจน ตัวเลข 492,000 คือจำนวนเว็บที่ตัดสินใจเองแล้วเขียนลงไฟล์ ส่วนตัวเลข 3.8 ล้านคือจำนวนโดเมนที่มีคนตัดสินใจแทนผ่านค่าเริ่มต้น ตัวเลขหลังใหญ่กว่าตัวเลขแรกมาก นั่นคือเหตุผลที่การตรวจซึ่งอ่านแค่ robots.txt เท่ากับไปหาของในกองที่เล็กกว่า

CCBot ไม่รัน JavaScript แล้วเว็บที่เรนเดอร์ฝั่งไคลเอนต์เจออะไร

Search Engine Journal อ้างข้อจำกัดนี้ไว้ตรง ๆ ว่า CCBot ไม่รัน JavaScript ดังนั้นเนื้อหาที่มีอยู่หลังการ hydrate เท่านั้น จะเหลือเป็นโครงเปล่าในข้อมูลเทรน และยังระบุด้วยว่าเพดานขนาดของหน้าที่เก็บได้ถูกขยายเมื่อเดือนมีนาคม 2025 จาก 1 MiB เป็น 5 MiB

สำหรับเว็บที่ทำด้วย React หรือ Next.js เรื่องนี้ย้ายคำถามไปอยู่ที่โหมดการเรนเดอร์ ไม่ใช่ที่ตัวเฟรมเวิร์ก หน้าที่เรนเดอร์ฝั่งเซิร์ฟเวอร์หรือสร้างเป็นไฟล์คงที่ตอนบิลด์ จะถูกส่งออกมาเป็น HTML ที่มีเนื้อหาอยู่ในนั้นแล้ว ส่วนหน้าที่ส่ง div เปล่าออกมาก่อนแล้วค่อยดึงข้อมูลจากฝั่งไคลเอนต์ ก็จะถูกเก็บไปเป็น div เปล่า ผลลัพธ์ที่คนเห็นในเบราว์เซอร์เหมือนกันทุกประการ แต่ผลลัพธ์ในคลังข้อมูลไม่เหมือนกัน และการตรวจสำเนาที่เก็บไว้ในเครื่องมืออัตโนมัติมีไว้เพื่อเปิดให้เห็นช่องว่างนี้โดยไม่ต้องเดา

นี่ยังเป็นจุดที่ตรวจด้วยตาแล้วพลาดง่ายที่สุด การดู view source ในเบราว์เซอร์อาจแสดง DOM ที่ hydrate แล้วขึ้นอยู่กับวิธีดู และหน้าที่ผ่านการทดสอบการเรนเดอร์สำหรับ Googlebot ได้ดี ก็ยังเป็นโครงเปล่าสำหรับตัวเก็บข้อมูลที่ไม่เรนเดอร์อะไรเลยได้อยู่ดี สิ่งที่ต้องเทียบคือเนื้อคำตอบดิบกับสิ่งที่ผู้อ่านเห็นจริง

วิธียิงเช็กด้วย CCBot เอง และวิธีอ่านผล

เวอร์ชันทำมือที่ Search Engine Journal อธิบายไว้คือคำขอเดียว คุณดึงหน้าแรกของเว็บตัวเองโดยระบุตัวตนเป็น CCBot แล้วดึงซ้ำอีกครั้งในนามเบราว์เซอร์ปกติ จากนั้นเทียบผลสองอัน มีผลลัพธ์สามแบบที่ควรแยกให้ออก

สถานะ HTTP เท่ากัน เนื้อหาเท่ากัน

เซิร์ฟเวอร์ต้นทางกำลังส่งหน้าเดียวกันให้ทั้งตัวเก็บข้อมูลและผู้อ่าน นี่คือสถานะที่คู่มือพยายามพาเจ้าของเว็บไปให้ถึง และเป็นจุดที่ robots.txt กับการค้นพบผ่าน sitemap เริ่มมีความหมาย

รหัสสถานะต่างกัน หรือได้หน้าท้าทายกลับมา

การได้ 403 หรือ 503 หรือหน้าท้าทายกลับมาเมื่อยิงด้วย user agent ของ CCBot ในขณะที่คำขอจากเบราว์เซอร์ผ่าน คือเคสกฎที่ขอบเครือข่ายตามที่ Search Engine Journal อธิบาย ไม่มีอะไรใน robots.txt อธิบายเรื่องนี้ได้ เพราะ robots.txt ไม่ใช่สิ่งที่หยุดคำขอ ทางแก้อยู่ในการตั้งค่า CDN หรือ WAF ซึ่งเป็นเหตุผลที่คู่มือให้ตรวจ CDN เป็นอันดับแรก

สถานะเท่ากัน แต่เนื้อหาที่อ่านได้ไม่มี

นี่คือเคสการเรนเดอร์ฝั่งไคลเอนต์ ตัวเก็บข้อมูลเข้ามาได้ แต่ได้โครงเปล่ากลับไป การไปแก้สิทธิ์การเข้าถึงไม่ช่วยอะไร ต้องเปลี่ยนเส้นทางการเรนเดอร์

ไม่ว่าผลจะออกมาแบบไหน ให้บันทึกวันที่ที่ยิงเช็กไว้ด้วย เพราะค่าเริ่มต้นของ Cloudflare ใช้กับโดเมนที่สร้างหลัง 1 กรกฎาคม 2025 คำตอบของโดเมนหนึ่งจึงต่างจากอีกโดเมนในบัญชีเดียวกันได้ เพียงเพราะวันที่จดทะเบียนไม่เท่ากัน นี่เป็นข้อเท็จจริงเชิงการตั้งค่า ไม่ใช่สัญญาณด้านผลงาน และอธิบายให้คนอื่นฟังง่ายขึ้นมากเมื่อมีวันที่ของการตรวจครั้งล่าสุดที่ผ่านจดไว้ การทำ ตรวจสุขภาพเว็บไซต์เชิงเทคนิค เป็นที่ที่เหมาะจะเก็บบันทึกแบบนี้

การอยู่ในคลังข้อมูลเทรน ไม่เท่ากับการถูกอ้างอิง

นี่คือข้อจำกัดที่ต้องพูดให้ชัด เพราะเป็นจุดที่การรายงานเรื่องนี้มักเพี้ยน Search Engine Journal เขียนไว้ตรงตัวว่า การอยู่ใน Common Crawl ไม่ได้ทำให้คุณอยู่ในโมเดล ชุดข้อมูลเทรนแต่ละชุดกรองข้อมูลจากคลังด้วยเกณฑ์ของตัวเอง การอยู่ในคลังจึงเป็นเงื่อนไขตั้งต้น ไม่ใช่หลักประกัน บทความยังระบุด้วยว่าการมีข้อมูลถูกเก็บน้อยเพียงอย่างเดียวก็ไม่ได้พิสูจน์อะไร เพราะ Common Crawl สุ่มเก็บเว็บ ไม่ได้คัดลอกทั้งเว็บ

ใต้ประเด็นนั้นยังมีเส้นแบ่งอีกเส้น Common Crawl ป้อนข้อมูลให้การเทรน มันไม่ใช่ชั้นการดึงข้อมูลสดที่ผู้ช่วย AI ใช้ตอนไปเปิดหน้าเว็บจริงเพื่อตอบคำถามในวินาทีนั้น การเอาสองอย่างนี้มาปนกันทำให้เกิดคำแนะนำผิดได้ทั้งสองทาง เว็บที่มีตัวตนหนาแน่นในคลังก็ยังหายไปจากการอ้างอิงสดได้ และเว็บที่ไม่อยู่ในคลังก็ยังถูกอ้างอิงโดยระบบที่ดึงข้อมูลตอนถามได้ บทความไม่ได้ให้หลักฐานว่าการอยู่ใน Common Crawl เป็นเหตุให้ถูกอ้างอิงโดย AI และไม่ได้แยกรายละเอียดรายโมเดลว่าระบบไหนใช้รอบเก็บข้อมูลไหน ให้มองการเปิดทางให้ตัวเก็บข้อมูลว่าเป็นการเอาสิ่งกีดขวางออก ไม่ใช่การซื้อผลลัพธ์ ถ้าเป้าหมายคือการถูกอ้างอิงในคำตอบของ AI นั่นคืองานอีกสายหนึ่งที่อยู่ในฝั่ง AI SEO และ GEO

เรื่องนี้มีความหมายอย่างไรกับนักการตลาดไทย

บทความของ Search Engine Journal ไม่ได้พูดถึงตลาดใดเป็นการเฉพาะ ไม่มีตัวเลขของประเทศไทย ไม่มีการแยกข้อมูลของเอเชีย และไม่มีอะไรเกี่ยวกับเนื้อหาภาษาไทยในคลังข้อมูล ใครก็ตามที่บอกว่ามี ก็คือกำลังเติมสิ่งที่แหล่งข่าวไม่ได้พูด

แต่กลไกที่ว่ามาไม่ได้ผูกกับภูมิภาค เว็บไทยที่อยู่หลัง Cloudflare บนโดเมนที่จดหลังวันที่ 1 กรกฎาคม 2025 ตกอยู่ในเคสค่าเริ่มต้นที่บทความอธิบายพอดี เพราะค่าเริ่มต้นถูกใช้โดย CDN ไม่ได้ใช้ตามพิกัดภูมิศาสตร์ เงื่อนไขนี้ครอบคลุมเว็บไทยที่เพิ่งเปิดตัวจำนวนไม่น้อย และใช้เวลาตรวจให้จบราวห้านาที เรื่องการเรนเดอร์ก็เช่นกัน เว็บภาษาไทยที่สร้างเป็นแอปหน้าเดียวซึ่งเรนเดอร์ฝั่งไคลเอนต์ จะถูกเก็บเป็นโครงเปล่าด้วยเหตุผลเดียวกับเว็บภาษาอังกฤษ

มีจุดหนึ่งที่ควรบอกตามตรงว่าเป็นการวิเคราะห์ ไม่ใช่การรายงาน เนื้อหาภาษาไทยเป็นสัดส่วนที่เล็กในเว็บเปิดอยู่แล้ว ข้อควรระวังเรื่องการสุ่มเก็บที่ Search Engine Journal ยกขึ้นมา คือ Common Crawl สุ่มเก็บไม่ได้คัดลอกทั้งหมด จึงกระทบเว็บไทยแรงกว่าเว็บภาษาอังกฤษ จำนวนครั้งที่ถูกเก็บน้อยบนโดเมนไทยจึงเป็นหลักฐานของการถูกบล็อกที่อ่อนกว่าตัวเลขเดียวกันบนโดเมนภาษาอังกฤษขนาดใหญ่ ตัวชี้ขาดคือการยิงทดสอบสด ไม่ใช่จำนวนครั้งที่ถูกเก็บ

คำถามที่พบบ่อย

เรื่องนี้มีผลในไทยแล้วหรือยัง หรือเป็นเรื่องเฉพาะสหรัฐ

ไม่ใช่ทั้งสองอย่าง Common Crawl เป็นคลังข้อมูลระดับโลก และค่าเริ่มต้นของ Cloudflare ที่ Search Engine Journal อธิบายใช้กับโดเมนใหม่ที่ Cloudflare ให้บริการ โดยไม่เกี่ยวกับประเทศ บทความไม่ได้พูดถึงประเทศไทยหรือตลาดรายประเทศใดเลย

ต้องรีบทำอะไรตอนนี้ไหม

มีเรื่องเดียวที่เร่ง และเร่งเฉพาะกรณีที่โดเมนของคุณสร้างหลังวันที่ 1 กรกฎาคม 2025 และอยู่หลัง Cloudflare ในกรณีนั้นค่าเริ่มต้นที่ Search Engine Journal อธิบายมีผลกับคุณจนกว่าจะมีคนไปเปลี่ยน และคำขอเดียวที่ยิงในนาม CCBot จะบอกได้ว่ามีผลจริงหรือไม่ ส่วนที่เหลือในคู่มือเป็นงานบ้านที่รอรอบตรวจเชิงเทคนิคครั้งถัดไปได้

อยู่ใน Common Crawl แล้วจะถูก ChatGPT หรือ Gemini อ้างอิงไหม

ไม่ และ Search Engine Journal พูดไว้ตรง ๆ ว่าการอยู่ใน Common Crawl ไม่ได้ทำให้คุณอยู่ในโมเดล ชุดข้อมูลเทรนกรองข้อมูลจากคลังตามเกณฑ์ของตัวเอง และบทความไม่ได้แยกรายละเอียดรายโมเดลว่าระบบไหนใช้รอบเก็บข้อมูลไหน การอยู่ใน Common Crawl เกี่ยวกับคลังข้อมูลเทรน ไม่ได้เกี่ยวกับการดึงข้อมูลสดในวินาทีที่มีคนถามคำถาม

ควรบล็อก CCBot เพื่อปกป้องเนื้อหาของตัวเองไหม

แหล่งข่าวไม่ได้แนะนำทางใดทางหนึ่ง และเรื่องนี้เป็นการตัดสินใจเชิงธุรกิจมากกว่าเชิงเทคนิค สิ่งที่บทความรายงานคือขนาดของทางเลือกนี้ ราว 95% ของเว็บที่ระบุถึง CCBot ใน robots.txt เป็นการบล็อก และ 75% ของสำนักข่าวรายใหญ่ในสหรัฐและอังกฤษบล็อกตัวเก็บข้อมูลสำหรับเทรน AI ตามการวัดของ BuzzStream ที่บทความอ้างถึง สำนักข่าวที่ขายสิทธิ์คลังเนื้อหากับธุรกิจบริการที่อยากให้คนหาเจอ ไม่ได้อยู่ในสถานะเดียวกัน

robots.txt ของผมอนุญาต CCBot อยู่แล้ว ถือว่าปลอดภัยไหม

ไม่จำเป็น และนั่นคือใจความหลักของบทความ WAF ตั้งด่านท้าทาย CCBot ที่ขอบเครือข่ายได้ในขณะที่ robots.txt อ่านแล้วสะอาด และค่าเริ่มต้นของ CDN ก็บล็อกตัวเก็บข้อมูลได้ก่อนที่ robots.txt จะถูกอ่านด้วยซ้ำ ไฟล์ที่เปิดคือประตูบานหนึ่ง ขอบเครือข่ายคือประตูอีกบานที่แยกจากกัน

ทำต่อจากนี้อย่างไร

เวอร์ชันห้านาทีของเรื่องนี้คุ้มที่จะทำกับทุกเว็บที่คุณดูแล ยิงหน้าแรกในนาม CCBot ยิงซ้ำในนามเบราว์เซอร์ แล้วเทียบรหัสสถานะกับเนื้อหา ถ้าต่างกัน คำตอบอยู่ที่ CDN ไม่ใช่ในไฟล์ข้อความ ถ้าเนื้อหาที่กลับมาไม่มีข้อความให้อ่าน คำตอบอยู่ที่เส้นทางการเรนเดอร์ รายละเอียดทั้งหมดของรายงานนี้อยู่ใน บทความของ Search Engine Journal และถ้าอยากให้มีคนช่วยตรวจเรื่องนี้ควบไปกับการดูภาพรวมว่าเว็บของคุณเข้าถึงได้แค่ไหนสำหรับทั้งเสิร์ชและตัวเก็บข้อมูล AI ก็เป็นบทสนทนาที่ควรเริ่มกับคนที่ทำเรื่องนี้เป็นประจำ