สรุปสั้น ๆ (TL;DR)
- Cloudflare และ OpenAI ระบุเมื่อวันที่ 15 ตุลาคม 2569 ว่าโครงการค้นพบที่เริ่มเดือนกรกฎาคม 2569 ช่วยให้ OpenAI จัดทำดัชนีหน้าใหม่หลายร้อยล้านหน้า
- โครงการใช้กลุ่มเว็บประมาณ 1% ของเครือข่าย Cloudflare โดย Cloudflare ให้สัญญาณ และ OpenAI ประเมินและจัดอันดับหน้าอย่างเป็นอิสระ
- สัญญาณช่วยกรอง URL ที่ไม่มีอยู่ การ redirect ทุกอย่างไปหน้าแรก และเนื้อหาซ้ำ บอกว่าเมื่อใดควรกลับมาดูหน้า และกำลังทดสอบการระบุหน้าที่ถูกเจาะทีละหน้า
- บทความระบุว่าสัญญาณไม่ได้ให้สิทธิ์เข้าถึงหน้า และงานนี้ใช้ metadata ไม่ได้ใช้เนื้อหาของหน้าเพื่อฝึกโมเดล
Cloudflare และ OpenAI ระบุเมื่อวันที่ 15 ตุลาคม 2569 ว่าโครงการวิจัยนำร่องร่วมกันที่ใช้สัญญาณจากเครือข่ายของ Cloudflare ช่วยให้ crawler สำหรับการค้นหาของ OpenAI ค้นพบและจัดทำดัชนีหน้าเว็บใหม่หลายร้อยล้านหน้าสำหรับ ChatGPT Search ในบทความบนบล็อกของ Cloudflare ซึ่งเขียนร่วมกันโดย Matthew Conroy และ Jack Galilee จาก Cloudflare กับ Henry Aspegren และ James Balfour จาก OpenAI ทั้งสองบริษัทระบุว่าโครงการเริ่มในเดือนกรกฎาคม 2569 และใช้กลุ่มเว็บไซต์ที่เข้าร่วมประมาณ 1% ของเครือข่ายทั้งหมดของ Cloudflare
บทความไม่มีรายละเอียดรายเว็บไซต์ แต่อธิบายกลไกไว้ชัดเจน Cloudflare เป็นผู้ให้สัญญาณช่วยค้นพบ ส่วน OpenAI เป็นผู้ตัดสินใจว่าจะจัดทำดัชนีอะไรและจัดอันดับอย่างไร สำหรับธุรกิจที่ต้องการถูกอ้างอิงในคำตอบของ ChatGPT ขั้นแรกคือต้องอยู่ในดัชนีการค้นหาของ OpenAI และโครงการนี้เปลี่ยนวิธีที่บางหน้าเข้าไปอยู่ในดัชนีนั้น
Cloudflare และ OpenAI ประกาศอะไรเมื่อวันที่ 15 ตุลาคม 2569
ตามบทความ ทั้งสองบริษัทเริ่มโครงการวิจัยนำร่องในเดือนกรกฎาคม 2569 เพื่อหาคำตอบว่าสัญญาณจากเครือข่ายของ Cloudflare ช่วยให้ผู้ใช้ ChatGPT ค้นพบเนื้อหาใหม่ได้ดีขึ้นโดยสิ้นเปลืองน้อยลงหรือไม่ Cloudflare ประกาศโครงการนี้ครั้งแรกในข่าวประชาสัมพันธ์ลงวันที่ 8 กรกฎาคม 2569 ซึ่งระบุว่าข้อมูลเชิงลึกจากเครือข่ายที่จะทดสอบได้แก่ ความสดใหม่ของเนื้อหา คุณภาพของทราฟฟิก และการเปลี่ยนแปลงจริงของหน้าเว็บ ผลเบื้องต้นที่เผยแพร่วันที่ 15 ตุลาคมสรุปได้ในประโยคเดียว คือโครงการนี้ "ช่วยให้ OpenAI ค้นพบและจัดทำดัชนีหน้าเว็บใหม่หลายร้อยล้านหน้า" บทความเรียกหน้าเหล่านี้ว่าหน้าที่ "ไม่เคยรู้จักมาก่อน" ซึ่งตอนนี้อยู่ในดัชนีการค้นหาของ OpenAI แล้ว
การแบ่งหน้าที่ระบุไว้ตรง ๆ เครือข่ายของ Cloudflare ให้สัญญาณที่ช่วยให้ crawler ของ OpenAI ค้นพบหน้าที่มีประโยชน์มากขึ้น จากนั้น OpenAI จะประเมินและจัดอันดับหน้าเหล่านั้นอย่างเป็นอิสระตามความเกี่ยวข้องและความมีประโยชน์ กล่าวคือ สัญญาณช่วยให้หน้าถูกพบ แต่ไม่ได้ตัดสินว่าหน้านั้นจะถูกแสดงหรือถูกอ้างอิงหรือไม่
ผู้เขียนยังเชื่อมงานนี้กับทิศทางผลิตภัณฑ์ของ OpenAI โดยระบุว่าด้วย GPT-6 และ Intelligent UI ทาง OpenAI กำลังทำให้ ChatGPT เป็นที่ที่ดีขึ้นสำหรับการช้อปปิ้ง การเรียนรู้ และการหาคำตอบ และงานค้นพบเนื้อหานี้ช่วยเสริมด้วยการทำให้ ChatGPT พบข้อมูลที่มีประโยชน์และทันสมัยมากขึ้น
ทำไมการค้นพบหน้าเว็บจึงเป็นโจทย์ของโครงการนี้
บทความชี้ว่าหน้าที่มีประโยชน์ที่สุดมักเป็นหน้าที่มีลิงก์ชี้เข้าน้อยที่สุด ตัวอย่างที่ยกมาคือคู่มือเครื่องซักผ้ารุ่นที่ตรงกับเครื่องของผู้ใช้ ข้อกำหนดและค่าธรรมเนียมการทำหนังสือเดินทางฉบับปัจจุบัน และเมนูล่าสุดกับเวลาเปิดปิดของร้านอาหารในท้องถิ่น ผู้เขียนระบุว่าหน้าแบบนี้มีคุณค่าได้แม้จะมีเว็บอื่นลิงก์มาไม่กี่เว็บ
บทความไม่ได้ระบุว่า Cloudflare แชร์สัญญาณอะไรบ้างโดยละเอียด แต่ระบุว่างานวิจัยนี้ใช้ metadata เกี่ยวกับเว็บเพื่อการค้นหาและการค้นพบ ไม่ได้แชร์เนื้อหาของหน้าเว็บเพื่อใช้ฝึกโมเดล
โครงการทำงานอย่างไร: สี่กลไกที่บทความอธิบาย
บทความเล่าสิ่งที่ Cloudflare และ OpenAI ได้เรียนรู้ในการแยกหน้าจริงออกจากสัญญาณรบกวนก่อนที่ crawler จะเสียแรงไปดึงหน้า ตารางด้านล่างสรุปแต่ละกลไกตามที่บทความอธิบาย
| กลไก | สิ่งที่บทความวันที่ 15 ตุลาคมระบุ |
|---|---|
| กรอง URL ที่ไม่มีอยู่จริง | บอตขอไฟล์ที่ไม่มีอยู่ซ้ำ ๆ จนหน้าที่ไม่มีอยู่ดูน่าสนใจ การจับรูปแบบนี้ช่วยตัดงานที่สูญเปล่าก่อนการดึงหน้า |
| ตรวจจับ redirect และเนื้อหาซ้ำ | บางเว็บ redirect แทบทุก URL ไปหน้าแรก และบาง URL นำไปสู่สำเนาเนื้อหาเดียวกัน ทั้งสองแบบถูกกรองออก |
| สัญญาณการเปลี่ยนแปลง | บอก crawler ว่าเมื่อใดหน้าควรถูกเข้าไปดูอีกครั้งและเมื่อใดไม่ควร เพื่อเลี่ยงการดาวน์โหลดหน้าที่ไม่เปลี่ยนซ้ำ ๆ |
| ระบุหน้าที่เป็นอันตราย (กำลังทดสอบ) | สัญญาณที่ชี้หน้าที่ถูกเจาะเพียงหน้าเดียว เช่น ฟอร์มล็อกอินปลอมที่ผู้โจมตีฝังไว้ โดยไม่ลงโทษทั้งโดเมน |
เรื่องสัญญาณการเปลี่ยนแปลง บทความให้เหตุผลด้านต้นทุนว่า สำหรับเจ้าของเว็บ crawler ที่ดาวน์โหลดหน้าที่ไม่เปลี่ยนซ้ำ ๆ เพิ่มภาระโดยไม่ให้ประโยชน์อะไร การกรองช่วยให้ crawler ไม่เข้าไปยังหน้าที่ไม่มีอยู่หรือหน้าที่ redirect ไปที่อื่น และสัญญาณการเปลี่ยนแปลงบอกว่าเมื่อใดควรกลับมา
เรื่องหน้าที่เป็นอันตราย ผู้เขียนระบุว่าผลเบื้องต้นชี้ว่าสัญญาณเหล่านี้ช่วยระบุหน้าที่ควรถูกกันออกจากดัชนีได้ ตัวอย่างคือเว็บที่ถูกต้องตามกฎหมายแต่มีหน้าหนึ่งถูกผู้โจมตีเจาะ การชี้เฉพาะหน้านั้นช่วยปกป้องผู้ใช้โดยไม่ลงโทษเจ้าของเว็บ
บทความยอมรับข้อแลกเปลี่ยนด้วยว่า การค้นพบหน้าใหม่อาจทำให้การ crawl เพิ่มขึ้นในช่วงแรก ขณะที่หน้าเหล่านั้นถูกประเมินและจัดทำดัชนี เจ้าของเว็บในกลุ่มที่เข้าร่วมจึงอาจเห็นการ crawl มากขึ้นก่อน ไม่ใช่น้อยลง เป้าหมายที่ระบุไว้คือค้นพบต่อไปและตามข้อมูลให้ทัน พร้อมกับลดงานที่ต้องใช้
สิ่งที่โครงการนี้ไม่ได้เปลี่ยน: การเข้าถึงและการอนุญาต
บทความระบุชัดว่าการค้นพบไม่ใช่การอนุญาต ผู้เขียนเขียนว่าสัญญาณเกี่ยวกับหน้าหนึ่ง ๆ ไม่ได้ให้สิทธิ์เข้าถึงหน้านั้น และการตัดสินใจของเจ้าของโดเมนยังมีผลตลอดกระบวนการ บทความแนะนำให้เจ้าของเว็บใช้ AI Crawl Control ของ Cloudflare เพื่อดูและจัดการวิธีที่ระบบ AI เข้าถึงเว็บไซต์
นั่นทำให้การตั้งค่าที่มีอยู่แล้วกลายเป็นเรื่องหลัก เอกสาร crawler ของ OpenAI แยก user agent ตามหน้าที่ OAI-SearchBot ใช้แสดงเว็บไซต์ในฟีเจอร์การค้นหาของ ChatGPT และ OpenAI ระบุว่าเว็บที่บล็อก OAI-SearchBot จะไม่ถูกแสดงในคำตอบการค้นหาของ ChatGPT แม้อาจยังปรากฏเป็นลิงก์นำทางได้ GPTBot ใช้ crawl เนื้อหาที่อาจนำไปฝึกโมเดลพื้นฐานของ OpenAI และการบล็อก GPTBot คือวิธีบอกว่าไม่ต้องการให้เนื้อหาถูกใช้ฝึกโมเดล ส่วน ChatGPT-User ใช้กับการกระทำบางอย่างที่ผู้ใช้สั่ง และตามที่ OpenAI ระบุ ไม่ได้ใช้ตัดสินว่าเนื้อหาจะปรากฏในการค้นหาหรือไม่ OpenAI ยังระบุว่าระบบค้นหาอาจใช้เวลาประมาณ 24 ชั่วโมงในการปรับตามหลังแก้ robots.txt
เอกสารของ Cloudflare อธิบายว่า AI Crawl Control ซึ่งเดิมชื่อ AI Audit ใช้ได้ทุกแพ็กเกจ แสดงว่าบริการ AI ใดเข้าถึงเว็บ ให้ตั้งกฎอนุญาตหรือบล็อกราย crawler และติดตามว่า crawler ทำตามคำสั่งใน robots.txt หรือไม่
การตีความของเราจากบทความประกอบกับเอกสารของ OpenAI คือ เว็บที่บล็อก OAI-SearchBot ไม่ว่าจะใน robots.txt หรือด้วยกฎของ Cloudflare จะไม่ถูกทำให้มองเห็นได้ใน ChatGPT Search เพราะโครงการนี้ ส่วนเว็บในกลุ่มที่เข้าร่วมซึ่งอนุญาต สัญญาณอาจช่วยให้หน้าของเว็บถูกพบมากขึ้น รวมถึงหน้าที่มีลิงก์ชี้เข้าน้อย
ใครได้รับผลกระทบ และใครไม่ได้รับ
มีเพียงเว็บในกลุ่มที่เข้าร่วมประมาณ 1% ของเครือข่าย Cloudflare ที่อยู่ในโครงการ บทความไม่ได้บอกว่าเลือกเว็บเหล่านั้นอย่างไร เจ้าของเว็บสมัครใจเข้าร่วมหรือไม่ ครอบคลุมประเทศหรือภาษาใด หรือจะขยายไปยังส่วนที่เหลือของเครือข่ายหรือไม่ เว็บที่ไม่ได้ใช้ Cloudflare อยู่นอกโครงการ
ตัวเลขหลายร้อยล้านหน้าเป็นยอดรวมของทั้งกลุ่ม บทความไม่มีตัวเลขรายเว็บ ไม่มีข้อมูลทราฟฟิกหรือการส่งต่อผู้ใช้จาก ChatGPT และไม่มีการวัดว่าหน้าที่เพิ่งถูกจัดทำดัชนีถูกอ้างอิงในคำตอบกี่หน้า ผู้เขียนระบุว่าระยะต่อไปจะวัดสิ่งที่เกิดขึ้นหลังเนื้อหาถูกค้นพบ และกำลังทำงานกับ OpenAI เพื่อเข้าใจว่าการค้นพบที่ดีขึ้นจะกลายเป็นผลลัพธ์ทางธุรกิจจริงได้อย่างไร ผลลัพธ์เหล่านั้นยังไม่ได้เผยแพร่
ความหมายต่อการมองเห็นใน AI search
ส่วนนี้เป็นบทวิเคราะห์ ไม่ใช่ข้อความจากบทความต้นทาง ใน AI search การถูกอ้างอิงขึ้นกับหลายขั้นที่เกิดตามลำดับ หน้าต้องถูกค้นพบ ถูกดึง ถูกจัดทำดัชนี ถูกตัดสินว่าเกี่ยวข้อง แล้วจึงถูกเลือกเป็นแหล่งอ้างอิง คำแนะนำด้านGenerative Engine Optimization (GEO) ส่วนใหญ่เน้นขั้นหลัง ๆ เช่น คำตอบที่ชัด โครงสร้างเนื้อหา และความน่าเชื่อถือ โครงการค้นพบของ Cloudflare กับ OpenAI เกี่ยวกับขั้นแรกสุด หน้าที่ดัชนีการค้นหาของ OpenAI ไม่เคยรู้จักย่อมไม่ถูกอ้างอิง ไม่ว่าจะดีแค่ไหน
กลไกในบทความยังบอกด้วยว่า crawler สำหรับการค้นหามองอะไรเป็นงานสูญเปล่า ได้แก่ URL ที่ไม่มีอยู่จริง การ redirect ทุกอย่างไปหน้าแรก สำเนาเนื้อหาซ้ำ และหน้าที่ไม่เปลี่ยนแต่ถูกดึงซ้ำแล้วซ้ำอีก เว็บที่มีรูปแบบเหล่านี้มากทำให้หน้าที่มีประโยชน์ของตัวเองแยกออกจากสัญญาณรบกวนได้ยากขึ้น ซึ่งสอดคล้องกับหลัก technical SEO ทั่วไป และตอนนี้ใช้กับ crawler ของ AI search ด้วย ไม่ใช่แค่ Google
สิ่งที่ควรตรวจในเว็บไซต์ของคุณ
รายการตรวจด้านล่างเป็นบทวิเคราะห์เชิงปฏิบัติที่อิงจากบทความและเอกสารของ OpenAI กับ Cloudflare ตัวบทความเองไม่ได้ให้คำแนะนำเจ้าของเว็บนอกจากชี้ไปที่ AI Crawl Control
- อ่าน robots.txt ในส่วนของ OAI-SearchBot และ GPTBot ตัดสินใจแยกกันว่าต้องการปรากฏในการค้นหาของ ChatGPT หรือไม่ และอนุญาตให้ crawl เพื่อฝึกโมเดลหรือไม่ เพราะเป็นการตั้งค่าที่แยกจากกัน
- หากใช้ Cloudflare ให้เปิด AI Crawl Control ตรวจว่า crawler ของ AI ตัวใดถูกอนุญาตหรือถูกบล็อก และมีกฎบล็อกที่หยุด OAI-SearchBot ทั้งที่ตั้งใจจะบล็อกแค่ crawler สำหรับฝึกโมเดลหรือไม่
- ส่งสถานะ 404 หรือ 410 จริงสำหรับหน้าที่ไม่มีอยู่ บทความระบุว่าเว็บที่ redirect แทบทุก URL ไปหน้าแรกเป็นรูปแบบที่ crawler เรียนรู้ที่จะกรองออก
- รวมเนื้อหาซ้ำ URL ที่ต่างกันแค่พารามิเตอร์และหน้าที่คัดลอกกันคือ "สำเนาเนื้อหาเดียวกัน" ที่บทความบอกว่าถูกกรองก่อนการดึงหน้า
- ทำให้หน้าที่มีลิงก์น้อยเข้าถึงได้ หน้าราคา หน้าสาขา คู่มือสินค้า และหน้าบริการภาษาไทย คือหน้าเฉพาะทางแบบที่บทความบอกว่ามีคุณค่าแม้มีลิงก์น้อย หน้าเหล่านี้ไม่ควรติดหลังหน้าล็อกอินหรือถูกตั้ง noindex โดยไม่ตั้งใจ
- อัปเดตหน้าเมื่อข้อมูลเปลี่ยนจริง สัญญาณการเปลี่ยนแปลงให้ประโยชน์กับหน้าที่เปลี่ยนจริง บทความไม่ได้พูดถึง sitemap หรือวันที่ lastmod เลย จึงไม่ควรคาดว่าการแก้แค่วันที่จะทำให้ crawler กลับมา
- เฝ้าระวังหน้าที่ถูกเจาะ สัญญาณระบุหน้าที่เป็นอันตรายยังอยู่ระหว่างทดสอบ แต่ฟอร์มล็อกอินปลอมที่ถูกฝังใน URL เดียวคือกรณีที่บทความยกตัวอย่างไว้ตรง ๆ
บริการ ChatGPT SEO ของ Relevant Audience ครอบคลุมการเข้าถึงของ crawler การจัดทำดัชนี และความพร้อมในการถูกอ้างอิงในการค้นหาของ OpenAI และบริการตรวจ SEO ทางเทคนิคช่วยหารูปแบบ redirect เนื้อหาซ้ำ และ soft 404 ตามที่อธิบายข้างต้น
สิ่งที่บทความไม่ได้บอก
- ไม่ได้ระบุสัญญาณที่ Cloudflare แชร์อย่างละเอียด นอกจากบอกว่าเป็น metadata
- ไม่ได้บอกว่าเลือกกลุ่มประมาณ 1% อย่างไร เจ้าของเว็บแต่ละรายยินยอมหรือไม่ หรือจะขยายโครงการเมื่อใด
- ไม่มีตัวเลขทราฟฟิก การอ้างอิง หรือการส่งต่อผู้ใช้จาก ChatGPT ไปยังหน้าที่เพิ่งถูกจัดทำดัชนี
- ไม่ได้ให้วันเปิดใช้สัญญาณระบุหน้าที่เป็นอันตราย ซึ่งยังอยู่ระหว่างทดสอบ
- ไม่ได้บอกว่ามีการจ่ายเงินระหว่างสองบริษัทหรือไม่ หรือข้อตกลงนี้เป็นแบบผูกขาดหรือไม่
ความหมายสำหรับนักการตลาดไทย
ส่วนนี้เป็นบทวิเคราะห์ของเรา บทความไม่ได้แยกข้อมูลตามประเทศหรือภาษา จึงบอกไม่ได้ว่ามีเว็บไทยอยู่ในกลุ่มที่เข้าร่วมหรือไม่ สิ่งที่ใช้ได้ในไทยก็เหมือนที่อื่น คือหากเว็บของคุณใช้ Cloudflare การตั้งค่า AI crawler ในนั้นจะตัดสินว่า crawler สำหรับการค้นหาของ OpenAI เข้าถึงเว็บได้หรือไม่ จึงควรตรวจสอบแทนการคาดเดา หน้าที่เฉพาะเจาะจงแต่มีลิงก์ชี้เข้าน้อย เช่น หน้าสาขา รายการราคาภาษาไทย และรายละเอียดบริการ ตรงกับลักษณะหน้าที่บทความบอกว่าควรค่าแก่การค้นพบ จึงควรให้ crawl ได้ ไม่ถูก redirect แบบเหมารวม และมีข้อมูลเป็นปัจจุบัน หากไม่แน่ใจว่า ChatGPT มองเห็นเว็บของคุณหรือไม่ ให้เริ่มจาก robots.txt และแดชบอร์ด AI Crawl Control ก่อนไปปรับเนื้อหา
คำถามที่พบบ่อย
Cloudflare และ OpenAI ประกาศอะไร
Cloudflare และ OpenAI ระบุเมื่อวันที่ 15 ตุลาคม 2569 ว่าโครงการวิจัยนำร่องที่ใช้สัญญาณจากเครือข่าย Cloudflare ช่วยให้ OpenAI ค้นพบและจัดทำดัชนีหน้าเว็บใหม่หลายร้อยล้านหน้าสำหรับ ChatGPT Search โครงการเริ่มเดือนกรกฎาคม 2569 และใช้กลุ่มเว็บประมาณ 1% ของเครือข่าย Cloudflare
โครงการนี้ให้สิทธิ์ OpenAI crawl เว็บของฉันหรือไม่
ไม่ บทความระบุว่าสัญญาณเกี่ยวกับหน้าหนึ่ง ๆ ไม่ได้ให้สิทธิ์เข้าถึงหน้านั้น และการตัดสินใจของเจ้าของเว็บยังมีผล ตามเอกสาร crawler ของ OpenAI และเอกสาร AI Crawl Control ของ Cloudflare การบล็อก OAI-SearchBot ใน robots.txt หรือผ่าน AI Crawl Control ของ Cloudflare ยังเป็นตัวกำหนดว่า crawler สำหรับการค้นหาของ OpenAI เข้าถึงหน้าเว็บได้หรือไม่
เนื้อหาของฉันถูกใช้ฝึกโมเดล OpenAI ผ่านโครงการนี้หรือไม่
ไม่ ตามบทความ งานวิจัยนี้ใช้ metadata เกี่ยวกับเว็บเพื่อการค้นหาและการค้นพบ ไม่ได้แชร์เนื้อหาของหน้าเว็บเพื่อฝึกโมเดล เอกสาร crawler ของ OpenAI ระบุว่าการ crawl เพื่อฝึกโมเดลควบคุมแยกต่างหากผ่าน user agent ชื่อ GPTBot
เว็บของฉันอยู่ในโครงการหรือไม่
บทความไม่ได้บอกว่ามีเว็บใดบ้าง ระบุเพียงว่ากลุ่มที่เข้าร่วมมีประมาณ 1% ของเครือข่ายทั้งหมดของ Cloudflare โดยไม่มีรายชื่อ วิธีคัดเลือก หรือการแยกตามประเทศ
โครงการนี้จะทำให้หน้าของฉันถูกอ้างอิงใน ChatGPT หรือไม่
ไม่ใช่โดยตัวมันเอง เพราะสัญญาณช่วยแค่ให้หน้าถูกค้นพบ และ OpenAI เป็นผู้ประเมินและจัดอันดับอย่างเป็นอิสระ การถูกอ้างอิงยังขึ้นกับว่า OpenAI ตัดสินว่าหน้านั้นเกี่ยวข้องและมีประโยชน์เพียงใด
โครงการนี้ยังอยู่ในช่วงต้นและผลทางธุรกิจยังไม่ออกมา ตอนนี้ประเด็นเชิงปฏิบัติมีข้อเดียว คือทำให้ crawler ที่คุณต้องการเข้าถึงหน้าที่คุณอยากให้ถูกพบได้จริง
