Bing เลิกใช้ NoArchive และ NoCache แยกการควบคุมการฝึก AI และ AI grounding

Microsoft Bing ประกาศเมื่อวันที่ 30 ตุลาคม 2569 ว่าจะเลิกใช้ NoArchive และ NoCache เป็นตัวควบคุมด้าน AI และแทนที่ด้วยความต้องการ (preference) สองแบบที่แยกจากกัน แบบหนึ่งสำหรับการฝึก AI อีกแบบสำหรับ AI grounding และเว็บไซต์ที่ยังใช้แท็กเดิมต้องดำเนินการภายในวันที่ 1 มีนาคม 2570 เพื่อรักษาการตั้งค่าของตัวเองไว้ การควบคุม grounding แบบใหม่ทำงานเป็นรายหน้า และมีตัวเลือกตรงกลางชื่อ DisallowExtended ซึ่งยังให้เนื้อหาถูกใช้ในประสบการณ์ AI ของ Microsoft เอง แต่ไม่ให้ใช้ในบริการ grounding ที่ Microsoft ให้บริการแก่บุคคลที่สาม รายละเอียดทั้งหมดมาจากโพสต์บน Microsoft Bing Blog โดย Krishna Madhavan ตำแหน่ง Principal Product Manager ของ Microsoft Bing

ส่วนที่เกี่ยวกับการฝึก AI ในประกาศนี้ใช้ token ร่วมของ IETF ใน robots.txt ตัวเดียวกับที่ Google ประกาศในวันเดียวกันว่ามีแผนจะรองรับ ซึ่ง RA สรุปไว้ในบทความแยกเรื่องการปฏิเสธการฝึก AI ของ Google บทความนี้เน้นส่วนที่ Microsoft ประกาศเพียงรายเดียว ได้แก่ ความต้องการด้าน grounding ไวยากรณ์ระดับหน้าเว็บ และการย้ายออกจาก NoArchive กับ NoCache

Microsoft เปลี่ยนอะไรบ้าง

Microsoft ระบุว่าเป็นบริษัทแรกที่ให้ผู้เผยแพร่ควบคุมการนำเนื้อหาไปฝึก AI และใช้ทำ grounding ได้ ตั้งแต่ปี 2566 ผ่านแท็ก NoArchive และ NoCache ความต้องการแบบใหม่จะแทนที่สองแท็กนี้ในเรื่องการฝึกและ grounding ตามคำของ Microsoft ระบบใหม่ช่วยให้ผู้เผยแพร่ "เลือกได้ทั้งเรื่องการฝึก grounding หรือทั้งสองอย่าง โดยยังมีสิทธิ์ปรากฏในผลการค้นหาของ Bing"

ประกาศนี้ครอบคลุมเนื้อหาเว็บที่เก็บผ่าน crawler ของ Microsoft และนำไปใช้ฝึกหรือใช้ประกอบการสร้างคำตอบ รวมถึงคำตอบที่อ้างอิงเว็บใน Bing, Copilot และ Microsoft 365

ความต้องการทั้งสองแบบเป็นอิสระต่อกัน การตั้งค่าอย่างหนึ่งไม่เปลี่ยนอีกอย่าง และทั้งสองแบบมีค่าเริ่มต้นเป็น Allow เมื่อไม่มีการเผยแพร่การตั้งค่าที่เกี่ยวข้อง

• AI Training ใช้ความต้องการร่วมใน robots.txt สำหรับทั้งเว็บไซต์หรือเฉพาะ path นอกจากนี้ Microsoft ยังขยายให้ตั้งค่าได้ในระดับหน้าเว็บ และการตั้งค่าการฝึกระดับหน้าจะมีผลเหนือการตั้งค่าใน robots.txt
• AI Grounding เป็นความต้องการแยกของ Microsoft ที่ตั้งได้เฉพาะระดับหน้าเว็บ ไม่มีการตั้งค่า grounding ทั้งเว็บไซต์ผ่าน robots.txt

ตัวอย่างการผสมที่ Microsoft ยกมาเองคือ ตั้ง AI Training เป็น Disallow และตั้ง AI Grounding เป็น Allow แบบนี้เนื้อหายังมีสิทธิ์ถูกใช้ประกอบคำตอบที่ AI สร้างขึ้น แต่ไม่ถูกนำไปฝึกโมเดล generative

ตัวเลือก grounding สามแบบ รวมถึง DisallowExtended

Microsoft นิยาม grounding ว่าเป็นการใช้เนื้อหาเป็นข้อมูลนำเข้าเพื่อช่วยสร้างคำตอบของ AI และระบุว่าการทำดัชนีและจัดอันดับหน้าเว็บในผลการค้นหาแบบดั้งเดิมไม่ถือเป็น grounding หน้าเว็บหนึ่งหน้าตั้งค่า grounding ได้หนึ่งในสามแบบ

DisallowExtended คือส่วนที่ใหม่ ตัวเลือกนี้ให้ผู้เผยแพร่ยอมรับการถูกอ้างอิงในผลิตภัณฑ์คำตอบของ Microsoft เอง แต่ปฏิเสธการนำไปใช้ซ้ำผ่านบริการ grounding ที่ Microsoft เปิดให้บริษัทอื่นใช้ Microsoft ยกตัวอย่าง Web IQ และ grounding ผ่านการเข้าถึง API ใน Foundry เป็นบริการบุคคลที่สามที่ถูกตัดออก แต่โพสต์ไม่ได้ให้รายชื่อครบทั้งหมด

Microsoft ใส่คำเตือนไว้กับตัวเลือกที่จำกัดทั้งสองแบบ การเลือก DisallowExtended หรือ Disallow "จะลดการมองเห็นเนื้อหาของคุณในประสบการณ์ที่ AI สร้างขึ้นอย่างมีนัยสำคัญ โดยไม่กระทบสิทธิ์ในการปรากฏในผลการค้นหาของ Bing" โพสต์ยังระบุว่าการอนุญาต grounding ทำให้เนื้อหามีสิทธิ์ถูกใช้ประกอบคำตอบ "โดยมีลิงก์และการอ้างอิงเป็นทางกลับไปยังเนื้อหาต้นฉบับ" และไม่ว่าจะเลือกแบบใด "ก็ไม่รับประกันการถูกรวม การได้รับทราฟฟิก หรือการได้รับเงิน"

วิธีเผยแพร่การตั้งค่าระดับหน้าเว็บ

Microsoft ให้สองวิธีในการตั้งค่าแต่ละแบบบนหน้าเว็บ คือ meta tag หรือ HTTP response header ตัวอย่างของ Microsoft ซึ่งเป็นการ disallow ทั้งหมด มีดังนี้

• การฝึก แบบ meta tag: <meta name="Bingbot" content="ai-training:disallow">
• การฝึก แบบ header: X-Robots-Tag: Bingbot: ai-training:disallow
• Grounding แบบ meta tag: <meta name="Bingbot" content="ai-grounding:disallow">
• Grounding แบบ header: X-Robots-Tag: Bingbot: ai-grounding:disallow

สำหรับตัวเลือกตรงกลาง Microsoft ให้ใช้ ai-grounding:disallowextended ในตำแหน่งเดียวกัน ส่วนการฝึกระดับเว็บไซต์หรือ path ให้ใช้กลุ่ม robots.txt แบบใช้ร่วมกัน คือ "User-Agent: __usage_ai-training" ตามด้วย "Disallow: /" สำหรับทั้งเว็บไซต์ หรือ "Disallow: /example-path/" สำหรับ path หนึ่ง ค่าเริ่มต้นคือ Allow จึงไม่ต้องเขียนบรรทัดใด แต่จะเขียน "Allow: /" ให้ชัดเจนก็ได้

วิธีใช้ HTTP header มีประโยชน์กับไฟล์ที่ใส่ meta tag ไม่ได้ เช่น PDF ข้อนี้เป็นข้อสังเกตของ RA ไม่ใช่สิ่งที่โพสต์ของ Bing ระบุ

สิ่งที่การตั้งค่าแบบใหม่ไม่ได้เปลี่ยน

โพสต์ระบุข้อจำกัดไว้หลายข้อ ข้อเหล่านี้เป็นจุดที่มีโอกาสตั้งค่าผิดมากที่สุด จึงควรอ่านอย่างละเอียด

• การตั้งค่าเหล่านี้ควบคุมการใช้เนื้อหา ไม่ได้ควบคุมการเข้าถึงเพื่อ crawl การตั้งค่า Allow ไม่ได้ลบล้างกฎใน robots.txt ที่บล็อก Bingbot ไม่ให้ crawl
• ไม่เปลี่ยนสิทธิ์ในการปรากฏในผลการค้นหาแบบดั้งเดิมของ Bing ภายใต้เงื่อนไขการ crawl และการทำดัชนีตามปกติ
• ไม่ได้ก่อให้เกิดข้อตกลงด้านการอนุญาตใช้สิทธิ์หรือการจ่ายเงิน
• การเผยแพร่การตั้งค่ายังไม่เท่ากับการเปิดใช้ Microsoft ต้อง crawl หน้านั้นก่อนจึงจะพบการตั้งค่า IndexNow ช่วยแจ้งว่าหน้าเปลี่ยนแปลงและเพิ่มโอกาสให้ crawl ใหม่ แต่ไม่รับประกันวันที่จะ crawl
• Bing search syndication API ปัจจุบันส่งคืนลิงก์สำหรับการค้นหาแบบดั้งเดิม และไม่ได้มีไว้สำหรับสรุปที่ AI สร้าง จึงไม่ได้รับผลจากการตั้งค่า grounding
• ผู้ที่ใช้ NoArchive และ NoCache อยู่ ไม่ควรคิดว่าข้อจำกัดเดิมจะถูกโอนมาให้โดยอัตโนมัติ

ไทม์ไลน์การเปลี่ยนผ่าน

วันที่ด้านล่างใช้เต็มรูปแบบเฉพาะกับเว็บไซต์ที่ใช้ NoArchive หรือ NoCache Microsoft ระบุว่าเว็บไซต์อื่นทั้งหมดไม่ต้องดำเนินการเพื่อการเปลี่ยนผ่าน

การฝึกและ grounding ผ่านช่วงเปลี่ยนผ่านนี้ต่างกัน สำหรับการฝึก เว็บไซต์ต้องเผยแพร่ความต้องการใน robots.txt หรือบนหน้าเว็บภายในวันที่ 1 มีนาคม 2570 และไม่มีการตั้งค่าการฝึกแบบชั่วคราวใน Bing Webmaster Tools สำหรับ grounding เว็บไซต์ที่ใช้ NoArchive หรือ NoCache ต้องทำสองอย่างก่อนวันที่ 1 มีนาคม 2570 คือ เผยแพร่ความต้องการ AI Grounding บนหน้าเว็บ และบันทึกความต้องการ grounding ชั่วคราวใน Bing Webmaster Tools

Microsoft อธิบายเหตุผลของขั้นตอนที่สองไว้ว่า Microsoft อาจยังไม่ดึงการตั้งค่าใหม่บนหน้าเว็บจนกว่าจะ crawl เว็บไซต์ใหม่ และการ crawl นั้นอาจไม่เกิดขึ้นระหว่างเดือนกุมภาพันธ์ถึงวันที่ 1 มีนาคม ความต้องการชั่วคราวจะรักษาการตั้งค่า grounding ที่เลือกไว้ของแต่ละหน้า จนกว่า Microsoft จะพบการตั้งค่าใหม่บนหน้า หรือจนถึงวันที่ 30 กันยายน 2570 แล้วแต่อย่างใดถึงก่อน

จากนั้นมีกฎสำรองสองข้อ ข้อแรก ถ้าเว็บไซต์ไม่บันทึกความต้องการ grounding ชั่วคราวใน Bing Webmaster Tools ภายในวันที่ 1 มีนาคม หน้าที่ใช้ NoArchive หรือ NoCache จะกลับไปเป็น Allow สำหรับ grounding จนกว่า Microsoft จะ crawl ใหม่และพบการตั้งค่าใหม่ ข้อสอง เมื่อ Microsoft ตรวจพบความต้องการ AI Training หรือ AI Grounding แบบใหม่บนเว็บไซต์ใดก็ตาม จะไม่สนใจแท็ก NoArchive และ NoCache ที่ยังเหลืออยู่บนเว็บไซต์นั้น การตั้งค่าระดับหน้าที่เผยแพร่หลังวันที่ 1 มีนาคม 2570 ยังมีผลได้เมื่อมีการ crawl ใหม่ แต่ Microsoft ระบุว่าไม่รับประกันว่าจะ crawl ใหม่ก่อนที่ความต้องการชั่วคราวจะหมดอายุ

สิ่งที่โพสต์ของ Bing ไม่ได้บอก

• โพสต์บอกเพียงว่า NoArchive และ NoCache จะไม่ถูกอ่านเป็นความต้องการด้านการฝึกหรือ grounding อีก ส่วน FAQ ประกอบใน Bing Webmaster Tools (ข้อ Q20) ระบุเพิ่มว่า Microsoft จะกลับไปใช้ความหมายเดิมของแท็กเหล่านี้ในการค้นหาแบบดั้งเดิม
• ระบุ Web IQ และ grounding API ใน Foundry เป็นตัวอย่างบริการ grounding ของบุคคลที่สาม แต่ไม่ได้บอกว่าบริษัทใดใช้บริการเหล่านี้
• ไม่มีตัวเลขว่าการตั้งค่า grounding แบบจำกัดจะลดการมองเห็นลงเท่าไร บอกเพียงว่าจะลดลงอย่างมีนัยสำคัญ
• ไม่ได้พูดถึงการควบคุม grounding ของเสิร์ชเอนจินอื่น และไม่ได้พูดถึงประเทศใดเป็นการเฉพาะ รวมถึงประเทศไทย

Microsoft ระบุว่ามี FAQ ประกอบเผยแพร่ไว้ในเอกสารช่วยเหลือของ Bing Webmaster Tools

สิ่งที่ควรตรวจบนเว็บไซต์ของคุณ

ส่วนนี้เป็นบทวิเคราะห์ของ RA จากโพสต์ของ Microsoft

• ค้นหาคำว่า noarchive และ nocache ใน template และการตั้งค่าเซิร์ฟเวอร์ ทั้งใน meta robots tag และ X-Robots-Tag header ถ้าไม่พบเลย Microsoft ระบุว่าไม่ต้องดำเนินการเพื่อการเปลี่ยนผ่าน
• ถ้าพบ ให้ตรวจว่าใส่ไว้เพื่ออะไร ถ้าตั้งใจจะกันเนื้อหาออกจาก Copilot และคำตอบ AI ของ Bing จริง สิ่งที่ต้องใช้แทนคือการตั้งค่า ai-grounding อย่างชัดเจนบนแต่ละหน้า
• เลือกระหว่าง Disallow กับ DisallowExtended อย่างตั้งใจ DisallowExtended ยังเปิดให้ใช้ในประสบการณ์ AI ที่ Microsoft ดำเนินการเอง ส่วน Disallow ปิดการใช้ grounding ทั้งหมด และแลกมาด้วยการมองเห็นที่ลดลงตามที่ Microsoft เตือน
• ยืนยันว่าเว็บไซต์ผ่านการยืนยันตัวตนใน Bing Webmaster Tools แล้วก่อนวันที่ 15 ธันวาคม 2569 เพราะความต้องการ grounding ชั่วคราวต้องบันทึกที่นั่น
• อย่าใช้การบล็อก Bingbot ไม่ให้ crawl เพื่อควบคุมการใช้งานด้าน AI เพราะจะทำให้หน้าหายจากผลการค้นหาของ Bing ด้วย และการตั้งค่า Allow ก็แก้คืนไม่ได้
• ตั้งค่า IndexNow หากยังไม่ได้ใช้ โดยจำข้อแม้ของ Microsoft ไว้ว่าช่วยเพิ่มโอกาสให้ crawl ใหม่ แต่ไม่รับประกัน

เว็บไซต์ที่อยากถูกอ้างอิงในคำตอบของ AI ต่อไป แต่ต้องการจำกัดการฝึก สามารถใช้การแยกระหว่างการฝึกและ grounding นี้ได้โดยตรง งาน Generative Engine Optimization (GEO) ของ RA ครอบคลุมการตั้งค่าการมองเห็นบน AI แบบนี้

ความหมายสำหรับนักการตลาดไทย

โพสต์ของ Microsoft ไม่ได้กล่าวถึงประเทศไทย การควบคุมเหล่านี้อยู่บนหน้าเว็บและ header ของแต่ละเว็บไซต์ จึงมีผลกับเว็บไซต์ไทยเหมือนกับที่อื่น สำนักข่าวและเว็บไซต์อีคอมเมิร์ซในไทยที่เคยใส่ noarchive ไว้ ไม่ว่าด้วยเหตุผลใด ควรตรวจหน้าเหล่านั้นก่อนวันที่ 1 มีนาคม 2570 หลังวันนั้นแท็กนี้จะไม่ทำหน้าที่เป็นความต้องการด้านการฝึกหรือ grounding อีก และหากไม่ได้บันทึกความต้องการ grounding ชั่วคราวใน Bing Webmaster Tools ไว้ grounding จะกลับไปเป็น Allow จนกว่า Microsoft จะ crawl ใหม่และพบการตั้งค่าใหม่ ทีมที่ทำ AI SEO สำหรับ Copilot และคำตอบของ Bing อยู่แล้ว ควรกำหนดการตั้งค่า grounding เป็นรายหน้า แทนที่จะปล่อยให้สืบทอดมาจาก template เก่า

คำถามที่พบบ่อย

เส้นตายในการเลิกใช้ NoArchive และ NoCache ใน Bing คือเมื่อไร

วันที่ 1 มีนาคม 2570 Microsoft ระบุว่าหลังวันนั้น NoArchive และ NoCache จะไม่ถูกอ่านเป็นความต้องการด้านการฝึกหรือ grounding อีก และการจำกัด grounding บนหน้าที่ใช้ NoArchive หรือ NoCache ต้องมีทั้งการตั้งค่า AI Grounding บนหน้าเว็บ และความต้องการชั่วคราวใน Bing Webmaster Tools ก่อนวันนั้น

DisallowExtended ทำอะไร

จำกัดการใช้ grounding ไว้เฉพาะประสบการณ์ที่ Microsoft ดำเนินการเอง Microsoft ยกตัวอย่าง AI Mode, AI Overview, Copilot และ Microsoft 365 เป็นที่ที่เนื้อหายังใช้ประกอบคำตอบได้ และยก Web IQ กับ grounding ผ่านการเข้าถึง API ใน Foundry เป็นบริการบุคคลที่สามที่ใช้ไม่ได้

การบล็อก AI grounding จะทำให้หน้าเว็บหายจากผลการค้นหาของ Bing หรือไม่

ไม่ ตามที่ Microsoft ระบุ โพสต์บอกว่าการตั้งค่าเหล่านี้ไม่เปลี่ยนสิทธิ์ในการปรากฏในผลการค้นหาแบบดั้งเดิมของ Bing ภายใต้เงื่อนไขการ crawl และการทำดัชนีตามปกติ แม้ว่าการตั้งค่า grounding แบบจำกัดจะลดการมองเห็นในประสบการณ์ที่ AI สร้างขึ้นอย่างมีนัยสำคัญ

ตั้งค่า AI grounding ใน robots.txt ได้หรือไม่

ไม่ได้ Microsoft ระบุว่า AI Grounding เป็นความต้องการระดับหน้าเว็บเท่านั้น ตั้งด้วย meta tag หรือ X-Robots-Tag header และไม่มีการตั้งค่า grounding ทั้งเว็บไซต์ผ่าน robots.txt มีเพียง AI Training ที่ตั้งใน robots.txt ได้

เว็บไซต์ไม่เคยใช้ NoArchive หรือ NoCache ต้องทำอะไรไหม

ไม่ต้องทำอะไรเพื่อการเปลี่ยนผ่าน Microsoft ระบุว่าเว็บไซต์ที่ไม่ได้ใช้ NoArchive หรือ NoCache ไม่ต้องดำเนินการ และทั้งสองความต้องการมีค่าเริ่มต้นเป็น Allow การเผยแพร่การตั้งค่า Disallow หรือ DisallowExtended เป็นทางเลือก และจะมีผลเมื่อ Microsoft crawl ตั้งแต่วันที่ 1 กุมภาพันธ์ 2570

Microsoft แยกแท็กเก่าแท็กเดียวออกเป็นสองตัวเลือกที่ชัดเจน พร้อมวันเส้นตายสำหรับเว็บไซต์ที่ยังใช้อยู่ หากต้องการตรวจว่าหน้าไหนของเว็บไซต์ยังมี noarchive หรือ nocache และแต่ละหน้าควรเปลี่ยนเป็นการตั้งค่าแบบใด ทีม GEO ของ RA พร้อมช่วยตรวจร่วมกับคุณ