จู่ๆ ทุกคนก็เริ่มสร้าง "เวอร์ชัน markdown" ของเว็บไซต์เพื่อรองรับ AI agent นักพัฒนาต่างพากันสร้างไฟล์ llms.txt ทำโครงสร้างเนื้อหาคู่ขนาน และบอกลูกค้าว่านี่คือทิศทางของ AI SEO ในอนาคต จนกระทั่ง John Mueller จาก Google ออกมาพูดตรงๆ ว่ามันคืออะไรกันแน่ นั่นคือ หนี้ทางเทคนิคที่แต่งตัวเป็นกลยุทธ์
ความเห็นของเขาเกิดขึ้นหลังจากมีคนชี้ให้เห็นความจริงที่ไม่น่าฟังบน Bluesky ว่าเว็บไซต์ต่างๆ กำลังเร่งสร้างเวอร์ชันข้อความสำหรับ AI agent ทั้งที่ยังไม่ได้ทำงานด้าน accessibility ขั้นพื้นฐานที่ช่วยผู้ใช้จริง เช่น โครงสร้าง heading ที่ถูกต้องและการรองรับ screen reader คำตอบของ Mueller ตรงไปตรงมา เว็บไซต์ที่สร้างมาอย่างถูกต้องนั้นใช้งานได้ดีอยู่แล้วทั้งกับ AI agent, search engine และมนุษย์ ถ้าคุณสร้างสำเนาแบบ "agent-friendly" แยกออกมาแทนที่จะแก้ไขเว็บไซต์จริง คุณก็แค่เพิ่มงานที่ต้องทำใหม่ในอนาคต
เรื่องนี้สำคัญเพราะการเร่งสร้าง markdown mirror กำลังทำซ้ำความผิดพลาดแบบเดิมของ SEO จำได้ไหมเรื่อง link directory, keyword stuffing, doorway page ทุกอย่างเคยสัญญาว่าเป็นทางลัด และทุกอย่างก็จบลงด้วยงานเก็บกวาดหลังจากนั้นหนึ่งหรือสองปี คลื่นความนิยม AI SEO และ Markdown ในตอนนี้ก็มีลักษณะคล้ายกับวงจรเก่าๆ เหล่านั้นมาก โครงสร้างที่เป็นมิตรต่อ agent อย่างแท้จริงไม่ใช่การแยก HTML ออกจาก Markdown แต่คือการแยก discovery ออกจาก usage และหาให้ได้ว่าส่วนไหนที่ต้องเปลี่ยนฟอร์แมตจริงๆ
- ความเข้าใจผิดเรื่อง Markdown: ทำไม AI SEO ไม่ใช่เรื่องไฟล์ซ้ำ
- Discovery vs. Usage: จุดที่ Markdown, AEO และ llms.txt เข้ามามีบทบาทจริงๆ
ความเข้าใจผิดเรื่อง Markdown: ทำไม AI SEO ไม่ใช่เรื่องไฟล์ซ้ำ
มีความเชื่อที่แพร่หลายว่าไฟล์ markdown มีพลังลับในการช่วยจัดอันดับสำหรับ AI search แต่ความจริงไม่ใช่แบบนั้น ควรพูดให้ชัดก่อนที่ทีมงานจะเสียเวลาสร้างโครงสร้างเนื้อหาซ้ำโดยไม่ได้ประโยชน์อะไร
สิ่งที่ Search Engine ครอว์ลจริงๆ
Googlebot และ Bingbot ครอว์ล HTML มานานกว่าสามสิบปีแล้ว และไม่มีอะไรเปลี่ยนแปลง HTML ยังคงเป็นฟอร์แมตหลักที่ crawler ใช้สำหรับการทำ index และจัดอันดับ หน้า markdown ที่อยู่ข้างๆ หน้า HTML ของคุณไม่ได้ให้ข้อได้เปรียบใดๆ เลย ไม่ว่าจะในแง่ SEO แบบดั้งเดิม หรือใน GEO ซึ่งเป็นแนวทางการปรับเนื้อหาให้เหมาะกับ generative engine อย่าง AI Overviews และเครื่องมือค้นหาแบบแชท
ลองคิดดูแบบนี้ ถ้าสำเนา markdown สามารถขยับอันดับได้จริง เครื่องมือ SEO ทุกตัวในตลาดคงมีมันอยู่ในเช็คลิสต์ไปแล้ว และ Google ก็คงพูดออกมาตรงๆ แล้วเช่นกัน แต่คำแนะนำของ Mueller กลับชี้ไปในทางตรงข้าม นั่นคือแก้ไขเว็บไซต์จริงให้ดี ทำให้ HTML สะอาด เข้าถึงได้ และมีโครงสร้างที่ดี เวอร์ชันเดียวที่สร้างมาอย่างถูกต้อง สามารถให้บริการผู้เข้าชมทุกคนได้ ไม่ว่าจะเป็นมนุษย์หรือเครื่องจักร
เอกสารของ OpenAI เองก็สนับสนุนแนวคิดนี้ crawler ชื่อ OAI-SearchBot ของพวกเขาถูกอธิบายว่าครอว์ลเว็บไซต์เพื่อการค้นหา จบแค่นั้น ไม่มีการพูดถึงความชอบต่อ markdown ไม่มีคำแนะนำให้สร้างไฟล์ข้อความแยกออกมา แน่นอนว่าบอทสามารถอ่านไฟล์ markdown ได้ถ้าคุณชี้ตรงไปที่มัน แต่นั่นไม่ใช่หน้าที่หลักของมัน มันถูกสร้างมาเพื่อครอว์ลเว็บไซต์ของคุณแบบเดียวกับที่มันทำกับทุกคน นั่นคือในรูปแบบ HTML
ความเสี่ยงเรื่อง Cloaking ที่ไม่มีใครพูดถึง
นี่คือจุดที่เริ่มเสี่ยง เมื่อคุณสร้างเวอร์ชัน "สำหรับ agent" ที่แยกออกมาจากเนื้อหาที่มนุษย์เห็น คุณกำลังเข้าใกล้พฤติกรรมที่เรียกว่า cloaking ซึ่งหมายถึงการแสดงเนื้อหาที่แตกต่างกันให้ crawler เห็นเทียบกับผู้เข้าชมทั่วไป และเรื่องนี้ถือเป็นการละเมิดแนวทางปฏิบัติมานานหลายทศวรรษแล้ว
คนส่วนใหญ่ที่สร้าง markdown mirror ไม่ได้ตั้งใจหลอกลวงใคร พวกเขาคิดว่ากำลังช่วยอยู่ แต่เจตนาไม่ได้เปลี่ยนความจริงทางเทคนิค ถ้าไฟล์ markdown ของคุณบอกอย่างหนึ่ง แต่หน้า HTML บอกอีกอย่างหนึ่ง แม้จะเกิดจากความเผลอเรอในการอัปเดตเนื้อหา คุณก็สร้างความไม่ตรงกันแบบที่แนวทางปฏิบัติเตือนไว้พอดี
และนี่คือปัญหาที่ลึกกว่าที่ Mueller ชี้ให้เห็น เวอร์ชันคู่ขนานสำหรับ agent ไม่ได้ช่วยประหยัดงาน แต่กลับเพิ่มงานเป็นสองเท่า อัปเดตราคา สเปกสินค้า หรือหัวข้อ ตอนนี้คุณต้องอัปเดตในสองที่ พลาดที่ใดที่หนึ่งไป เนื้อหาก็จะไม่ตรงกันจนสร้างความสับสนทั้งต่อผู้ใช้และเครื่องจักร นั่นคือหนี้ทางเทคนิค ไม่ใช่ทางลัด มันคือกับดักเดียวกับแผนการสร้างหน้าซ้ำในยุคแรกของ SEO เพียงแค่สวมชื่อใหม่เท่านั้น
Discovery vs. Usage: จุดที่ Markdown, AEO และ llms.txt เข้ามามีบทบาทจริงๆ
ทั้งหมดนี้ไม่ได้แปลว่า markdown ไม่มีประโยชน์เลย แต่หมายความว่า markdown มีหน้าที่ของมัน และการจัดอันดับหน้าเว็บไม่ใช่หน้าที่นั้น ความแตกต่างที่แท้จริงอยู่ระหว่าง discovery คือวิธีที่เนื้อหาของคุณถูกค้นพบและทำ index กับ usage คือวิธีที่ AI agent ใช้เนื้อหาของคุณจริงๆ หลังจากที่มันตัดสินใจแล้วว่าจะใช้
Discovery ยังคงพึ่งพา index และขับเคลื่อนด้วย HTML ซึ่งไม่ได้เปลี่ยนแปลงไปตามการเติบโตของ AI search ส่วน Usage คือจุดที่การเลือกฟอร์แมตอย่าง Markdown มีความสำคัญอย่างแท้จริง โดยเฉพาะสำหรับ answer engine optimization หรือ AEO ซึ่งเกี่ยวกับการทำให้เนื้อหาของคุณถูกสรุปและอ้างอิงอย่างถูกต้องภายในคำตอบที่สร้างขึ้นโดย AI
ความมีประสิทธิภาพด้าน Token สำหรับเอกสารนักพัฒนา
กรณีที่ชอบธรรมที่สุดสำหรับ markdown คือเอกสารสำหรับนักพัฒนา เมื่อ coding assistant หรือ agent อ่านเอกสาร API ของคุณ markdown จะมีขนาดเบากว่า HTML มันตัดเมนูนำทาง โฆษณา สคริปต์ และการจัดสไตล์ออกไป เหลือแค่เนื้อหาไว้ ใช้ token น้อยลงในการประมวลผลสิ่งที่ไม่จำเป็น ซึ่งจะสะสมเพิ่มขึ้นอย่างรวดเร็วเมื่อ agent ต้องอ่านเอกสารอ้างอิงทางเทคนิคหลายร้อยหน้า
นี่คือเหตุผลที่ Cloudflare สร้างระบบพื้นฐานที่สร้างเวอร์ชัน markdown ของหน้าเว็บโดยอัตโนมัติ โดยมีเป้าหมายหลักเพื่อลดการใช้ token สำหรับเครื่องมือ coding มันเป็นประโยชน์ที่แท้จริงและใช้งานได้ แต่ให้สังเกตบริบทด้วย นี่คือเรื่องของการใช้งานเครื่องมือภายใน workflow ของนักพัฒนา ไม่ใช่การช่วยให้หน้าการตลาดของคุณไปโชว์ใน AI Overviews
Content Negotiation ที่ทำอย่างถูกวิธี
ถ้า markdown มีที่ยืนของมัน วิธีที่ฉลาดในการเสนอมันคือผ่าน content negotiation ไม่ใช่การกองไฟล์ static ที่ซ้ำกันไว้เต็มไปหมด HTTP รองรับสิ่งนี้มานานหลายปีแล้วผ่าน Accept header ซึ่งกำหนดไว้ใน RFC 7231 ไคลเอนต์ทำการขอ resource โดยระบุ Accept: text/markdown และเซิร์ฟเวอร์ของคุณตอบกลับด้วยเวอร์ชัน markdown ของเนื้อหาเดียวกันนั้น ที่สร้างขึ้นจากแหล่งข้อมูลเดียว
วิธีนี้หลีกเลี่ยงปัญหาความไม่ตรงกันได้อย่างสิ้นเชิง เนื้อหาของคุณมีเวอร์ชันหลักเพียงเวอร์ชันเดียว เปลี่ยนแปลงครั้งเดียว ทุกฟอร์แมตที่ให้บริการจากมันก็อัปเดตโดยอัตโนมัติ ไม่มีสำเนาที่ล้าสมัย ไม่มีราคาไม่ตรงกัน ไม่มีความเสี่ยงเรื่อง cloaking เพราะคุณกำลังให้บริการเนื้อหาเดียวกันในฟอร์แมตที่แตกต่างกันตาม request header มาตรฐาน ไม่ใช่การซ่อนข้อมูลจากผู้เข้าชมบางกลุ่ม
