Common Crawl read 584,107 llms.txt files and most were plugin output

Common Crawl อ่านไฟล์ llms.txt 584,107 ไฟล์ และส่วนใหญ่เป็นผลผลิตของปลั๊กอิน

geoSeptember 9, 2026
By Antonio Fernandez

สรุปสั้น ๆ (TL;DR)

  • Common Crawl วิเคราะห์ไฟล์ llms.txt 584,107 ไฟล์จากคลังข้อมูลเดือนกรกฎาคม 2569 โดย Search Engine Journal รายงานเมื่อ 8 กันยายน 2569
  • 68% ของไฟล์มาจากปลั๊กอินหรือเทมเพลต 22% ไม่มีลิงก์เลย และ 6% มีกฎการใช้งานที่รูปแบบไฟล์บังคับใช้ไม่ได้
  • Wix คิดเป็น 41% ของไฟล์ที่วิเคราะห์ ส่วนไฟล์จาก All in One SEO มีค่ามัธยฐาน 138 ลิงก์ และใช้ llms.txt เหมือนไซต์แมป
  • จาก 32 ไฟล์ที่ดูเหมือนปฏิเสธ CCBot ไม่มีเว็บไซต์ใดใน 31 แห่งที่ประเมินได้บล็อก CCBot จริงใน robots.txt
  • พบ prompt injection ของจริงเพียง 4 กรณีจากไฟล์ทั้งหมด 584,107 ไฟล์ และทั้งสี่กรณีเป็นการสาธิตโดยเจตนา

Common Crawl วิเคราะห์ไฟล์ llms.txt จำนวน 584,107 ไฟล์ที่ดึงมาจากคลังการเก็บข้อมูลเดือนกรกฎาคม 2569 ของตัวเอง และพบว่า 68% ของไฟล์เหล่านั้นถูกสร้างโดยปลั๊กอินหรือเทมเพลตแทนที่จะเขียนด้วยมือ อีก 22% ไม่มีลิงก์อยู่เลยแม้แต่ลิงก์เดียว และตัวรูปแบบไฟล์เองไม่มีกลไกบังคับใช้สิ่งที่เขียนอยู่ข้างในได้ Search Engine Journal รายงานผลการวิเคราะห์นี้ เมื่อวันที่ 8 กันยายน 2569 พร้อมอ้างคำอธิบายของ Common Crawl เองว่าไฟล์นี้ "ไม่ได้ให้สิทธิ์อะไร และไม่ได้บล็อกอะไร และไม่มีครอว์เลอร์ตัวไหนมีหน้าที่ต้องอ่านมัน" ถ้าคุณมี llms.txt อยู่ในใบเสนอราคาในฐานะงานส่งมอบด้าน AI SEO นี่คือกลุ่มตัวอย่างที่ใหญ่ที่สุดเท่าที่เคยเผยแพร่มาว่าไฟล์เหล่านั้นมีอะไรอยู่ข้างในจริง

Common Crawl วัดอะไร และวัดจากไฟล์กี่ไฟล์

Common Crawl วิเคราะห์ไฟล์ llms.txt ทั้งหมด 584,107 ไฟล์ที่พบในคลังการเก็บข้อมูลเดือนกรกฎาคม 2569 ซึ่งเป็นจำนวนไฟล์มากที่สุดที่เคยมีการเผยแพร่สำหรับรูปแบบไฟล์นี้ Search Engine Journal รายงานเมื่อวันที่ 8 กันยายน 2569 ว่า 49% ของไฟล์มีโครงสร้างครบตามที่รูปแบบไฟล์กำหนดไว้ นั่นคือมีหัวเรื่อง H1 มีบล็อกโควตสรุป และมีส่วนรวมลิงก์ และ 32% มีคำอธิบายสั้น ๆ กำกับลิงก์เอาไว้ด้วย พูดอีกอย่างคือความถูกต้องเชิงโครงสร้างไม่ใช่ปัญหา ประมาณครึ่งหนึ่งของไฟล์มีรูปทรงที่ถูกต้อง ปัญหาอยู่ตรงที่ไฟล์ที่รูปทรงถูกต้องเหล่านั้นเขียนว่าอะไร และใครเป็นคนเขียน

ข้อค้นพบหลักคือเรื่องผู้เขียน Common Crawl พบว่า 68% ของไฟล์ทั้ง 584,107 ไฟล์มีต้นทางจากปลั๊กอินหรือเทมเพลต เท่ากับว่าเหลือไม่ถึงหนึ่งในสามของกลุ่มตัวอย่างที่เป็นงานที่มีคนนั่งลงคิดจริง ๆ และเมื่อรวมกับข้อเท็จจริงที่ว่า 22% ของไฟล์ไม่มีลิงก์เลย สำหรับรูปแบบไฟล์ที่มีเป้าหมายทั้งหมดคือการชี้ให้โมเดลภาษาไปอ่านหน้าที่ควรอ่าน ไฟล์แบบนั้นก็ใกล้เคียงกับซองเปล่ามากกว่าจะเป็นเอกสาร

ไฟล์อีกส่วนหนึ่งพยายามทำสิ่งที่รูปแบบไฟล์นี้ทำไม่ได้ Common Crawl พบว่า 6% ของไฟล์มีข้อกำหนดว่าระบบ AI ควรใช้งานเว็บไซต์อย่างไร เช่น การจำกัดอัตราการเรียกข้อมูล หรือประกาศลิขสิทธิ์ บรรทัดเหล่านั้นเป็นเพียงข้อความในไฟล์ที่ไม่มีครอว์เลอร์ตัวใดตกลงว่าจะปฏิบัติตาม มันอ่านเหมือนกฎ แต่ทำงานเหมือนคอมเมนต์

ผู้สร้างไฟล์ไม่กี่รายกำหนดหน้าตาของรูปแบบไฟล์นี้ทั้งหมด

การแยกข้อมูลตามผู้สร้างไฟล์ของ Common Crawl อธิบายตัวเลข 68% ได้ดีกว่าการถกเถียงเรื่องแนวปฏิบัติที่ดีใด ๆ Wix รายเดียวคิดเป็น 41% ของไฟล์ทั้ง 584,107 ไฟล์ที่นำมาวิเคราะห์ เท่ากับว่าเกือบครึ่งหนึ่งของทุกอย่างที่วัดได้คือผลลัพธ์ค่าเริ่มต้นของแพลตฟอร์มเดียว เมื่อผู้ให้บริการสร้างเว็บไซต์รายเดียวผลิตไฟล์ในสัดส่วนขนาดนั้น คุณลักษณะที่สังเกตได้ของรูปแบบไฟล์ก็คือการตัดสินใจเชิงผลิตภัณฑ์ของผู้ให้บริการรายนั้น ไม่ใช่บรรทัดฐานของวงการ

การใช้งานของ All in One SEO ไปคนละทิศ Common Crawl รายงานค่ามัธยฐานที่ 138 ลิงก์ต่อไฟล์ จากไฟล์ราว 73,000 ไฟล์ที่มาจากปลั๊กอินตัวนี้ และอธิบายว่าเครื่องมือนี้ปฏิบัติต่อ llms.txt เหมือนเป็นไซต์แมป ค่ามัธยฐาน 138 ลิงก์ไม่ใช่รายการอ่านที่คัดสรรมาแล้ว แต่คือดัชนีที่ถูกเทลงในที่แห่งที่สอง ในรูปแบบไฟล์ที่ไม่มีข้อผูกพันใด ๆ กับครอว์เลอร์รองรับอยู่เบื้องหลัง

รูปแบบที่สามคือรูปแบบที่ควรจำไว้ Common Crawl พบว่าไฟล์ของโดเมนที่จอดทิ้งไว้ของ GoDaddy ผ่านการตรวจสอบเชิงโครงสร้างทุกข้อทั้งที่ไม่มีลิงก์อยู่เลย เพราะตัวไฟล์คือคำโฆษณาขายของ เครื่องมือตรวจสอบที่ดูแค่ว่ามี H1 มีบล็อกโควต และมีหัวข้อย่อยหรือไม่ จะตัดสินว่าไฟล์เหล่านั้นถูกต้อง โครงสร้างเพียงอย่างเดียวจึงแทบไม่บอกอะไรเลยว่าไฟล์นั้นมีประโยชน์หรือไม่

การบล็อกที่ไม่ได้บล็อกอะไรจริง

ข้อค้นพบที่ตรวจสอบได้ชัดเจนที่สุดในการวิเคราะห์ครั้งนี้คือเรื่องคำสั่งควบคุมครอว์เลอร์ Common Crawl พบว่ามี 1,570 ไฟล์ที่ระบุชื่อครอว์เลอร์เฉพาะเจาะจง และในจำนวนนั้นมี 32 ไฟล์ที่ดูเหมือนจะปฏิเสธ CCBot ซึ่งเป็นครอว์เลอร์ของ Common Crawl เอง จากนั้นทีมงานจึงไปอ่านไฟล์ robots.txt จริงของเว็บไซต์เหล่านั้น และจากเว็บไซต์ 31 แห่งที่ประเมินได้ ไม่มีแม้แต่แห่งเดียวที่บล็อก CCBot อย่างเด็ดขาด มีห้าแห่งที่อนุญาตอย่างชัดเจน สิบเอ็ดแห่งจำกัดให้เข้าถึงได้เฉพาะบางเส้นทาง และสิบห้าแห่งไม่มีข้อจำกัดใด ๆ เลย

ช่องว่างตรงนี้คือข้อโต้แย้งทั้งหมดที่สรุปได้ด้วยตัวเลขเดียว เว็บไซต์เหล่านั้นเขียนคำปฏิเสธไว้ในไฟล์ที่ไม่มีเส้นทางบังคับใช้ แล้วปล่อยไฟล์ที่บังคับใช้ได้จริงเปิดทิ้งไว้ Search Engine Journal รายงานข้อสรุปไว้ตรงไปตรงมาว่า ข้อจำกัดครอว์เลอร์ที่เขียนไว้ใน llms.txt ไม่ได้ทำอะไรด้วยตัวมันเอง และกฎจะต้องปรากฏอยู่ใน robots.txt จึงจะถูกบังคับใช้

Common Crawl ยังพบไฟล์ robots.txt จำนวน 136,578 ไฟล์วางอยู่ที่เส้นทางของ llms.txt ซึ่งบ่งชี้ว่าเว็บไซต์จำนวนมากตอบคำขอที่เส้นทางนั้นด้วยอะไรก็ตามที่เซิร์ฟเวอร์มีอยู่ ถ้าคุณไม่เคยเปิดไฟล์ของตัวเองดูเลย นั่นเป็นสิ่งที่มีโอกาสเจอได้จริง

เรื่อง prompt injection เล็กกว่าที่หลายฝ่ายเตือนไว้มาก

ประเด็นความปลอดภัยที่ถูกพูดถึงตอน llms.txt เพิ่งปรากฏขึ้นไม่รอดจากกลุ่มตัวอย่างนี้ Common Crawl พบว่ามี 10 ไฟล์ที่เข้าเกณฑ์การทดสอบ prompt injection ที่เข้มงวดที่สุดของตน และมีเพียงสี่กรณีเท่านั้นที่เป็นของจริง โดยทั้งสี่กรณีมีคนใส่เข้าไปโดยตั้งใจเพื่อสาธิตให้เห็นประเด็น ไม่ใช่การโจมตีใคร การสาธิตโดยเจตนาสี่ครั้งจากไฟล์ทั้งหมด 584,107 ไฟล์ไม่ใช่ปัญหาด้านความปลอดภัย

การชี้นำแบบอ่อนกว่านั้นพบมากกว่าแต่ก็ยังถือว่าน้อย Common Crawl นับได้ 3,793 ไฟล์ที่มีคำแนะนำแบบนุ่มนวลทำนองขอให้โมเดลโฟกัสไปที่หน้าใดหน้าหนึ่ง คิดเป็นราวหกไฟล์ในหนึ่งพันไฟล์ และคำขอที่โมเดลจะเพิกเฉยเสียก็ได้นั้นไม่ใช่การเจาะระบบ

เรื่องนี้ต่างจากที่เราเผยแพร่ไปเมื่อเดือนสิงหาคมอย่างไร

Relevant Audience เคยเขียนถึงเรื่องนี้มาแล้วสองครั้ง และงานวิจัยชิ้นนี้เป็นคนละเรื่องกัน เมื่อวันที่ 10 สิงหาคม 2569 เราเผยแพร่บทความ "A file about office cats broke the llms.txt evidence" ซึ่งว่าด้วยกรณีทดสอบเดียวและสิ่งที่มันแสดงให้เห็นเกี่ยวกับฐานหลักฐานของรูปแบบไฟล์นี้ และเมื่อวันที่ 11 สิงหาคม 2569 เราเผยแพร่บทความ "Common Crawl published an AI visibility audit, and the worst blocks never returned a page" ซึ่งว่าด้วยการเข้าถึงของครอว์เลอร์และพฤติกรรมการบล็อก

งานวิจัยวันที่ 8 กันยายนไม่ใช่ทั้งสองอย่าง มันคือการสำรวจสำมะโนเนื้อหา กลุ่มตัวอย่างขนาดใหญ่มากที่ถูกตรวจดูว่าไฟล์เขียนว่าอะไร ใครเป็นผู้สร้าง มีลิงก์อยู่หรือไม่ และกฎครอว์เลอร์ที่ระบุไว้ตรงกับ robots.txt จริงของเว็บไซต์หรือเปล่า บทความก่อนหน้าถามว่าไฟล์เข้าถึงได้ไหมและหลักฐานที่รองรับมันหนักแน่นแค่ไหน ส่วนชิ้นนี้ถามว่าไฟล์ที่มีอยู่จริงข้างในเขียนว่าอะไร และคำตอบคือส่วนใหญ่ซอฟต์แวร์เป็นคนเขียน

ตัวเลขทั้งหมดรวมไว้ที่เดียว

ตัวเลขทุกตัวด้านล่างมาจากการวิเคราะห์คลังการเก็บข้อมูลเดือนกรกฎาคม 2569 ของ Common Crawl ตามที่ Search Engine Journal รายงานเมื่อวันที่ 8 กันยายน 2569

ตัวเลขทั้งหมดรวมไว้ที่เดียว
สิ่งที่วัดผลที่พบ
จำนวนไฟล์ llms.txt ที่นำมาวิเคราะห์584,107 ไฟล์
สร้างโดยปลั๊กอินหรือเทมเพลต68%
ไฟล์ที่ไม่มีลิงก์อยู่เลย22%
ไฟล์ที่มีข้อกำหนดการใช้งาน AI ซึ่งรูปแบบไฟล์บังคับใช้ไม่ได้6%
สัดส่วนไฟล์ที่มาจาก Wix41%

สิ่งที่งานวิจัยระบุชัดว่าไม่ได้บอก

Common Crawl ระบุข้อจำกัดของตัวเองไว้ว่า กลุ่มตัวอย่างสุ่มเฉพาะภายในเว็บไซต์ที่ครอว์เลอร์เข้าถึงได้เท่านั้น ไม่ใช่ทั้งเว็บ ข้อนี้สำคัญสำหรับใครก็ตามที่จะเอาไปเทียบกับตัวเลขการใช้งาน llms.txt จากงานวิจัยอื่น เว็บไซต์ที่บล็อก CCBot อยู่หลังระบบล็อกอิน หรือไม่เคยถูกเก็บข้อมูลเลย จะไม่อยู่ใน 584,107 ไฟล์นี้ ตัวเลขการใช้งานในงานชิ้นนี้จึงเทียบตรง ๆ กับตัวเลขที่เผยแพร่ที่อื่นไม่ได้

ยังมีอีกสามเรื่องที่ไม่ปรากฏในรายงานและไม่ควรเติมด้วยการเดา งานวิจัยไม่ได้แยกข้อมูลตามประเทศหรือภาษา จึงไม่มีตัวเลขของไทย และไม่มีทางบอกได้จากข้อมูลชุดนี้ว่าเว็บไซต์ไทยมีพฤติกรรมต่างจากภาพรวมหรือไม่ รายงานไม่ได้ยืนยันว่าบริษัท AI รายใดอ่าน llms.txt จริงหรือไม่ บอกเพียงว่าไม่มีครอว์เลอร์ตัวใดมีหน้าที่ต้องอ่าน และรายงานไม่ได้บอกว่ารูปแบบไฟล์นี้จบแล้วหรือใครควรลบไฟล์ทิ้ง มันบอกว่าไฟล์ที่ติดตั้งใช้งานอยู่จริงส่วนใหญ่เป็นผลผลิตอัตโนมัติ

การตรวจสอบด้วยตัวเองที่ใช้เวลาห้านาที

กลุ่มตัวอย่าง 584,107 ไฟล์มีประโยชน์ตรงที่มันบอกคุณล่วงหน้าได้ว่าไฟล์ของคุณเองน่าจะหน้าตาเป็นอย่างไรก่อนที่คุณจะเปิดดูด้วยซ้ำ ให้เปิด yourdomain.com/llms.txt ในเบราว์เซอร์แล้วไล่ตามรายการนี้

  • ไฟล์โหลดขึ้นมาจริงหรือไม่ หรือเซิร์ฟเวอร์ส่งอย่างอื่นกลับมาแทน Common Crawl พบไฟล์ robots.txt จำนวน 136,578 ไฟล์ที่ถูกเสิร์ฟอยู่ที่เส้นทางของ llms.txt การได้เอกสารผิดตัวกลับมาจึงเป็นผลลัพธ์ที่มีบันทึกไว้ ไม่ใช่เรื่องแปลก
  • ในไฟล์มีลิงก์หรือไม่ 22% ของกลุ่มตัวอย่างไม่มี ไฟล์ที่ไม่มีลิงก์ทำงานเดียวที่รูปแบบไฟล์นี้ถูกเสนอขึ้นมาเพื่อทำไม่ได้เลย
  • ปลั๊กอินเป็นคนเขียนหรือเปล่า ถ้ารายการลิงก์ยาวเป็นสิบเป็นร้อยรายการและตรงกับไซต์แมปของคุณ นั่นคือรูปแบบของ All in One SEO ที่มีค่ามัธยฐาน 138 ลิงก์ต่อไฟล์ พูดง่าย ๆ คือไซต์แมปที่เปลี่ยนชื่อไฟล์
  • ในไฟล์มีคำสั่งควบคุมครอว์เลอร์ การจำกัดอัตราการเรียกข้อมูล หรือข้อความเรื่องลิขสิทธิ์หรือไม่ 6% ของกลุ่มตัวอย่างมี บรรทัดเหล่านั้นควรอยู่ใน robots.txt ถ้าคุณต้องการให้มันถูกบังคับใช้ และเว็บไซต์ 31 แห่งที่ประเมินได้ซึ่งปฏิเสธ CCBot ใน llms.txt แต่กลับอนุญาตใน robots.txt คือภาพของสิ่งที่เกิดขึ้นเมื่อกฎอยู่ผิดไฟล์
  • robots.txt ของคุณเขียนตรงกับ llms.txt หรือไม่ ถ้าสองไฟล์ขัดกัน robots.txt คือไฟล์ที่ครอว์เลอร์ทำตาม

ทั้งหมดนี้ไม่ต้องใช้เครื่องมือหรือค่าสมาชิกใด ๆ ถ้าปรากฏว่าไฟล์เป็นผลผลิตของปลั๊กอินโดยไม่มีการคัดสรรอยู่เบื้องหลัง คำอธิบายที่ตรงไปตรงมาคือคุณมีไฟล์อยู่หนึ่งไฟล์ ไม่ใช่ว่าคุณได้ทำงาน AI SEO ไปแล้ว

เรื่องนี้หมายความว่าอย่างไรสำหรับนักการตลาดไทย

ทั้ง Wix และ All in One SEO เป็นที่นิยมในเว็บไซต์ SME ไทย และทั้งคู่ถูกระบุชื่อไว้ในการแยกข้อมูลตามผู้สร้างไฟล์ของ Common Crawl รูปแบบที่อธิบายไว้ข้างต้นจึงมีแนวโน้มจะปรากฏในไทยด้วย แต่นี่เป็นการอนุมานจากการใช้งานแพลตฟอร์ม ไม่ใช่ข้อค้นพบ งานวิจัยไม่ได้แยกตามประเทศหรือภาษา และไม่มีตัวเลขของประเทศไทยอยู่ในนั้น

ผลกระทบเชิงปฏิบัติอยู่ที่ว่าอะไรถูกขาย llms.txt กลายเป็นรายการที่ใส่ลงในข้อเสนอด้าน AI SEO ได้ง่ายที่สุดรายการหนึ่ง เพราะมันคือไฟล์ข้อความเล็ก ๆ ที่สร้างได้ในไม่กี่วินาที และงานวิจัยชิ้นนี้คือหลักฐานที่ใหญ่ที่สุดเท่าที่มีว่าไฟล์ที่ติดตั้งใช้งานอยู่จริงส่วนใหญ่ก็เป็นแบบนั้นพอดี ถ้าข้อเสนอระบุ llms.txt เป็นงานส่งมอบ คำถามที่สมเหตุสมผลคือไฟล์นั้นจะมีอะไรอยู่ข้างใน ใครเป็นคนคัดรายการลิงก์ และมันทำอะไรที่ไซต์แมปทำไม่ได้ และถ้าผู้ให้บริการบอกว่าไฟล์นี้จะหยุดไม่ให้ครอว์เลอร์ AI ดึงเนื้อหาไปได้ ข้ออ้างนั้นขัดกับสิ่งที่ Common Crawl ตรวจพบจากเว็บไซต์ 31 แห่งที่ประเมินได้

งานที่ขยับการมองเห็นบน AI ได้จริงคืองานที่ยังได้ผลไม่ว่าครอว์เลอร์จะอ่านไฟล์ข้อความหรือไม่ก็ตาม ได้แก่หน้าเว็บที่ตอบคำถามตั้งแต่ประโยคแรก ข้อเท็จจริงที่ระบุผู้พูดและวันที่ไว้ในประโยคเดียวกัน ตารางและบล็อกถาม-ตอบที่โมเดลหยิบไปใช้ได้สะอาด และเนื้อหาที่เว็บไซต์อื่นอ้างอิงถึง นั่นคือสิ่งที่ GEO ประกอบขึ้นมาจริง ๆ และไม่มีข้อไหนขึ้นอยู่กับไฟล์ที่ไม่ได้ให้สิทธิ์อะไรและไม่ได้บล็อกอะไร

คำถามที่พบบ่อย

ควรลบไฟล์ llms.txt ทิ้งไหม

งานวิจัยไม่ได้บอกให้ลบ และเราก็ไม่ได้บอกเช่นนั้น Common Crawl รายงานว่าไฟล์นี้ไม่ได้ให้สิทธิ์อะไรและไม่ได้บล็อกอะไร ซึ่งเป็นเหตุผลที่จะไม่พึ่งพามัน ไม่ใช่เหตุผลที่จะลบมัน ไฟล์ที่คัดสรรด้วยมือและชี้ไปยังหน้าที่มีประโยชน์จริงนั้นเก็บไว้ก็ไม่มีต้นทุนอะไร ส่วนไฟล์ที่ปลั๊กอินสร้างซ้ำจากไซต์แมปก็ไม่มีอะไรต้องปกป้องเช่นกัน และการตัดสินใจเรื่องนี้สำคัญน้อยกว่าเนื้อหาบนหน้าเว็บที่ไฟล์ชี้ไปหามาก

เรื่องนี้ใช้กับเว็บไซต์ไทยด้วยหรือไม่

แหล่งข่าวไม่ได้แยกข้อมูลตามประเทศหรือภาษา จึงไม่มีตัวเลขเฉพาะของประเทศไทยอยู่ในรายงาน สิ่งที่พูดได้คือ Wix คิดเป็น 41% ของไฟล์ที่นำมาวิเคราะห์ และ All in One SEO คิดเป็นราว 73,000 ไฟล์ ซึ่งทั้งคู่ถูกใช้งานอย่างแพร่หลายในประเทศไทย รูปแบบของผู้สร้างไฟล์แบบเดียวกันจึงน่าจะมีอยู่ที่นี่ด้วย อะไรที่เจาะจงไปกว่านี้ถือเป็นการเดา

ใช้ llms.txt บล็อกครอว์เลอร์ AI ไม่ให้ดึงเนื้อหาได้ไหม

ไม่ได้ และงานวิจัยวัดเรื่องนี้ไว้ตรง ๆ Common Crawl พบไฟล์ 32 ไฟล์ที่ดูเหมือนจะปฏิเสธครอว์เลอร์ CCBot ของตน จากนั้นตรวจสอบเว็บไซต์ 31 แห่งที่ประเมินได้ และพบว่าไม่มีแห่งใดบล็อก CCBot ใน robots.txt เลย ห้าแห่งอนุญาตอย่างชัดเจน สิบเอ็ดแห่งจำกัดเฉพาะบางเส้นทาง และสิบห้าแห่งไม่มีข้อจำกัด คำสั่งจะต้องอยู่ใน robots.txt จึงจะถูกบังคับใช้

มีการใช้ llms.txt โจมตีโมเดล AI ด้วย prompt injection จริงหรือไม่

แทบไม่มี Common Crawl พบไฟล์ 10 ไฟล์ที่เข้าเกณฑ์การทดสอบ prompt injection ที่เข้มงวดที่สุดจากไฟล์ทั้งหมด 584,107 ไฟล์ และตัดสินว่ามีเพียงสี่ไฟล์ที่เป็นของจริง โดยทั้งหมดถูกใส่เข้าไปโดยเจตนาเพื่อสาธิตแนวคิด นอกจากนั้นยังมีอีก 3,793 ไฟล์ที่มีคำแนะนำแบบอ่อนกว่า เช่น ขอให้โมเดลโฟกัสไปที่บางหน้า

วันนี้ต้องทำอะไรหรือเปล่า

เปิดไฟล์ของคุณเองแล้วดูว่ามีลิงก์หรือไม่ และปลั๊กอินเป็นคนเขียนหรือเปล่า แค่นั้นคือทั้งหมดที่ต้องทำ ถ้าไฟล์ของคุณมีกฎครอว์เลอร์อยู่ ให้ย้ายไปไว้ใน robots.txt ซึ่งเป็นไฟล์ที่ครอว์เลอร์ทำตาม ไม่มีอะไรในงานวิจัยชิ้นนี้ที่ต้องรื้อเว็บใหม่ ย้ายระบบ หรือซื้อซอฟต์แวร์เพิ่ม

ก้าวต่อไปจากตรงนี้

สำมะโนไฟล์ 584,107 ไฟล์มีประโยชน์ในฐานะแบบฝึกหัดปรับความคาดหวังเป็นหลัก มันบอกว่างานส่งมอบชิ้นนี้ราคาถูก การบังคับใช้ที่ทุกคนคิดว่ามีอยู่นั้นไม่มีจริง และไฟล์ที่เว็บไซต์ส่วนใหญ่ใช้อยู่ถูกเขียนโดยระบบจัดการเนื้อหาของตัวเอง ถ้าอยากรู้ว่าเว็บไซต์ของคุณหน้าตาเป็นอย่างไรในสายตาเครื่องมือตอบคำถามด้วย AI ตัวไฟล์ใช้เวลาตรวจห้านาที ส่วนหน้าเว็บคือเนื้องานจริง และถ้าต้องการมุมมองว่าหน้าไหนของคุณมีโครงสร้างพร้อมให้ถูกอ้างอิงมากกว่าแค่ถูกเก็บข้อมูล เรื่องนี้คุยกันได้

Antonio Fernandez

Antonio Fernandez

ผู้ก่อตั้งและ CEO ของ Relevant Audience ผู้นำด้านการตลาดดิจิทัลในเอเชียตะวันออกเฉียงใต้ ด้วยประสบการณ์กว่า 15 ปีในการพัฒนากลยุทธ์การตลาดดิจิทัล เขาได้นำพาทีมงานในการสร้างผลลัพธ์ที่ยอดเยี่ยมให้กับลูกค้าผ่านโซลูชันดิจิทัลที่มุ่งเน้นประสิทธิภาพ

แชร์ไปยัง:
คัดลอกลิงก์:

อ่านบทความของเราเป็นประจำใช่ไหม เพิ่ม Relevant Audience เป็นแหล่งข้อมูลที่คุณเลือก เพื่อให้บทความของเราปรากฏในผลการค้นหา Google ของคุณมากขึ้น