สรุปสั้น ๆ (TL;DR)
- นักวิจัยจาก NUS และ Xi'an Jiaotong University เผยแพร่ preprint บน arXiv เมื่อวันที่ 11 ตุลาคม 2569 โดยติดตามการรัน GPT-5.3 Instant และ GPT-5.5 Instant รุ่นละ 1,600 ครั้ง จากคำถาม 80 ข้อ
- ผลการค้นหา Google รวมกับ Responses API ของ OpenAI พบ URL ที่ ChatGPT อ้างอิงเพียง 28.3% (GPT-5.3) และ 26.2% (GPT-5.5) แต่พบโดเมนที่ถูกอ้างอิง 50.3% และ 48.7%
- ผลออร์แกนิก 5 หน้าแรกของ Google เพียงอย่างเดียวมี URL ที่ ChatGPT อ้างอิงอยู่เพียง 9.4% และ 6.4%
- ไม่มีการรัน GPT-5.3 หรือ GPT-5.5 Instant ที่สังเกตได้ครั้งใดค้นหาด้วยถ้อยคำเดิมของผู้ใช้ และ 67.0% ถึง 69.6% ของการรันคำถามภาษาจีนค้นหาเป็นภาษาอังกฤษเท่านั้น
- จากการรันซ้ำ 20 รอบ URL ที่ถูกดึงมา 40.8% ถึง 44.5% ปรากฏเพียงครั้งเดียว งานวิจัยไม่ได้ทดสอบพรอมต์ภาษาไทยหรือเครื่องมือติดตามเชิงพาณิชย์ใดๆ
ผลการค้นหาของ Google และ Responses API ของ OpenAI เองยังจำลองหน้าเว็บที่ ChatGPT อ้างอิงได้ไม่ดีนัก งานวิจัยฉบับ preprint บน arXiv ที่เผยแพร่เมื่อวันที่ 11 ตุลาคม 2569 โดยนักวิจัยจาก National University of Singapore และ Xi'an Jiaotong University พบว่าเมื่อรวมข้อมูลจากทั้งสองแหล่งเข้าด้วยกัน ก็ยังพบ URL ที่ GPT-5.3 Instant อ้างอิงเพียง 28.3% และ URL ที่ GPT-5.5 Instant อ้างอิงเพียง 26.2% แต่ถ้าวัดในระดับเว็บไซต์ทั้งเว็บ ตัวเลขเพิ่มขึ้นเกือบเท่าตัว เป็น 50.3% และ 48.7% ของชื่อโดเมน (hostname) ที่ถูกอ้างอิง
งานวิจัยนี้ชื่อ "Understanding ChatGPT Citations: Evidence from Production Web Search Across Model Generations" เขียนโดย Yunxuan Jiang, Shiqi Zhang, Anqi Xing, Xiangyu Chang และ Xiaokui Xiao เผยแพร่บน arXiv ในรูปแบบ preprint ซึ่งหมายความว่ายังไม่ผ่านการประเมินโดยผู้ทรงคุณวุฒิ (peer review) เว็บไซต์ Search Engine Journal นำมารายงานต่อเมื่อวันที่ 18 ตุลาคม 2569 ตัวเลขทุกตัวในบทความนี้มาจากตัวงานวิจัยโดยตรง
นักวิจัยวัดอะไรบ้าง
งานศึกษาเรื่อง AI search ส่วนใหญ่ดูแค่คำตอบสุดท้าย คือดูว่ามีลิงก์อะไรแสดงอยู่ใต้คำตอบ แต่งานชิ้นนี้ดูสิ่งที่เกิดขึ้นก่อนคำตอบจะออกมา ผู้วิจัยบันทึกสตรีมข้อมูลแบบ server-sent event (SSE) ที่หน้าเว็บ ChatGPT ส่งกลับมายังเซสชันที่ล็อกอินอยู่ สตรีมนี้เปิดให้เห็นว่า ChatGPT ค้นหาด้วยคำค้นอะไรจริงๆ ได้หน้าเว็บอะไรกลับมาจากการค้นหานั้น และเลือกหน้าไหนไปใช้เป็นแหล่งอ้างอิง
การเก็บข้อมูลครอบคลุม ChatGPT เวอร์ชันเว็บ 4 แบบ ได้แก่ GPT-5.2 Instant, GPT-5.3 Instant, GPT-5.4 Thinking และ GPT-5.5 Instant ระหว่างวันที่ 29 มีนาคม ถึง 29 กรกฎาคม 2569 คำถามที่ใช้มาจาก Search Arena ซึ่งเป็นชุดข้อมูลสาธารณะที่รวบรวมการใช้งานจริงกับแชตบอตที่มีระบบค้นหาเว็บไว้ 24,000 รายการ ทีมวิจัยสุ่มเลือกคำถาม 80 ข้อ แบ่งเป็น 4 ประเภทตามเจตนา คือ ค้นหาข้อเท็จจริง สังเคราะห์ข้อมูล วิเคราะห์ และขอคำแนะนำ ประเภทละ 20 ข้อ โดยแบ่งครึ่งระหว่างภาษาอังกฤษและภาษาจีน
GPT-5.3 Instant และ GPT-5.5 Instant ตอบคำถามครบทั้ง 80 ข้อ ข้อละ 20 รอบ รวม 1,600 รอบต่อโมเดล ส่วน GPT-5.2 Instant (547 รอบ จาก 32 คำถาม) และ GPT-5.4 Thinking (491 รอบ จาก 30 คำถาม) มีข้อมูลน้อยกว่า เพราะ OpenAI ปลดระวางโมเดลทั้งสองก่อนเก็บข้อมูลเสร็จ การเปรียบเทียบหลักในงานวิจัยจึงใช้สองโมเดลที่มีข้อมูลครบ คือ 5.3 และ 5.5
เพื่อเทียบกับข้อมูลจริงเหล่านี้ ผู้วิจัยสร้างแหล่งข้อมูลทดแทน (proxy) จากภายนอกขึ้นมาสองแหล่ง ซึ่งเป็นข้อมูลแบบที่เครื่องมือติดตามผลสามารถดึงได้โดยไม่ต้องเฝ้าดูเซสชัน ChatGPT จริง
- Google Search: ผลการค้นหาแบบออร์แกนิกสูงสุด 5 หน้าต่อคำถาม ดึงผ่าน SerpAPI ได้เฉลี่ย 43.2 ผลลัพธ์ต่อคำถาม
- OpenAI Responses API: เรียกใช้ gpt-5.3-chat-latest และ gpt-5.5 โดยเปิดการค้นหาเว็บและไม่ใส่ system prompt คำถามละ 20 ครั้งต่อโมเดล รวม 1,600 ครั้งต่อโมเดล โดยเฉลี่ยแต่ละคำตอบมีแหล่งข้อมูลที่เป็นตัวเลือกราว 26 ถึง 28 รายการ และมีการอ้างอิงราว 5 ถึง 6 รายการ
ข้อมูลจากทั้งสองแหล่งเก็บภายในช่วงสามวันเดียวกับการรัน ChatGPT ที่จับคู่กัน
ผลลัพธ์: ใกล้เคียงในระดับเว็บไซต์ แต่ห่างไกลในระดับหน้าเว็บ
ข้อค้นพบหลักคือ ข้อมูลจากภายนอกหาเว็บไซต์ที่ถูกต้องได้บ่อยกว่าการหาหน้าเว็บที่ถูกต้องมาก ตารางด้านล่างแสดงตัวเลขความครอบคลุม (recall) จากตารางที่ 4 ของงานวิจัย คือสัดส่วนของหน้าเว็บหรือโดเมนที่ ChatGPT อ้างอิง ซึ่งพบอยู่ในข้อมูลของแต่ละ proxy ด้วย
| Proxy (สัดส่วนรายการที่ ChatGPT อ้างอิงซึ่ง proxy มีอยู่) | GPT-5.3 Instant | GPT-5.5 Instant |
|---|---|---|
| ผลออร์แกนิกของ Google ระดับ URL | 9.4% | 6.4% |
| ผลออร์แกนิกของ Google ระดับโดเมน | 26.1% | 22.8% |
| รายการแหล่งข้อมูลทั้งหมดของ Responses API ระดับ URL | 22.9% | 22.5% |
| รายการแหล่งข้อมูลทั้งหมดของ Responses API ระดับโดเมน | 38.3% | 38.1% |
| Google รวมกับ API ระดับ URL | 28.3% | 26.2% |
| Google รวมกับ API ระดับโดเมน | 50.3% | 48.7% |
มีสองประเด็นที่เด่นชัด ประเด็นแรก ผลออร์แกนิกของ Google เพียงอย่างเดียวมีหน้าเว็บที่ ChatGPT อ้างอิงอยู่ไม่ถึงหนึ่งในสิบ หน้าที่ติดอันดับดีใน Google จึงไม่ได้แปลว่าจะเป็นหน้าที่ ChatGPT เลือกอ้างอิง อย่างน้อยก็สำหรับคำถามในกลุ่มตัวอย่างนี้ ประเด็นที่สอง แม้จะรวมทั้งสอง proxy เข้าด้วยกันแล้ว URL ที่ถูกอ้างอิงก็ยังหายไปราวสามในสี่
การอ้างอิงของ API เอง ซึ่งต่างจากรายการแหล่งข้อมูลทั้งหมด ให้ผลอีกแบบหนึ่ง คือครอบคลุมน้อยกว่าแต่แม่นยำกว่า สำหรับ GPT-5.5 Instant นั้น 23.3% ของ URL ที่ API อ้างอิง เป็น URL ที่ ChatGPT อ้างอิงด้วย เพิ่มจาก 16.4% ในกรณีของ GPT-5.3 Instant และในระดับโดเมน ความแม่นยำเพิ่มจาก 27.7% เป็น 40.5% พูดง่ายๆ คือ พฤติกรรมการอ้างอิงของ API ใกล้เคียงกับโมเดลใหม่ของ ChatGPT มากกว่าโมเดลเก่า ขณะที่ความครอบคลุมแทบไม่ขยับ
ผู้วิจัยยังทดสอบในระดับเอนทิตี (entity) ด้วย คือสิ่งที่มีชื่อเรียก เช่น แบรนด์ สินค้า บุคคล และสถานที่ ซึ่งดึงมาจากชื่อหน้าและข้อความสรุป (snippet) เมื่อรวม proxy ทั้งสองแหล่ง พบเอนทิตีที่ถูกอ้างอิง 50.7% สำหรับ GPT-5.3 Instant และ 45.1% สำหรับ GPT-5.5 Instant งานวิจัยระบุว่านับแบรนด์รวมอยู่ในชั้นข้อมูลนี้และไม่ได้วิเคราะห์แยก จึงไม่สามารถใช้สรุปเรื่องแบรนด์เพียงอย่างเดียวได้
ChatGPT ไม่ได้ค้นหาด้วยคำที่ผู้ใช้พิมพ์
ในขั้นตอนที่งานวิจัยเรียกว่าการเขียนคำค้นใหม่ (query rewriting) ChatGPT แปลงคำถามของผู้ใช้เป็นคำค้นของตัวเองหนึ่งคำหรือมากกว่า และคำค้นเหล่านี้คือสิ่งที่กำหนดว่าจะได้หน้าเว็บอะไรกลับมา งานวิจัยพบว่าถ้อยคำเดิมของผู้ใช้ถูกนำไปใช้เป็นคำค้นตรงตัวใน 5.5% ของการรัน GPT-5.2 Instant และไม่พบเลยในการรัน GPT-5.3 Instant และ GPT-5.5 Instant ที่สังเกตได้
ภาษาที่ใช้ค้นหาก็เปลี่ยนไปด้วย สำหรับคำถามภาษาจีน 96.8% ของการรัน GPT-5.2 Instant ค้นหาทั้งภาษาจีนและภาษาอังกฤษ แต่สำหรับ GPT-5.3 Instant และ GPT-5.5 Instant มี 67.0% และ 69.6% ของการรันที่ค้นหาเป็นภาษาอังกฤษเท่านั้น
แต่ละโมเดลยังค้นหาหนักเบาต่างกัน GPT-5.3 Instant ใช้คำค้นเฉลี่ย 1.06 คำต่อการรัน และ GPT-5.5 Instant ใช้ 1.45 คำ ทั้งคู่เกือบทั้งหมดค้นหาเพียงรอบเดียว (สัดส่วนการค้นหาหลายรอบอยู่ที่ 5.5% และ 3.8%) ส่วน GPT-5.4 Thinking ทำงานต่างออกไปมาก โดยเฉลี่ยใช้คำค้น 11.82 คำ ใน 3.20 รอบการค้นหาต่อการรัน และ 71.3% ของการรันค้นหามากกว่าหนึ่งครั้ง สัดส่วนคำค้นที่ใช้คำสั่ง site: เพิ่มจาก 25.1% ในรอบแรก เป็น 54.7% ในรอบหลังๆ และคำค้นที่ใส่เครื่องหมายคำพูดเพิ่มจาก 1.0% เป็น 22.7% งานวิจัยถือว่าข้อมูลของโมเดล Thinking เป็นข้อมูลเสริม เพราะชุดคำถามไม่ได้จับคู่กับโมเดล Instant
การรันครั้งเดียวไม่ใช่การวัดผล
ถามคำถามเดียวกันกับ ChatGPT สองครั้ง ก็มักได้หน้าเว็บที่อ่านต่างกัน จากการรันคำถามละ 20 ครั้ง URL ที่ไม่ซ้ำกันซึ่ง GPT-5.3 Instant ดึงมา 40.8% และของ GPT-5.5 Instant 44.5% ปรากฏเพียงครั้งเดียว มีเพียง 9.4% และ 7.7% ที่เป็นหน้าเว็บกลุ่ม "แกนกลางที่คงที่" ซึ่งปรากฏอย่างน้อย 14 จาก 20 รอบ GPT-5.5 Instant ดึง URL ที่ไม่ซ้ำกันต่อคำถามมากกว่า (132.2 เทียบกับ 96.4) โดยไม่ได้คงเส้นคงวามากขึ้น
ความคงที่ดีขึ้นเมื่อดูในระดับที่กว้างขึ้น ค่าความทับซ้อนระหว่างการรันแต่ละคู่ (Jaccard similarity) อยู่ราว 0.30 ในระดับ URL ราว 0.40 ในระดับโดเมน และ 0.40 ถึง 0.42 ในระดับเอนทิตี แปลว่าการรันซ้ำมักเข้าไปที่หน้าเว็บต่างกันแต่อยู่ในเว็บไซต์เดิม
ความถี่ของการปรากฏก็เป็นสัญญาณด้วย เมื่อทดสอบแบบกันการรันไว้หนึ่งรอบ (leave-one-run-out) หน้าเว็บที่ปรากฏบ่อยในอีก 19 รอบมีโอกาสถูกอ้างอิงในรอบที่กันไว้มากกว่า สำหรับ GPT-5.5 Instant สัญญาณนี้ได้ค่า AUC 0.651 ในระดับ URL 0.709 ในระดับโดเมน และ 0.711 ในระดับเอนทิตี ผู้วิจัยย้ำว่านี่เป็นความสัมพันธ์ที่สังเกตได้ ไม่ได้แสดงว่าการปรากฏบ่อยขึ้นเป็นสาเหตุให้ถูกอ้างอิง
งานวิจัยยังชี้กับดักในทางปฏิบัติไว้ด้วย ระหว่างเก็บข้อมูล มีสองเซสชันที่สลับไปใช้โมเดลสำรองโดยไม่แจ้ง หลังจากรันโมเดลที่ตั้งใจไว้สำเร็จ 14 และ 16 ครั้ง ใครก็ตามที่รันพรอมต์ซ้ำเพื่อติดตามการมองเห็นจึงอาจกำลังวัดโมเดลอื่นอยู่โดยไม่รู้ตัว
อะไรทำนายการถูกอ้างอิงได้ และอะไรทำนายไม่ได้
งานวิจัยดูว่าลักษณะใดที่สังเกตได้แยกหน้าที่ถูกอ้างอิงออกจากหน้าที่ไม่ถูกอ้างอิง ความยาวของ snippet ให้สัญญาณที่อ่อนกว่าแต่สม่ำเสมอ โดย 16.5% และ 16.9% ของ snippet ที่ถูกอ้างอิงมีความยาว 500 ตัวอักษรขึ้นไป เทียบกับเพียง 1.5% และ 1.9% ของ snippet ที่ไม่ถูกอ้างอิง ลำดับที่ได้จากการดึงข้อมูล (retrieval position) เป็นสัญญาณที่ชัดที่สุดในกลุ่มที่เหลือ โดยได้ค่า AUC 0.561 สำหรับ GPT-5.3 และ 0.623 สำหรับ GPT-5.5 แต่หน้าที่อยู่หลังลำดับที่ 15 ก็ยังถูกอ้างอิงในอัตรา 24.0% และ 19.0% ส่วนความใหม่ของเนื้อหาแทบไม่มีสัญญาณเลย โดยได้ค่า AUC 0.482 และ 0.535
สุดท้าย ผู้วิจัยนำสัญญาณจากภายนอกทั้งหมดมารวมกันในโมเดล XGBoost ได้แก่ ลำดับ ความถี่ที่ปรากฏใน API อัตราที่หน้าซึ่งปรากฏถูก API อ้างอิง จำนวน URL ที่สนับสนุน ความยาว snippet เจตนาของคำถาม และภาษา ภายในกลุ่มตัวเลือกจากภายนอก โมเดลนี้ได้ค่า AUC 0.782, 0.763 และ 0.743 สำหรับ GPT-5.3 Instant ในระดับ URL โดเมน และเอนทิตี และ 0.779, 0.763 และ 0.742 สำหรับ GPT-5.5 Instant ผลนี้มีประโยชน์ แต่ถูกจำกัดด้วยความครอบคลุม หน้าที่ถูกอ้างอิงซึ่งทั้ง Google และ API ไม่เคยแสดงออกมา จะไม่มีทางเข้าสู่โมเดลได้เลย งานวิจัยระบุว่าแม้จะจัดอันดับภายในกลุ่มนั้นได้สมบูรณ์แบบ ก็จะได้ URL ที่ถูกอ้างอิงทั้งหมดคืนมาเพียง 26.2% ถึง 28.3%
ขอบเขตที่งานวิจัยนี้ครอบคลุมไม่ถึง
ข้อจำกัดสำคัญไม่น้อยกว่าตัวเลข และงานวิจัยก็ระบุไว้ชัดเจนเกือบทุกข้อ
- เป็น preprint ที่ยังไม่ผ่าน peer review และใช้คำถาม 80 ข้อในภาษาอังกฤษและภาษาจีน ไม่ได้ทดสอบภาษาไทยหรือภาษาอื่น
- นิยามคำว่า "ถูกอ้างอิง" ของงานวิจัยรวมหน้าเว็บสนับสนุนที่ผูกอยู่กับแหล่งอ้างอิงที่ถูกเลือก แม้หน้าเหล่านั้นจะไม่ได้แสดงเป็นลิงก์แยกให้ผู้ใช้เห็นก็ตาม
- ครอบคลุมเฉพาะ ChatGPT เวอร์ชันเว็บตั้งแต่ 5.2 ถึง 5.5 ผู้วิจัยระบุว่าควรประเมินกลยุทธ์ GEO ใหม่เมื่อโมเดลหรือสภาพแวดล้อมที่ให้บริการเปลี่ยนไป
- ไม่ได้ทดสอบเครื่องมือวัดการมองเห็นใน AI เชิงพาณิชย์ตัวใดเลย งานวิจัยไม่ได้กล่าวอ้างถึงผลิตภัณฑ์ใดโดยเฉพาะ
- ตัวเลขความสำคัญของปัจจัยต่างๆ เป็นความสัมพันธ์ภายในโมเดลที่สร้างขึ้น งานวิจัยระบุชัดว่าการเปลี่ยนปัจจัยใดปัจจัยหนึ่งไม่ได้เพิ่มโอกาสถูกอ้างอิงเสมอไป และผลการศึกษาไม่ได้บอกว่าการเผยแพร่หน้าเว็บมากขึ้นจะช่วยได้
ความหมายสำหรับนักการตลาดไทย
ส่วนต่อไปนี้เป็นการตีความของ RA จากงานวิจัย ไม่ใช่สิ่งที่ผู้วิจัยได้ทดสอบ
ถ้ามีรายงานที่อ้างว่าแสดงได้ว่าแบรนด์ "ติดอันดับ" ใน ChatGPT ในระดับหน้าเว็บรายหน้า ควรถามว่ารายงานนั้นได้ข้อมูลมาอย่างไร ถ้าคำตอบคืออันดับใน Google หรือการเรียก API ครั้งเดียวต่อพรอมต์ งานวิจัยนี้ชี้ว่า URL ส่วนใหญ่ที่ ChatGPT อ้างอิงจริงจะมองไม่เห็นในข้อมูลแบบนั้น การติดตามในระดับเว็บไซต์และระดับเอนทิตี โดยรันหลายรอบต่อพรอมต์ ให้ผลที่มั่นคงกว่ามากในงานศึกษานี้ และเป็นวิธีที่มีเหตุผลรองรับมากกว่าสำหรับการรายงานผลงาน Generative Engine Optimization (GEO)
พฤติกรรมการค้นหาเป็นภาษาอังกฤษอย่างเดียวควรได้รับความสนใจในไทย แต่มีข้อควรระวัง งานวิจัยทดสอบพรอมต์ภาษาจีน ไม่ใช่ภาษาไทย จึงไม่ได้บอกว่า ChatGPT จัดการกับคำถามภาษาไทยอย่างไร แต่ถ้ารูปแบบเดียวกันเกิดขึ้นกับภาษาไทยด้วย แบรนด์ไทยที่เผยแพร่เนื้อหาเฉพาะภาษาไทยอาจไม่ปรากฏในการค้นหาภาษาอังกฤษที่ ChatGPT ทำแทนผู้ใช้ชาวไทย การตรวจดูว่าหน้าสินค้าและบริการหลักมีเวอร์ชันภาษาอังกฤษที่น่าเชื่อถือหรือไม่เป็นการทดสอบที่ต้นทุนต่ำ และเข้ากับการรีวิวงาน ChatGPT SEO ได้โดยตรง
จากข้อมูลนี้มีแนวปฏิบัติที่ตามมาสามข้อ ข้อแรก แยก "ถูกดึงมา" ออกจาก "ถูกอ้างอิง" ในการรายงาน เพราะงานวิจัยแสดงว่าเป็นคนละขั้นตอนกัน ข้อสอง รันพรอมต์ซ้ำหลายรอบ แล้วติดตามว่าเว็บไซต์ปรากฏบ่อยแค่ไหน ไม่ใช่ดูว่าหน้าหนึ่งเคยปรากฏครั้งเดียวหรือไม่ ข้อสาม ยืนยันว่าโมเดลไหนเป็นผู้ตอบในแต่ละรอบ เพราะการสลับไปใช้โมเดลสำรองโดยไม่แจ้งเกิดขึ้นจริงในงานศึกษานี้ สำหรับแบรนด์ที่วางแผนงาน AI SEO ในภาพกว้าง สาระของงานวิจัยคือ การมีตัวตนในระดับโดเมนและเอนทิตีเป็นเป้าหมายที่มั่นคงกว่า URL ใด URL หนึ่ง
คำถามที่พบบ่อย
อันดับใน Google บอกได้ไหมว่า ChatGPT จะอ้างอิงหน้าเว็บของเรา
บอกได้ไม่แม่นยำ ตามผลของงานศึกษานี้ ผลออร์แกนิก 5 หน้าแรกของ Google มี URL ที่ GPT-5.3 Instant อ้างอิงเพียง 9.4% และของ GPT-5.5 Instant เพียง 6.4% แม้ในระดับเว็บไซต์จะดีกว่า คือพบ 26.1% และ 22.8% ของโดเมนที่ถูกอ้างอิง
OpenAI API ใช้แทน ChatGPT ได้ดีไหม
ดีกว่า Google แต่ยังได้ภาพไม่ครบ รายการแหล่งข้อมูลทั้งหมดของ API ครอบคลุม URL ที่ ChatGPT อ้างอิงราว 22.5% ถึง 22.9% และโดเมนที่ถูกอ้างอิงราว 38% ขณะที่การอ้างอิงของ API เองแม่นยำกว่า โดยเฉพาะเมื่อเทียบกับ GPT-5.5 Instant
งานวิจัยนี้ทดสอบพรอมต์ภาษาไทยหรือไม่
ไม่ได้ทดสอบ คำถามทั้ง 80 ข้อเป็นภาษาอังกฤษและภาษาจีนเท่านั้น ข้อค้นพบที่ว่า GPT-5.3 และ GPT-5.5 Instant ค้นหาเป็นภาษาอังกฤษอย่างเดียวในราว 67% ถึง 70% ของการรันคำถามภาษาจีน อาจเกี่ยวข้องกับภาษาไทย แต่งานวิจัยไม่ได้ทดสอบเรื่องนี้
แปลว่าเครื่องมือติดตามการมองเห็นใน AI ให้ข้อมูลผิดหรือไม่
งานวิจัยไม่ได้ทดสอบเครื่องมือเชิงพาณิชย์ตัวใด จึงไม่ได้สรุปเช่นนั้น สิ่งที่แสดงคือวิธีใช้ proxy สองแบบที่ใช้กันทั่วไปพลาด URL ที่ถูกอ้างอิงไปเป็นส่วนใหญ่ และทำได้ดีกว่ามากในระดับโดเมนและเอนทิตี ซึ่งเป็นเหตุผลที่ควรถามเครื่องมือทุกตัวว่าเก็บข้อมูลอย่างไร
ควรรันพรอมต์กี่ครั้งเมื่อตรวจสอบการมองเห็น
งานวิจัยไม่ได้กำหนดจำนวนที่แน่นอน แต่ใช้การรันคำถามละ 20 ครั้ง และพบว่า 40.8% ถึง 44.5% ของ URL ที่ถูกดึงมาปรากฏเพียงครั้งเดียว การตรวจครั้งเดียวจึงเป็นการวัดที่อ่อน และควรยืนยันด้วยว่าโมเดลไหนเป็นผู้ตอบในแต่ละครั้ง
งานศึกษานี้ช่วยแก้ความเข้าใจของคนที่มอง ChatGPT เหมือนตารางจัดอันดับ หน้าเว็บที่ถูกดึงมาเปลี่ยนไปมากในแต่ละรอบ คำค้นถูกเขียนใหม่ และข้อมูลจากภายนอกเห็น URL ที่ถูกอ้างอิงได้เพียงราวหนึ่งในสี่ ถ้าต้องการวางระบบติดตามในระดับเว็บไซต์และเอนทิตีที่สะท้อนวิธีที่ ChatGPT ดึงแหล่งข้อมูลจริง ทีม Relevant Audience ยินดีช่วยรีวิวรายงานที่ใช้อยู่ในปัจจุบัน
