noindex tag คืออะไร ทำงานอย่างไร และควรใช้เมื่อไร

noindex tag คือคำสั่งที่บอกเสิร์ชเอนจินว่าอย่านำหน้านี้ไปแสดงในผลการค้นหา ใส่ได้สองแบบ คือใส่เป็น robots meta tag ในส่วน head ของ HTML หรือส่งเป็น HTTP header ชื่อ X-Robots-Tag เมื่อ Googlebot เข้ามาครอว์ลหน้าและอ่านคำสั่งนี้แล้ว Google จะเอาหน้านั้นออกจาก Google Search แม้จะมีเว็บอื่นลิงก์มาหาก็ตาม

เงื่อนไขข้อสุดท้ายสำคัญกว่าที่คิด คำสั่งจะได้ผลก็ต่อเมื่อ Google ดึงหน้านั้นมาอ่านได้จริง ปัญหาเรื่อง noindex ส่วนใหญ่เกิดตรงช่องว่างนี้ คือคำสั่งที่ Google ไม่เคยได้อ่าน คำสั่งที่ลืมเปิดค้างไว้ หรือคำสั่งที่ถูกเอาไปใช้ผิดงาน บทความนี้อธิบายว่า noindex ทำงานอย่างไร ต่างจากการบล็อก URL ใน robots.txt ตรงไหน หน้าแบบไหนควรใส่ และจะเช็กใน Search Console อย่างไรว่าคำสั่งทำงานตามที่ตั้งใจ

noindex tag ทำอะไร

เสิร์ชเอนจินจัดการหน้าเว็บเป็นขั้นตอน เริ่มจากค้นพบ URL ครอว์ลหน้า ประมวลผลสิ่งที่เจอ แล้วจึงตัดสินว่าจะเพิ่มหน้าเข้า index ซึ่งเป็นฐานข้อมูลที่ใช้ดึงผลการค้นหาหรือไม่ คำสั่ง noindex ทำงานที่ขั้น index Google ยังครอว์ลหน้า ยังอ่านเนื้อหา และยังตามลิงก์ในหน้าได้ แต่จะไม่แสดงหน้านั้นในผลการค้นหา

ถ้าหน้านั้นถูก index ไปแล้ว การใส่ noindex จะไม่ลบหน้าออกทันที Google ต้องกลับมาครอว์ลอีกรอบ เห็นคำสั่งใหม่ แล้วจึงเอาออก ถ้าหน้ายังไม่เคยถูก index คำสั่งนี้จะกันไม่ให้ถูกเพิ่มตั้งแต่แรก

noindex ยังทำงานระดับหน้า ใช้กับ URL ที่มีคำสั่งเท่านั้น ไม่ได้ครอบทั้งโฟลเดอร์ ซับโดเมน หรือทั้งเว็บ ถ้าต้องการกันทั้งส่วนออกจากการค้นหา ทุก URL ในส่วนนั้นต้องมีคำสั่ง ซึ่งปกติจะตั้งผ่านเทมเพลต การตั้งค่าใน CMS หรือกฎบนเซิร์ฟเวอร์ ไม่ได้ใส่ทีละหน้า

สองวิธีใส่ noindex: meta robots tag กับ X-Robots-Tag

Google ระบุไว้สองวิธี และให้ผลเหมือนกัน เลือกแบบที่เข้ากับโครงสร้างเว็บของคุณ

robots meta tag

เป็นโค้ดบรรทัดเดียว วางไว้ใน <head> ของหน้า HTML:

<meta name="robots" content="noindex">

ชื่อ "robots" หมายถึงเสิร์ชเอนจินทุกตัวที่รองรับคำสั่งนี้ ถ้าต้องการสั่งเฉพาะ Google ให้ใช้ name="googlebot" แทน CMS ส่วนใหญ่มีตัวเลือกนี้เป็นช่องติ๊ก ใน WordPress ปลั๊กอิน SEO มักมีตัวเลือก "อนุญาตให้เสิร์ชเอนจินแสดงหน้านี้" รายหน้า ส่วนธีม Shopify ใส่แท็กผ่านโค้ดเทมเพลตได้ กรณีแบบนี้ให้แก้ที่การตั้งค่า ไม่ต้องแก้ HTML เอง

HTTP header X-Robots-Tag

เซิร์ฟเวอร์ส่งคำสั่งเดียวกันมาพร้อม HTTP response แทนการใส่ในหน้าได้:

X-Robots-Tag: noindex

header เป็นทางเลือกเดียวสำหรับไฟล์ที่ไม่มีส่วน head ของ HTML เช่น PDF รูปภาพ ไฟล์วิดีโอ และไฟล์ดาวน์โหลดอื่น ๆ และสะดวกเวลาต้องใช้คำสั่งกับ URL จำนวนมากพร้อมกัน เช่นทุกไฟล์ในไดเรกทอรีเดียว ผ่านกฎบนเซิร์ฟเวอร์หรือ CDN ค่า "none" เป็นคำย่อของ noindex รวมกับ nofollow ใช้ได้ทั้งใน header และ meta tag

ถ้าหน้าหนึ่งส่งคำสั่ง robots ขัดกัน เช่น meta tag เป็น "index" แต่ header เป็น "noindex" Google จะใช้คำสั่งที่เข้มกว่า เรื่องนี้ทำให้สับสนบ่อยเวลาที่ทั้ง CMS และการตั้งค่าเซิร์ฟเวอร์ต่างก็ตั้งคำสั่งเองโดยไม่มีใครรู้

noindex ต่างจาก Disallow ใน robots.txt อย่างไร

นี่คือความผิดพลาดที่สร้างปัญหามากที่สุด บรรทัด Disallow ใน robots.txt บอกครอว์เลอร์ว่าอย่าดึง URL นี้ ส่วน noindex บอกเสิร์ชเอนจินว่าอย่าแสดง URL นี้ ทั้งสองตอบคนละคำถาม และถ้าใช้คู่กันกับหน้าเดียวกัน noindex จะไม่มีผล

เหตุผลคือ ถ้า robots.txt บล็อกหน้าไว้ Googlebot จะไม่ดาวน์โหลดหน้านั้นเลย จึงไม่เคยเห็นแท็ก noindex ข้างใน เอกสารของ Google ระบุชัดว่าหน้าที่ถูกบล็อกยังขึ้นในผลการค้นหาได้ถ้ามีหน้าอื่นลิงก์มา โดยมักแสดงแค่ URL ไม่มีคำอธิบาย เพราะ Google รู้ว่ามีที่อยู่นี้ แต่ไม่ได้รับอนุญาตให้อ่านเนื้อหา

ลำดับขั้นที่ถูกต้องเวลาจะเอาหน้าออกจากการค้นหาคือ

1. ตรวจให้แน่ใจว่า robots.txt ไม่ได้บล็อก URL นั้น
2. ใส่คำสั่ง noindex เป็น meta tag หรือ header
3. รอให้ Google ครอว์ลใหม่ หรือขอให้ครอว์ลใหม่ผ่านเครื่องมือตรวจสอบ URL
4. หลังหน้าหลุดออกไปแล้วเท่านั้น และเฉพาะกรณีที่อยากประหยัดการครอว์ลหน้านั้นด้วย จึงค่อยพิจารณาบล็อกใน robots.txt พึงรู้ว่าเมื่อบล็อกแล้ว Google จะมองไม่เห็น noindex อีก ลิงก์ใหม่ที่ชี้มาหาอาจดึง URL เปล่า ๆ กลับมาในผลการค้นหาได้

อีกเรื่องหนึ่ง Google ไม่รองรับการเขียน noindex ไว้ในไฟล์ robots.txt คู่มือเก่าบางฉบับยังแนะนำอยู่ แต่ใน Google ไม่มีผลใด ๆ จึงไม่ควรพึ่งวิธีนี้

noindex, follow กับ noindex, nofollow

noindex ใช้ร่วมกับคำสั่งอื่นได้ โดยคั่นด้วยจุลภาค สองแบบที่คนถามบ่อยที่สุดคือ

• noindex, follow: กันหน้าออกจากผลการค้นหา แต่ให้ครอว์เลอร์ตามลิงก์ในหน้าได้ เนื่องจาก "follow" เป็นค่าเริ่มต้นอยู่แล้ว การใส่ noindex อย่างเดียวก็ทำงานแบบนี้ การเขียน "follow" เพิ่มจึงไม่เปลี่ยนอะไรในทางเทคนิค แม้บางทีมจะชอบเขียนไว้ให้อ่านชัด
• noindex, nofollow (หรือ "none"): กันหน้าออกจากผลการค้นหา และขอให้ครอว์เลอร์ไม่ตามลิงก์ในหน้า เหมาะกับหน้าที่ไม่อยากให้ครอว์ลลิงก์เลย เช่นหน้าผลการค้นหาภายในเว็บที่ลิงก์ไปยังชุดตัวกรองนับไม่ถ้วน

ระวังการใส่ nofollow ในหน้าที่เป็นส่วนหนึ่งของเมนูนำทาง ถ้าหน้าหมวดหมู่หรือหน้าแท็กที่ใส่ noindex เป็นทางหลักไปสู่สินค้าหรือบทความ nofollow จะตัดเส้นทางนั้น ไม่ควรให้หน้าที่ noindex เป็นทางเดียวที่ไปถึงเนื้อหาที่อยากให้ถูก index ควรลิงก์หน้าสำคัญจากหน้าที่ index ได้ด้วย

ควรใช้ noindex tag เมื่อไร

noindex เหมาะกับหน้าที่มีเหตุผลให้คนใช้งาน แต่ไม่มีเหตุผลให้ขึ้นในการค้นหา ตัวอย่างที่พบทั่วไปคือ

• หน้าขอบคุณและหน้ายืนยัน หลังส่งฟอร์มหรือสั่งซื้อ คนที่เข้ามาจากการค้นหาจะงง และอาจทำให้ข้อมูลติดตาม conversion เพี้ยน
• หน้าผลการค้นหาภายในเว็บ หน้าเหล่านี้สร้างขึ้นตามคำค้น เกิดได้ไม่จำกัด และแทบไม่มีอะไรที่หน้าเฉพาะเรื่องไม่มี
• หน้าแท็กและหน้าคลังบทความที่บาง ในบล็อก ที่แสดงบทความไม่กี่ชิ้นโดยไม่มีข้อความของตัวเอง
• ชุดตัวกรองแบบ faceted ในเว็บอีคอมเมิร์ซ เช่นสีบวกไซซ์บวกช่วงราคา ซึ่งแต่ละชุดสร้าง URL ที่แทบว่างเปล่า จะใช้ noindex, canonical หรือคุมการครอว์ลดีกว่ากัน ขึ้นกับว่ามีกี่ชุด และมีชุดไหนตรงกับคำค้นจริงบ้าง
• หน้าเข้าสู่ระบบ บัญชีผู้ใช้ ตะกร้า และหน้าชำระเงิน
• เว็บ staging หน้าทดสอบ และแลนดิ้งเพจแคมเปญ ที่ซ้ำกับเว็บหลักหรือมีไว้รับทราฟฟิกโฆษณาเท่านั้น
• ไฟล์ดาวน์โหลดที่ไม่อยากให้ถูกค้นเจอ เช่นไฟล์ PDF ใบราคา โดยใช้ header X-Robots-Tag

เมื่อไรไม่ควรใช้ noindex

มีบางสถานการณ์ที่เจอบ่อยซึ่ง noindex เป็นเครื่องมือที่ผิด

• การเลือกระหว่างหน้าซ้ำของเนื้อหาเดียวกัน ถ้า URL สองอันแสดงเนื้อหาเดียวกันและอยากให้อันหนึ่งติดอันดับ canonical tag หรือ redirect จะรวมสัญญาณไปที่เวอร์ชันที่ต้องการ Google แนะนำโดยตรงว่าไม่ควรใช้ noindex เพื่อเลือก canonical ภายในเว็บเดียวกัน
• การซ่อนเนื้อหาส่วนตัวหรือข้อมูลอ่อนไหว noindex กันหน้าออกจากผลการค้นหา แต่ใครมีลิงก์ก็ยังเปิดได้ ข้อมูลลับควรใช้รหัสผ่านหรือระบบล็อกอิน
• หน้าที่อยากให้ติดอันดับในภายหลัง noindex ที่ตั้งใจใส่ไว้ "ชั่วคราว" ลืมง่ายมาก ถ้าหน้าอ่อน การปรับปรุงหรือรวมเข้ากับหน้าอื่นมักดีกว่าการซ่อน
• การเอาหน้าออกแบบเร่งด่วน noindex ต้องรอการครอว์ลใหม่ ถ้าต้องหายเร็ว เครื่องมือนำออก (Removals) ใน Search Console ซ่อน URL ได้ชั่วคราวระหว่างรอวิธีแก้ถาวรมีผล

หน้าที่ใส่ noindex จะหลุดจาก Google เมื่อไร

ไม่มีเวลาตายตัว Google ต้องครอว์ลหน้าใหม่ก่อนจึงจะทำตามคำสั่งได้ และความถี่ในการครอว์ลซ้ำขึ้นกับว่า Google มองว่าหน้านั้นสำคัญและอัปเดตบ่อยแค่ไหน เอกสารของ Google เองระบุว่าบางหน้าอาจใช้เวลาหลายเดือนกว่า Googlebot จะกลับมา หน้าแรกหรือหน้าหมวดหมู่ยอดนิยมอาจถูกครอว์ลซ้ำเร็ว ขณะที่หน้าลึกที่มีลิงก์ชี้มาน้อยอาจค้างอยู่ใน index อีกนานหลังใส่แท็ก

เร่งได้เป็นราย URL เปิดเครื่องมือตรวจสอบ URL ใน Search Console กดทดสอบ URL แบบสดเพื่อยืนยันว่า Google เห็น noindex แล้วกดขอการจัดทำดัชนี ขั้นนี้คือการขอให้ Google ครอว์ลหน้าใหม่ และการครอว์ลใหม่คือสิ่งที่ทำให้ Google ใช้คำสั่งได้ ถ้ามีหลาย URL การคงไว้ใน XML sitemap พร้อมอัปเดตวันที่ lastmod ช่วงสั้น ๆ อาจกระตุ้นการครอว์ลซ้ำได้ แต่ให้เอาออกจาก sitemap เมื่อหลุดแล้ว เพราะ sitemap ควรมีเฉพาะหน้าที่อยากให้ถูก index

วิธีหาหน้าที่ติด noindex ใน Search Console

Search Console มีสองมุมมองที่ครอบคลุมการเช็กเกือบทั้งหมด

รายงานการจัดทำดัชนีหน้าเว็บ (Page indexing) ในเมนูการจัดทำดัชนี เปิดหน้าเว็บ แล้วดูเหตุผลที่หน้าไม่ถูก index รายการ "Excluded by 'noindex' tag" คือ URL ที่ Google เจอคำสั่ง ไล่ดูรายการนี้ให้ละเอียด ทุก URL ในนี้ควรเป็นหน้าที่ตั้งใจซ่อน ถ้าเห็นหน้าสินค้า หน้าบริการ หรือบทความบล็อกอยู่ในนั้น แปลว่าเทมเพลตหรือปลั๊กอินใส่คำสั่งผิดที่ รายงานนี้ยังกรองตาม sitemap ได้ URL ที่อยู่ใน sitemap แต่ติด noindex ด้วยเท่ากับส่งคำสั่งตรงข้ามกันสองอย่างให้ Google ควรแก้ฝั่งที่ผิด

เครื่องมือตรวจสอบ URL วาง URL ใดก็ได้เพื่อดูว่าอนุญาตให้ index หรือไม่ และถ้าไม่ คำสั่ง noindex มาจาก meta tag หรือ HTTP header การทดสอบแบบสดจะแสดง HTML ที่ Googlebot ได้รับจริง ซึ่งเป็นเวอร์ชันที่นับ

นอก Search Console โปรแกรมครอว์ลเว็บจะแสดงทุก URL ที่มี noindex ไม่ว่าอยู่ตำแหน่งไหน เป็นวิธีที่เร็วที่สุดในการตรวจเว็บใหญ่ก่อนและหลังย้ายเว็บหรือรีดีไซน์

ความผิดพลาดเรื่อง noindex ที่พบบ่อย

• การตั้งค่า staging ติดไปถึงเว็บจริง CMS หลายตัวมีสวิตช์ระดับทั้งเว็บว่า "ขอให้เสิร์ชเอนจินไม่ทำดัชนี" สำหรับเว็บที่กำลังพัฒนา ถ้าสวิตช์นี้ติดไปตอนเปิดเว็บ ทั้งเว็บอาจหลุดจากการค้นหา ควรเช็กทุกครั้งในวันเปิดตัว
• พึ่ง JavaScript ในการเอา noindex ออก คำแนะนำเรื่อง JavaScript ของ Google ระบุว่าเมื่อ Googlebot เจอ noindex ใน HTML ต้นฉบับ อาจข้ามการเรนเดอร์หน้า สคริปต์ที่เปลี่ยนแท็กเป็น "index" ทีหลังจึงอาจไม่ได้ทำงานเลย ควรส่งคำสั่งที่ถูกต้องมาตั้งแต่ HTML แรก
• ใส่ noindex และบล็อกใน robots.txt กับ URL เดียวกัน ตามที่อธิบายข้างต้น การบล็อกทำให้มองไม่เห็นคำสั่ง
• หน้าที่ noindex แล้วยังค้างอยู่ใน XML sitemap นานหลังจากซ่อนไปแล้ว
• ปลั๊กอินชนกัน ปลั๊กอิน SEO สองตัว หรือปลั๊กอินกับธีม ต่างเขียนแท็ก robots ของตัวเอง ทำให้คำสั่งขัดกัน แล้ว Google จะใช้คำสั่งที่เข้มกว่า
• ใส่ noindex กับหน้าแบ่งหน้า (pagination) การซ่อนหน้า 2, 3 เป็นต้นไปของหมวดหมู่ อาจตัดครอว์เลอร์ออกจากสินค้าที่อยู่ในหน้าเหล่านั้น ควรให้ pagination ครอว์ลได้และลิงก์ถึงสินค้าครบ

เปรียบเทียบ noindex tag กับการควบคุมแบบอื่น

ความหมายสำหรับเว็บไซต์ในไทย

เว็บสองภาษาไทยและอังกฤษต้องเช็กเพิ่มอีกหนึ่งเรื่อง ถ้าเวอร์ชันไทยและอังกฤษเชื่อมกันด้วย hreflang ทั้งสองเวอร์ชันควร index ได้ ถ้าเทมเพลตภาษาไทยติด noindex ซึ่งเกิดได้เมื่อปลั๊กอินแปลภาษาตั้งคำสั่ง robots ของตัวเอง หน้าภาษาไทยจะหลุดจาก Google ขณะที่หน้าอังกฤษยังอยู่ และการจับคู่ภาษาจะใช้ไม่ได้สำหรับคนที่ค้นเป็นภาษาไทย หลังอัปเดตปลั๊กอินทุกครั้ง ควรตรวจ URL ภาษาไทยเทียบกับคู่ภาษาอังกฤษไปพร้อมกัน

เว็บอีคอมเมิร์ซไทยที่ใช้ WooCommerce หรือ Shopify มักสร้าง URL ตัวกรองและการเรียงลำดับจำนวนมาก และ URL ที่มีตัวอักษรไทยจะถูกเข้ารหัสแบบ percent-encoding ทำให้อ่านในรายงานยาก ให้ export รายการ "Excluded by 'noindex' tag" แล้วถอดรหัส URL ก่อนไล่ดู จะได้แยกออกว่าหน้าไหนเป็นหน้าตัวกรอง หน้าไหนเป็นหมวดหมู่จริง แลนดิ้งเพจแคมเปญที่ทำไว้รับทราฟฟิกจาก LINE, Facebook หรือ Google Ads ก็เป็นตัวเลือกที่ควรใส่ noindex เมื่อเนื้อหาซ้ำกับหน้าบริการหรือหน้าสินค้าที่มีอยู่

ถ้าไม่แน่ใจว่าหน้าไหนในเว็บติดคำสั่งนี้ บริการ SEO Audit จะครอว์ลทุก URL และรวบรวมสัญญาณ noindex, robots.txt และ canonical ไว้ในที่เดียว ทำให้เห็นจุดที่ขัดกันก่อนจะเสียทราฟฟิก

คำถามที่พบบ่อยเกี่ยวกับ noindex tag

noindex tag หยุดไม่ให้ Google ครอว์ลหน้าหรือไม่

ไม่ noindex tag ไม่ได้หยุดการครอว์ล Google ต้องครอว์ลหน้าจึงจะอ่านคำสั่งได้ ถ้าต้องการจำกัดการครอว์ลให้ใช้ robots.txt แต่การบล็อกที่นั่นจะซ่อน noindex ไปด้วย จึงไม่ควรใช้คู่กันกับหน้าที่ต้องการเอาออก

ใส่ noindex ใน robots.txt ได้ไหม

ไม่ได้ Google ไม่รองรับคำสั่ง noindex ในไฟล์ robots.txt ให้ใช้ robots meta tag ในหน้า หรือ HTTP header X-Robots-Tag แทน

ควร noindex หน้าแท็กและหน้าหมวดหมู่ไหม

ขึ้นกับว่าหน้านั้นมีคุณค่าของตัวเองหรือไม่ หน้าหมวดหมู่ที่มีคำอธิบายเฉพาะและรายการสินค้าที่มีประโยชน์ติดอันดับได้ดีและมักควรให้ index ได้ ส่วนหน้าแท็กบาง ๆ ที่มีบทความแค่สองสามชิ้นเหมาะจะใส่ noindex

จะ noindex ไฟล์ PDF อย่างไร

ให้ส่ง HTTP header X-Robots-Tag: noindex มากับไฟล์ เพราะ PDF ไม่มีส่วน head ของ HTML ให้ใส่ meta tag ตั้งค่าได้ที่เซิร์ฟเวอร์ กฎของ CDN หรือแผงควบคุมโฮสติ้ง

noindex จะทำให้อันดับส่วนอื่นของเว็บตกหรือไม่

การ noindex หน้าที่ไม่ควรอยู่ในการค้นหาไม่ได้ทำร้ายหน้าที่ยังถูก index ความเสี่ยงอยู่ที่การใส่ผิดไปโดนหน้าสำคัญ จึงควรเช็กรายงานการจัดทำดัชนีหน้าเว็บทุกครั้งที่เปลี่ยนเทมเพลตหรือปลั๊กอิน

ขั้นต่อไป

noindex tag เป็นโค้ดบรรทัดเล็ก ๆ แต่ในเว็บขนาดใหญ่ ลืมง่ายว่าตั้งไว้ที่ไหนและเพราะอะไร ถ้าต้องการให้ตรวจการควบคุมการ index ไปพร้อมกับการตั้งค่าทางเทคนิคส่วนอื่น บริการ SEO ของ Relevant Audience ครอบคลุมการตรวจการครอว์ลและการ index ส่วนร้านค้าออนไลน์เริ่มได้ที่ทีม SEO สำหรับ E-commerce ซึ่งดูแลโครงสร้าง URL ของตัวกรอง การแบ่งหน้า และหน้าสินค้า สำหรับธุรกิจที่ต้องการเข้าถึงคนค้นหาทั้งภาษาไทยและอังกฤษ ดูรายละเอียดได้ที่หน้า SEO ประเทศไทย