Technical SEO

Robots.txt

Robots.txt คือไฟล์ข้อความธรรมดาที่อยู่ที่ root ของโดเมน ทำหน้าที่บอก crawler ว่าส่วนใดของเว็บไซต์ที่เข้าถึงได้หรือเข้าถึงไม่ได้

มันควบคุมการ crawl ไม่ใช่การ index ดังนั้นหน้าที่ถูกบล็อกไว้ตรงนี้ก็ยังสามารถปรากฏในผลการค้นหาได้ หากมีลิงก์มาจากที่อื่น หากต้องการกันหน้าออกจาก index โดยสมบูรณ์ ให้ใช้แท็ก noindex แทน คุณสามารถดูไฟล์ของเว็บไซต์ใดก็ได้ด้วยการเติม /robots.txt ต่อท้ายโดเมน