Technical SEO

Crawling

Crawling (การไต่หน้าเว็บ) คือกระบวนการที่บอทของ search engine ค้นพบหน้าเว็บต่าง ๆ บนอินเทอร์เน็ตด้วยการเดินตามลิงก์และอ่านเนื้อหา

Crawler อย่าง Googlebot จะดึงหน้าเว็บมา อ่านเนื้อหาและลิงก์ภายในหน้า จากนั้นนำลิงก์ใหม่ที่พบไปเข้าคิวเพื่อไต่ต่อ หากหน้าใดไม่สามารถถูก crawl ได้ โดยทั่วไปหน้านั้นก็จะไม่สามารถถูก index หรือจัดอันดับได้ การวางโครงสร้าง internal link ที่ชัดเจนและ sitemap ที่สะอาดจะช่วยให้ crawler ค้นพบทุกหน้าที่สำคัญได้