Technical SEO

Crawl Budget คืออะไร

Crawl Budget คือจำนวนหน้าที่ search engine จะ crawl บนเว็บไซต์หนึ่งภายในช่วงเวลาที่กำหนด ซึ่งถูกกำหนดด้วยขนาด ความเร็ว และความน่าเชื่อถือ (authority) ของเว็บไซต์นั้น

เรื่องนี้จะมีความสำคัญก็ต่อเมื่อเว็บมีขนาดใหญ่เท่านั้น เว็บไซต์ขนาด 200 หน้าแทบไม่มีทางชนเพดานนี้ แต่เว็บไซต์ที่มี 500,000 URL ซึ่งสิ้นเปลือง crawl budget ไปกับพารามิเตอร์ของตัวกรอง (filter) และหน้าที่ตายแล้ว อาจทำให้เนื้อหาสำคัญไม่ถูกค้นพบ การวางโครงสร้าง internal link ที่กระชับและการตัด URL ที่มีคุณค่าต่ำทิ้งจะช่วยนำ budget ไปใช้ในจุดที่สำคัญ เว็บไซต์ขนาดเล็กส่วนใหญ่ไม่จำเป็นต้องกังวลเรื่องนี้

อาการที่ชัดที่สุดของปัญหา crawl budget คือระยะห่างระหว่างการเผยแพร่กับการถูก index ที่ยาวขึ้นเรื่อย ๆ หน้าใหม่ที่เคยขึ้นภายในไม่กี่วันเริ่มใช้เวลาเป็นสัปดาห์ ขณะที่รายงาน crawl stats แสดงปริมาณ request คงที่หรือลดลง สาเหตุแทบทุกครั้งคือ URL ที่งอกเกินจำเป็น ไม่ใช่กำลังของเซิร์ฟเวอร์ Faceted navigation คือตัวการหลัก เพราะ filter ไม่กี่ตัวสร้างชุดผสมที่ crawl ได้มากกว่าจำนวนสินค้าจริงบนเว็บ ให้แก้ที่ต้นทางด้วยการคุมว่าชุดผสมไหนถูกลิงก์และ crawl ได้ แทนที่จะไปไล่บล็อกผลลัพธ์หลังจากมันเกิดขึ้นแล้ว