Crawl Budget: Là gì và Cách Tối ưu

Crawl Budget là gì?

Crawl budget là thời gian Google dành ra khi truy cập một website. Ngân sách này ảnh hưởng đến thứ hạng và việc lập chỉ mục của một trang, và đó là lý do then chốt để chú ý đến crawl budget của website. Để đạt crawl budget tối ưu, các nguyên tắc chính là:

• ›

  khả năng truy cập

• ›

  tốc độ

• ›

  chất lượng

• ›

  độ uy tín

Crawler là gì?

Crawler là spider hoặc bot chịu trách nhiệm thu thập dữ liệu các website và URL của chúng một cách tự động. Bot này lưu trữ và phân loại nội dung sau đó được hiển thị trong kết quả tìm kiếm cho người dùng. Nó được gọi là Googlebot, vì ta đang nói về thực tế công cụ tìm kiếm quan trọng nhất là Google. Điều quan trọng là Google tìm thấy website của bạn và biết bạn tồn tại.

Crawl Budget ảnh hưởng đến website của tôi như thế nào?

Crawl budget được tối ưu sẽ thúc đẩy thứ hạng website tốt hơn trên công cụ tìm kiếm. Ngoài việc giúp lập chỉ mục đúng tất cả các trang quan trọng. Ta không thể quên crawl budget trong chiến lược định vị SEO, vì thời gian Google đầu tư để biết về website rất quan trọng.

Nó hoạt động như thế nào?

Spider của Google thu thập dữ liệu website của bạn, và nếu crawl budget nhỏ, có thể chúng sẽ rời site của bạn mà không thu thập hết toàn bộ nội dung mới. Họ phân bổ ngân sách dựa trên hai yếu tố:

• ›

  Giới hạn thu thập dữ liệu: Cho biết số lần thu thập tối đa mà website hỗ trợ và các tùy chọn ưu tiên là gì.

• ›

  Nhu cầu thu thập dữ liệu: Cho biết tần suất website nên được thu thập dữ liệu dựa trên độ phổ biến của site và tần suất nó được cập nhật.

Bạn có biết website của mình được thu thập dữ liệu thường xuyên thế nào không?

Nhờ Google Search Console ta có thể xem thống kê thu thập dữ liệu trong ba tháng gần nhất. Ở đó ta thấy số trang được crawl mỗi ngày, số kilobyte đã tải xuống mỗi ngày, và thời gian tải một trang tính bằng mili giây. Dữ liệu có giá trị trung bình được phân loại là cao, bình thường và thấp. Dữ liệu này rất minh họa nếu ta tính tổng số trang trên website và dữ liệu thu thập trung bình mỗi ngày. Với nó ta có thể biết mình có nằm trong chuẩn hay không, hoặc ngược lại, cần cải thiện crawl budget.

Crawl budget nhỏ có hại không?

Có crawl budget nhỏ có những hạn chế:

• ›

  Khó khăn để nội dung xếp hạng nhanh, vì Google không biết nội dung tồn tại và do đó không thu thập hay lập chỉ mục.

• ›

  Các khu vực xa khỏi website sẽ là khu vực nhạy cảm nếu crawl budget nhỏ. Bot sẽ không có thời gian đi qua các trang hoặc phần xa hơn trên website.

• ›

  Các tối ưu hóa SEO on-page đã thực hiện sẽ không được crawl, và do đó, các cải tiến sẽ không hiển thị.

• ›

  Nếu một website khác lập chỉ mục và xếp hạng cùng nội dung trước website của ta, Google có thể xác định ta đã sao chép nội dung và phạt vì điều đó.

• ›

  Nhiều crawl budget không đảm bảo gì nếu ta không tối ưu đúng cách.

Hành vi của các spider là gì?

Để biết Google truy cập trang nào và đầu tư thời gian thu thập dữ liệu vào đâu, và liệu chúng có trùng với ưu tiên SEO của ta hay không, ta phải tham khảo thông tin do logs cung cấp.

Logs là yêu cầu đến server được lưu trữ và ta có thể truy cập để biết Googlebot truy cập gì và không truy cập gì. Xuất và tổ chức tài liệu này có thể dễ hơn với ScreamingFrog Log File Analyser.

Cách tối ưu Crawl Budget của ta?

Ta phải rõ ràng về các URL chính, cho định vị web và cho kinh doanh, để chúng được crawl nhiều nhất. Đầu tư crawl budget vào các trang không thực sự quan trọng, như trang có tham số, phân trang, v.v., là vô ích.

Quan trọng là không có vấn đề nội dung trùng lặp, hoặc các URL ăn thịt cùng từ khóa. Nội dung chất lượng thấp cũng có hại vì bot sẽ dành thời gian đi qua nó.

Để tối ưu, ta phải nhấn mạnh các khu vực sau:

WPO (Web Performance Optimization)

Tối ưu tốc độ tải hay WPO để Google không mất quá nhiều thời gian thu thập dữ liệu website. Google thích mã sạch và càng ít file càng tốt để thuận lợi cho việc tải và đạt trải nghiệm người dùng tối ưu khi duyệt.

Đừng quên:

• ›

  Giảm và nén file CSS và JS

• ›

  Theo dõi trọng lượng và kích thước hình ảnh, và chỉ định kích thước

• ›

  Chọn Nginx làm server để cải thiện định vị thông qua caching.

Liên kết và chuyển hướng

Bot sẽ thu thập dữ liệu tất cả nội dung trên website, và cũng theo từng liên kết trên mỗi trang. Để thuận lợi cho việc crawl đúng cách, bạn phải tính đến:

• ›

  Bạn nên tránh các chuyển hướng không cần thiết, vì Google sẽ bị lạc trong đó.

• ›

  Chuỗi chuyển hướng là chuyển hướng của nhiều URL khiến Google bị lạc mà không đến được URL đích.

• ›Liên kết hỏng (trang được liên kết với trạng thái 404 không tìm thấy) trong liên kết nội bộ.

Screaming Frog và Search Console sẽ là đồng minh đặc biệt trong việc phát hiện chuyển hướng lỗi và mọi loại URL có lỗi.

Liên kết nội bộ

Liên kết nội bộ sẽ rất quan trọng để chăm sóc, đừng làm quá đà với việc liên kết và khiến bot bị lạc khi crawl các URL.

• ›Ta phải củng cố các khu vực quan trọng nhất và để các khu vực ít quan trọng hơn ít liên kết hơn. Vì lý do này, sẽ có các trang như chính sách bảo mật hay trang cookie sẽ không tiện liên kết trên mọi trang từ menu chính hoặc footer.

Mã

• ›Nên đưa HTML vào càng nhiều càng tốt, để thuận lợi cho việc thu thập dữ liệu và lập chỉ mục cho bot. Điều ai cũng biết là Google render và lập chỉ mục các trang có JavaScript khá khó khăn.

XML Sitemap

Sitemap là một trong những file cơ bản cho Google vì nó đảm bảo việc thu thập dữ liệu và lập chỉ mục đúng của một website.

• ›

  Càng có tổ chức càng tốt. Tổ chức sitemap theo trục dọc hoặc thư mục.

• ›

  Chỉ định tên mô tả nó chứa gì. Tránh tên quá chung chung như "sitemap 1"

• ›

  Một sitemap cho hình ảnh, video, và theo ngôn ngữ.

• ›

  Các URL bạn đưa vào phải luôn quan trọng nhất, vì vậy đừng đưa vào trang có chuyển hướng, không có thẻ canonical, trang có bộ lọc, phân trang, v.v. Cũng đừng đưa vào các trang không quá liên quan, như chính sách bảo mật hay cookie.

Robots.txt

Cùng với sitemap, file robots.txt là một trong những file then chốt trong việc lập chỉ mục và thu thập dữ liệu của một website. Vậy đừng quên tối ưu nó nhiều nhất có thể:

• ›

  Tham chiếu XML sitemap để thuận lợi cho việc thu thập dữ liệu nhiều nhất có thể.

• ›

  Đừng chặn các thư mục quan trọng. Để làm vậy, bạn có thể thử trình kiểm tra robots.txt của Search Console và kiểm tra xem có chặn thư mục hay trang quan trọng nào không.

• ›

  Đừng chặn các trang có chuyển hướng hay canonical

• ›

  Cho phép truy cập JS và CSS

Thẻ Hreflang

• ›Các thuộc tính hoàn chỉnh này sẽ giúp Google xác định website có sẵn ở những ngôn ngữ nào và bao nhiêu ngôn ngữ.

Metarobots noindex và X-Robots-Tag

Các chỉ thị này nói cho bot biết những trang hoặc thư mục nào không nên được lập chỉ mục, nhưng chúng không ngăn truy cập thu thập dữ liệu.

• ›

  Các thẻ với chỉ thị metarobots "noindex" tiêu thụ crawl budget, vậy nên việc không lạm dụng chúng là cốt yếu.

• ›

  Header X-Robots được đưa vào header ở cấp độ mã và có thể chỉ ra một số chỉ thị cho Google, bao gồm cả việc không lập chỉ mục trang.

Nguồn tham khảo:

• ›

  José Facchin: Crawl Budget là gì, nó quan trọng thế nào với Google và bạn có thể cải thiện nó ra sao?

• ›

  Đại lý SEOCOM: Crawl Budget là gì?

• ›

  Đại lý Big SEO: Crawl Budget là gì? Chìa khóa để tối ưu nó

• ›

  ContentKing: Crawl budget trong SEO: hướng dẫn tham khảo

• ›

  Mi posicionamiento web: Crawl Budget là gì?

• ›

  Luis Villanueva: Crawl Budget là gì?

• ›

  Neil Patel: Cách dùng Crawl Budget của Google để cải thiện SEO website

• ›

  Search Engine Journal: 7 mẹo tối ưu Crawl Budget cho SEO

• ›

  Webmasters Google Blog: Crawl Budget có ý nghĩa gì với Googlebot?

• ›

  DeepCrawl: Crawl budget là gì?