Crawl Budget: що це таке і як його оптимізувати

Що таке Crawl Budget?

Crawl budget — це час, який Google виділяє, коли відвідує вебсайт. Цей бюджет впливає на ранжування й індексування сайту, і саме тому ключово приділяти увагу crawl budget нашого вебсайту. Аби досягти оптимального crawl budget, ключовими принципами є:

• ›

  доступність

• ›

  швидкість

• ›

  якість

• ›

  авторитет

Що таке краулер?

Краулер — це павук або бот, що автоматично сканує вебсайти та їхні URL-адреси. Цей бот зберігає й класифікує контент, який потім показується в результатах пошуку користувачам. Його називають Googlebot, оскільки ми в Іспанії і йдеться про те, що найважливіша пошукова система — Google. Тому базово, аби Google знайшов ваш вебсайт і знав, що ви існуєте.

Як Crawl Budget впливає на мій вебсайт?

Оптимізований crawl budget сприятиме кращому ранжуванню вашого вебсайту в пошукових системах. А також допоможе з коректним індексуванням усіх важливих сторінок. Не можна забувати про crawl budget у нашій стратегії SEO-просування, бо час, який Google інвестує в пізнання нашого вебсайту, дуже важливий.

Як це працює?

Павуки Google сканують ваш вебсайт, і якщо crawl budget малий, можливо, що вони залишать ваш сайт, не просканувавши весь новий контент. Бюджет призначається на основі двох факторів:

• ›

  Crawl limit: вказує максимальне сканування, яке витримує вебсайт, і які налаштування.

• ›

  Crawl demand: вказує частоту, з якою вебсайт має скануватися, на основі популярності сайту й частоти, з якою він оновлюється.

Чи знаєте ви, як часто сканується ваш вебсайт?

Завдяки Google Search Console ми можемо побачити статистику сканування за останні три місяці. У ній можна бачити сторінки, які він сканує на день, кілобайти, завантажені на день, і час завантаження сторінки в мілісекундах. Дані мають середнє, класифіковане як високе, нормальне й низьке. Ці дані дуже показові, якщо враховувати загальну кількість сторінок нашого вебсайту й середні дані сканування на день. З ними можемо знати, чи перебуваємо в нормі, чи, навпаки, треба поліпшувати crawl budget.

Чи шкідливий менший crawl budget?

Менший crawl budget має недоліки:

• ›

  Складність для контенту швидко ранжуватися, бо Google не знає, що він існує, і, відповідно, не сканує і не індексує його.

• ›

  Області, далекі від вебсайту, будуть делікатними, якщо crawl budget малий. Бот не матиме часу пройтися сторінками чи розділами, що далі на вебсайті.

• ›

  Оптимізації on-page SEO, які було зроблено, не скануватимуться, і, відповідно, поліпшення не будуть видимими.

• ›

  Якщо інший вебсайт індексує і ранжує той самий контент раніше за наш вебсайт, Google може ідентифікувати, що ми скопіювали контент, і покарати нас за це.

• ›

  Великий crawl budget нічого не гарантує, якщо ми не оптимізуємо його коректно.

Яка поведінка павуків?

Аби знати, які сторінки відвідує Google і в які він інвестує свій час сканування, і чи збігаються вони з нашими пріоритетами SEO-просування, ми маємо звернутися до інформації, яку надають логи.

Логи — це запити до сервера, які зберігаються і до яких ми можемо отримати доступ, щоб знати, що Googlebot відвідує, а що ні. Експорт і впорядкування цього документа можуть бути простішими з ScreamingFrog Log File Analyser.

Як оптимізувати наш Crawl Budget?

Маємо чітко знати наші ключові URL-адреси для вебпросування й бізнесу, аби досягти того, щоб саме вони сканувалися найчастіше. Немає сенсу інвестувати crawl budget у сторінки, що не є справді важливими, як-от сторінки з параметрами, пагінації тощо.

Критично важливо не мати проблем з дубльованим контентом чи URL-адрес, що канібалізують одне ключове слово. Низькоякісний контент також шкідливий, бо боти витрачатимуть час на його перегляд.

Аби його оптимізувати, маємо акцентувати увагу на таких сферах:

WPO (Web Performance Optimization)

Оптимізуйте швидкість завантаження або WPO, аби Google не витрачав надто багато часу на сканування вашого вебсайту. Google любить чистий код і якомога меншу кількість файлів, аби полегшити завантаження й досягти оптимального користувацького досвіду під час перегляду.

Не забувайте:

• ›

  Зменшити й стиснути файли CSS і JS

• ›

  Стежити за вагою й розміром зображень і вказувати їхній розмір

• ›

  Обрати Nginx як сервер для поліпшення просування через кешування.

Посилання й перенаправлення

Бот скануватиме весь контент вашого вебсайту, а також ходитиме всіма посиланнями кожної сторінки. Аби сприяти коректному скануванню, маєте враховувати:

• ›

  Слід уникати непотрібних перенаправлень, бо Google в них губитиметься.

• ›

  Ланцюжки перенаправлень — це перенаправлення багатьох URL-адрес, що змусить Google загубитися в них, не діставшись цільових URL-адрес.

• ›Зламані посилання (сторінки з посиланнями зі статусом 404 not found) у внутрішньому лінкуванні.

Screaming Frog та Search Console будуть нашими особливими союзниками у виявленні дефектних перенаправлень і всіляких URL-адрес з помилками.

Внутрішнє лінкування

Внутрішнє лінкування буде критично важливим, аби не перестаратися з лінкуванням і не змусити ботів губитися, скануючи URL-адреси.

• ›Маємо посилювати найважливіші області й залишати менш важливі менш залінкованими. Тому будуть сторінки, як-от політика конфіденційності або сторінка cookie, які не доцільно лінкувати на кожній сторінці з головного меню чи footer.

Код

• ›Бажано включати HTML якомога більше, аби полегшити сканування й індексування для ботів. Загальновідомо, що Google рендерить та індексує сторінки з JavaScript з труднощами.

XML Sitemap

Sitemap — один з фундаментальних файлів для Google, бо гарантує коректне сканування й індексування вебсайту.

• ›

  Чим організованіше, тим краще. Організуйте sitemap за вертикалями чи папками.

• ›

  Указуйте назву, що описує, що він містить. Уникайте надто загальних назв на кшталт «sitemap 1»

• ›

  Sitemap для зображень, відео й за мовами.

• ›

  URL-адреси, які ви включаєте, мають завжди бути найважливішими, тож не включайте сторінок з перенаправленнями, без canonical-тегу, сторінок з фільтрами, пагінаціями тощо. Також не включайте сторінок, що не дуже релевантні, як-от політика конфіденційності або cookie.

Robots txt

Разом з sitemap файл robots.txt — один з ключових файлів в індексуванні й скануванні вебсайту. Тож не забудьте оптимізувати його якомога краще:

• ›

  Посилайтеся на XML sitemap, аби максимально полегшити сканування.

• ›

  Не блокуйте важливих папок. Для цього можете спробувати Search Console robots.txt tester і перевірити, чи блокуєте якусь важливу папку або сторінку.

• ›

  Не блокуйте сторінок з перенаправленнями чи canonical

• ›

  Дозвольте доступ до JS і CSS

Теги Hreflang

• ›Ці повні атрибути допоможуть Google ідентифікувати, якими мовами і скількома доступний вебсайт.

Metarobots noindex і X-Robots-Tag

Ці директиви кажуть боту, які сторінки чи папки не мають бути проіндексовані, але вони не запобігають доступу сканування.

• ›

  Теги з директивою metarobots «noindex» споживають crawl budget, тож життєво важливо не зловживати ними.

• ›

  Заголовок X-Robots включають у заголовок на рівні коду, і він може вказувати кілька директив Google, зокрема не індексувати сторінку.

Опрацьовані джерела:

• ›

  José Facchin: Що таке crawl budget, наскільки він важливий для Google і як його поліпшити?

• ›

  SEOCOM Agency: Що таке Crawl Budget?

• ›

  Big SEO Agency: Що таке Crawl Budget? Ключі для його оптимізації

• ›

  ContentKing: Crawl budget у SEO: довідковий гайд

• ›

  Mi posicionamiento web: Що таке Crawl Budget?

• ›

  Luis Villanueva: Що таке Crawl Budget?

• ›

  Neil Patel: Як використовувати crawl budget Google для поліпшення SEO вашого вебсайту

• ›

  Search Engine Journal: 7 порад для оптимізації Crawl Budget для SEO

• ›

  Webmasters Google Blog: Що означає crawl budget для Googlebot?

• ›

  DeepCrawl: Що таке crawl budget?