Новий звіт Crawl Stats у Google Search Console

Що таке Google Crawl Stats?

Це ґрунтовне оновлення розділу "статистика сканування", який раніше був у старих Webmaster Tools. За його допомогою ми отримуємо доступ до різних даних і статистики історії сканування Googlebot на нашому сайті. У новій версії це стає інструментом, що частково дає змогу працювати з логами, а не лише графіком візуалізації.

Доступ до цього звіту можна отримати у своєму обліковому записі Search Console, у розділі Налаштування > Статистика сканування.

Що нового в оновленому звіті

Він приносить кілька нововведень:

• ›Загальна кількість запитів бота, згрупована за кодом відповіді, типом просканованого файлу, метою сканування та типом Googlebot. Деякі з них стануть вам у нагоді.
• ›Детальна інформація про стан хоста.
• ›Приклади URL, що показують, де саме на сайті відбувалися різні запити.
• ›Повний підсумок властивостей із кількома хостами та підтримка доменних властивостей.

Розділи інструмента аналізу логів від Google

Запрошуємо вас у подорож різними розділами Crawl Stats. Приєднаєтесь?

Графік статистики сканування

Цей новий графік, уже адаптований до сучасного дизайну Search Console, показує статистику сканування з часом. У ньому можна переглянути три метрики:

• ›Загальна кількість запитів сканування за період часу або щоденно, якщо навести курсор на графік.
• ›Загальний обсяг завантажених даних у байтах.
• ›Середній час відповіді в мілісекундах.

Поки що нічого нового — це більше зміна інтерфейсу. Але погляньмо на наступні розділи…

Сканування різних хостів у вашій доменній властивості

Ваша доменна властивість у Search Console може складатися з кількох хостів, як-от версії з www та без, або будь-який ваш піддомен. Цей графік дає змогу побачити, як Googlebot їх сканує, і ви можете натиснути на кожен, щоб отримати індивідуальну, відфільтровану інформацію.

У цьому розділі ми можемо мати 3 індикатори, які з першого погляду вже багато про що говорять:

За останні 90 днів не виявлено жодних проблем зі скануванням.

За останні 90 днів була певна проблема зі скануванням сайту, але вона сталася більше тижня тому.

Принаймні одну помилку виявлено за останні 7 днів — час її виправити!

Нові угруповання характеристик сканування

Тепер ми можемо категоризувати відвідування Googlebot за кількома вимірами сканування:

• ›За відповіддю: так ми знатимемо про перенаправлення та сторінки помилок, через які пройшов Googlebot за вказаний період часу.
• ›За типом файлу: Googlebot може витрачати багато часу сканування на типи файлів, які нас не цікавлять. Завдяки цьому угрупованню ми це знатимемо.
• ›За метою: тут ми можемо розрізнити відсоток сканування, присвячений сторінкам, які він уже знав, і виявленню нових URL.
• ›За типом бота Google: ми знаємо, що Google має різні типи ботів, і кожен має свою функцію. У цьому звіті ми побачимо, наскільки часто кожен з них нас відвідує.

Ви зможете заглибитись у кожен і побачити кілька прикладів URL. При цьому це лише приклади. Не всі URL, які ви бачите у звіті, будуть вам доступні. Можна виявити закономірності, але не завантажити повну інформацію та працювати з нею.

Висновки про інструмент

Це покращення, що значно допомагає виявити суттєві проблеми зі скануванням сайту простим і безоплатним способом. Не вважаємо, що він замінить інструменти аналізу логів як-от Kibana чи Screaming Frog Log File Analyzer, адже те, що пропонує нам Google, — це вибірка, а не точні дані. Тому для проєктів з особливими вимогами це не може бути заміною. Тобто ми зможемо вирішити чимало проблем, але не повністю проаналізувати сканування, яке Google виконує на нашому сайті. Зважайте, що це щойно запущена функція, і поки що ми не знаємо, як вона розвиватиметься.