Новый отчёт «Статистика сканирования» в Google Search Console

Что такое «Статистика сканирования» в Google?

Это основательная переработка раздела «статистика сканирования», который был в старом Webmaster Tools. С его помощью мы получаем доступ к разным данным и статистике по истории сканирования нашего сайта роботом Googlebot. В новой версии он становится инструментом, позволяющим в какой-то мере работать с логами, а не просто графиком для визуализации.

Открыть этот отчёт можно в аккаунте Search Console, в разделе «Настройки» > «Статистика сканирования».

Что нового в обновлённом отчёте

В нём есть несколько новшеств:

• ›Общее число запросов бота с группировкой по коду ответа, типу просканированного файла, цели сканирования и типу Googlebot. Часть из них будет вам очень полезна.
• ›Подробная информация о статусе хоста.
• ›Примеры URL, показывающие, в каких местах сайта происходили те или иные запросы.
• ›Полная сводка по ресурсам с несколькими хостами и поддержка ресурсов-доменов.

Разделы инструмента анализа логов от Google

Приглашаем вас в путешествие по разным разделам «Статистики сканирования». Составите компанию?

График статистики сканирования

Этот новый график, уже адаптированный под нынешний дизайн Search Console, показывает статистику сканирования во времени. На нём можно увидеть три метрики:

• ›Общее число запросов сканирования за период или по дням, если навести курсор на график.
• ›Общий объём скачанных данных в байтах.
• ›Среднее время ответа в миллисекундах.

Пока ничего особенно нового — скорее смена интерфейса. Но давайте посмотрим следующие разделы...

Сканирование разных хостов в вашем ресурсе-домене

Ваш ресурс-домен в Search Console может состоять из нескольких хостов — например, версий с www и без, или любого вашего поддомена. Этот график позволяет увидеть, как Googlebot их сканирует, и по каждому можно кликнуть, чтобы получить отдельную отфильтрованную информацию.

В этом разделе у нас может быть 3 индикатора, которые с первого взгляда говорят уже о многом:

За последние 90 дней проблем со сканированием не обнаружено.

За последние 90 дней на сайте была какая-то проблема со сканированием, но произошла она более недели назад.

За последние 7 дней найдена как минимум одна ошибка — пора её исправить!

Новые группировки характеристик сканирования

Теперь мы можем категоризировать визиты Googlebot по нескольким измерениям сканирования:

• ›По ответу: так мы узнаем, через какие редиректы и страницы ошибок прошёл Googlebot за указанный период.
• ›По типу файла: Googlebot может тратить много времени сканирования на типы файлов, которые нам не важны. Благодаря этой группировке мы это узнаем.
• ›По цели: здесь можно различить долю сканирования, посвящённую уже известным страницам, и долю на обнаружение новых URL.
• ›По типу бота Google: мы знаем, что у Google разные типы ботов и у каждого своя функция. В этом отчёте мы увидим, как часто каждый из них к нам заходит.

По каждому пункту можно углубиться и посмотреть несколько примеров URL. Правда, это именно примеры. Не все URL, которые вы видите в отчёте, будут вам доступны. Закономерности заметить можно, а вот скачать полную информацию и работать с ней — нет.

Выводы об инструменте

Это улучшение, которое сильно помогает выявлять существенные проблемы сканирования на сайте простым и бесплатным способом. Мы не думаем, что оно заменит инструменты анализа логов вроде Kibana или Screaming Frog Log File Analyzer, потому что Google даёт нам выборку, а не точные данные. Поэтому для проектов с особыми требованиями заменой оно быть не может. Коротко говоря, мы сможем решить много проблем, но не полностью проанализировать сканирование, которое Google выполняет на нашем сайте. Учтите, что функция только что запущена, и пока мы не знаем, как она будет развиваться.