Googlebot Evergreen: новый краулер Google

1) Что такое GoogleBot Evergreen?

До недавнего времени бот (краулер) Google использовал Google Chrome 41, чтобы анализировать все сайты в интернете. Учитывая, что Google Chrome сейчас на версии 78, можно представить, насколько GoogleBot отставал от своего браузера. Однако на недавнем мероприятии Google I/O анонсировали много улучшений на этот счёт. Главное из них: с этого момента GoogleBot не только перейдёт на новую версию Chrome, но и его обновление будет привязано так, чтобы он всегда использовал самые свежие версии.

Google анонсирует свой новый движок рендеринга: GoogleBot Evergreen

Ниже можно посмотреть видео от команды Search, в котором они сделали большой анонс GoogleBot Evergreen, а также обсудили статистику по SEO-миру и планы Google по ближайшим проектам и улучшениям в 2019 году.

Видео на 40 минут, но его действительно стоит посмотреть. Во-первых, потому что в нём участвуют, вероятно, 2 крупнейших SEO-эксперта в Google, а во-вторых, потому что они делают упор на эволюцию SEO-мира и на то, как нам подстраиваться, чтобы отдавать пользователям лучший контент.

2) Последствия

Фундаментальное и самое важное изменение при переходе с Chrome 41 на Chromium (последние версии) в том, что теперь GoogleBot умеет выполнять Javascript и рендерить страницы. До сих пор этот процесс был куда медленнее или вовсе невозможен, если не использовались определённые инструменты для создания статических страниц для бота (Prerender.io, Puppeteer...) и сайт был собран на современном JavaScript-софте (Vue...). Однако с этим улучшением Google сможет понимать гораздо больше сайтов, которые раньше были ему недоступны.

На следующем изображении видно, как старый GoogleBot с Chrome 41 понимал сайт и как он обрабатывает контент в новой версии.

Пример того, как GoogleBot видел страницу до и после изменения.

Для крупных компаний с большими техническими командами это не было серьёзной проблемой: они могли выделить нужные ресурсы. А вот для малого и среднего бизнеса это могло превращаться в настоящую головную боль. Поэтому такое изменение может помочь многим компаниям добиться того, чтобы их контент нормально сканировался и индексировался.

Если вы сейчас думаете о своём сайте и гадаете, как это на вас отразится, учтите: по словам самой команды Google, ответ — «никак не должно», потому что в принципе изменения не должны быть даже заметны. Почему?

• ›Эта технология была тщательно протестирована.
• ›Анализ проводился несколько месяцев на множестве сайтов.
• ›User-agent не будут менять без предварительного уведомления, чтобы не сломать ваши схемы трекинга/логирования...

Одно из главных изменений, анонсированных на этой неделе, — что новый движок рендеринга применили и к SEO-инструментам для вебмастеров, чтобы все SEO-специалисты могли проводить любые тесты и анализы:

• ›Search Console URL Inspector
• ›Mobile-Friendly Test
• ›Rich Results Test
• ›AMP Test

3) Mobile First Index

Ещё одна крупная новость, вышедшая вместе с анонсом GoogleBot Evergreen, — объявление об изменениях, связанных с мобильным миром.

Вероятно, к концу 2019 года все сайты в интернете будут обходиться через GoogleBot Mobile.

Команда Google Search раскрыла по-настоящему впечатляющую статистику:

• ›Больше 50% сайтов анализируются с помощью GoogleBot Mobile.
• ›К концу 2019 или началу 2020 года Google мог бы анализировать 100% интернета с помощью GoogleBot Mobile.
• ›GoogleBot сканирует +130 триллионов страниц.
• ›Скорость вашего сайта на мобильных устройствах — фактор ранжирования, и она напрямую влияет на конверсии, время на странице и другие критичные для любого бизнеса показатели.

4) Обновления

Поскольку тема постоянно меняется, мы завели этот раздел, чтобы публиковать все новости, связанные с движком Google.

2 октября 2019 года: Google объявляет, что с декабря 2019 года user-agent GoogleBot будет скорректирован так, чтобы отражать актуальную версию браузера, и будет обновляться вслед за свежими версиями Chrome.

Вот текущие user-agent:

• ›Mobile:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

• ›Desktop

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Однако с декабря новыми user-agent станут следующие:

• ›Mobile

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

• ›Desktop

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ** Символы «W.X.Y.Z» будут заменяться на версии Google Chrome по мере их выхода. *

Есть вопросы, сомнения или предложения по прочитанному? Мы будем рады услышать ваше мнение! Огромное спасибо за вклад в общие знания SEO-мира.

** Все изображения предоставлены Google (видео на YouTube). *