Googlebot Evergreen: O Novo Crawler do Google
O mundo do SEO tem motivos para comemorar graças ao último artigo publicado pelo time do Google Webmasters, anunciando que a nova versão do Googlebot, chamada GoogleBot Evergreen, também estará disponível para as ferramentas de webmaster.
A seguir, veremos as implicações que isso tem no nível de implementação técnica do ponto de vista do SEO.
1) O que é o GoogleBot Evergreen?
Até pouco tempo, o Bot do Google (crawler) usava o Google Chrome 41 para analisar todos os sites da Internet. Considerando que o Google Chrome agora está na versão 78, você pode imaginar o quanto o GoogleBot estava atrasado em relação ao seu navegador. No entanto, no recente evento Google I/O, anunciaram muitas melhorias nesse sentido. A principal foi que, a partir de então, não só o GoogleBot usaria a nova versão do Chrome, como sua atualização ficaria vinculada para sempre usar as últimas versões.
O Google anuncia seu novo motor de renderização: GoogleBot Evergreen
Abaixo, você pode assistir ao vídeo do time de Search, em que eles fizeram o grande anúncio do GoogleBot Evergreen e também discutiram estatísticas sobre o mundo do SEO e os planos do Google para seus próximos projetos e melhorias em 2019.
É um vídeo de 40 minutos, mas vale muito a pena assistir. Primeiro, porque conta com o que provavelmente são 2 dos maiores especialistas em SEO do Google e, segundo, porque eles focam na evolução do mundo do SEO e em como podemos nos adaptar para servir o melhor conteúdo aos usuários.
2) Implicações
A mudança fundamental e mais importante ao passar do Chrome 41 para o Chromium (versões mais recentes) é que, a partir de agora, o GoogleBot pode executar Javascript e renderizar páginas. Até agora, esse processo era muito mais lento ou até impossível, a menos que certas ferramentas fossem usadas para criar páginas estáticas para o bot (Prerender.io, Puppeteer...) se o site fosse construído com software JavaScript moderno (Vue...). No entanto, com essa melhoria, o Google poderá entender muito mais sites que antes eram inacessíveis.
Na imagem a seguir, você pode ver como o antigo GoogleBot com o Chrome 41 entendia um site e como ele processa o conteúdo com a nova versão.
Exemplo de como o GoogleBot via uma página antes e depois da mudança.
Para grandes empresas com times técnicos extensos, isso não era um grande problema, já que podiam alocar os recursos necessários. No entanto, para pequenas e médias empresas, isso podia ser uma verdadeira dor de cabeça. Por isso, essa mudança pode ajudar muitas empresas a garantir que seu conteúdo possa ser rastreado e indexado corretamente.
Agora, se você está pensando no seu site e se perguntando como isso pode te afetar, observe que, segundo o próprio time do Google, a resposta é "não deveria", já que, em princípio, as mudanças nem deveriam ser perceptíveis. Por quê?
- Esta tecnologia foi exaustivamente testada.
- Foram realizadas análises ao longo de vários meses em muitos sites.
- O user-agent não será alterado sem aviso prévio para evitar quebrar seus esquemas de tracking/logging...
Uma das grandes mudanças anunciadas nesta semana é que esse novo motor de renderização também foi aplicado às ferramentas SEO para Webmasters para que todos os profissionais de SEO possam realizar todo tipo de testes e análises:
- Inspetor de URL do Search Console
- Teste de Compatibilidade com Mobile
- Teste de Resultados Aprimorados
- Teste de AMP
3) Mobile First Index
Outra grande novidade que veio junto com o anúncio do GoogleBot Evergreen foi o anúncio de mudanças relacionadas ao mundo Mobile.
Provavelmente, até o final de 2019, todos os sites da Internet serão rastreados via GoogleBot Mobile.
O time do Google Search revelou estatísticas realmente impactantes:
- Mais de 50% dos sites estão sendo analisados com o GoogleBot Mobile.
- Até o final de 2019 ou início de 2020, o Google poderia estar analisando 100% da Internet com o GoogleBot Mobile.
- O GoogleBot rastreia +130 trilhões de páginas.
- A velocidade do seu site em dispositivos móveis é um fator de ranqueamento e tem impacto direto nas conversões, tempo na página e outros fatores críticos para qualquer negócio.
4) Atualizações
Como esse é um tema em constante mudança, criamos esta seção para publicar todas as novidades relacionadas ao motor do Google.
2 de outubro de 2019: O Google anuncia que, a partir de dezembro de 2019, o user-agent do GoogleBot será ajustado para refletir a versão mais recente do navegador e será atualizado de acordo com as últimas versões do Chrome.
Estes são os user-agents atuais:
- Mobile:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- Desktop
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) A partir de dezembro, no entanto, os novos user-agents serão os seguintes:
- Mobile
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- Desktop
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ** Os símbolos "W.X.Y.Z" serão substituídos pelas versões do Google Chrome conforme forem lançadas. *
Você tem perguntas, dúvidas ou sugestões sobre o que acabou de ler? Adoraríamos ouvir sua opinião! Muito obrigado por contribuir para o conhecimento compartilhado no mundo do SEO.
** Todas as imagens são cortesia do Google (vídeo do YouTube). *
Autor: David Kaufmann
Passei os últimos 10 e poucos anos completamente obcecado por SEO — e, sinceramente, não queria que fosse diferente.
Minha carreira subiu de patamar quando trabalhei como especialista sênior de SEO no Chess.com, um dos 100 sites mais visitados da internet inteira. Operar nessa escala, com milhões de páginas, dezenas de idiomas e uma das SERPs mais competitivas que existem, me ensinou coisas que nenhum curso ou certificação ensinaria. Essa experiência mudou minha visão do que é SEO de verdade — e virou a base de tudo o que construí depois.
Foi dela que nasceu a SEO Alive, uma agência para marcas que levam o crescimento orgânico a sério. Não estamos aqui para vender dashboards e relatórios mensais. Estamos aqui para construir estratégias que realmente movem o ponteiro, combinando o melhor do SEO clássico com o novo e empolgante mundo do Generative Engine Optimization (GEO) — garantindo que sua marca apareça não só nos links azuis do Google, mas dentro das respostas geradas por IA que o ChatGPT, o Perplexity e as AI Overviews do Google entregam a milhões de pessoas todos os dias.
E como eu não encontrava uma ferramenta que desse conta desses dois mundos direito, construí uma: a SEOcrawl AI, uma plataforma enterprise de inteligência em SEO que reúne rankings, auditorias técnicas, monitoramento de backlinks, saúde de rastreamento e acompanhamento da visibilidade da marca em IA — tudo no mesmo lugar. É a plataforma que eu sempre quis que existisse.
Descubra mais conteúdos deste autor
