Googlebot Evergreen: O Novo Crawler do Google
O mundo do SEO tem motivos para comemorar graças ao último artigo publicado pela equipe do Google Webmasters, anunciando que a nova versão do Googlebot, chamada GoogleBot Evergreen, também estará disponível para as ferramentas de webmaster.
A seguir, veremos as implicações que isso tem no nível de implementação técnica do ponto de vista do SEO.
1) O que é o GoogleBot Evergreen?
Até pouco tempo, o Bot do Google (crawler) usava o Google Chrome 41 para analisar todos os sites da Internet. Considerando que o Google Chrome agora está na versão 78, você pode imaginar o quanto o GoogleBot estava atrasado em relação ao seu navegador. No entanto, no recente evento Google I/O, anunciaram muitas melhorias nesse sentido. A principal foi que, a partir de então, não só o GoogleBot usaria a nova versão do Chrome, como sua atualização ficaria vinculada para sempre usar as últimas versões.
O Google anuncia seu novo motor de renderização: GoogleBot Evergreen
Abaixo, você pode assistir ao vídeo da equipe de Search, em que eles fizeram o grande anúncio do GoogleBot Evergreen e também discutiram estatísticas sobre o mundo do SEO e os planos do Google para seus próximos projetos e melhorias em 2019.
É um vídeo de 40 minutos, mas vale muito a pena assistir. Primeiro, porque conta com o que provavelmente são 2 dos maiores especialistas em SEO do Google e, segundo, porque eles focam na evolução do mundo do SEO e em como podemos nos adaptar para servir o melhor conteúdo aos usuários.
2) Implicações
A mudança fundamental e mais importante ao passar do Chrome 41 para o Chromium (versões mais recentes) é que, a partir de agora, o GoogleBot pode executar Javascript e renderizar páginas. Até agora, esse processo era muito mais lento ou até impossível, a menos que certas ferramentas fossem usadas para criar páginas estáticas para o bot (Prerender.io, Puppeteer...) se o site fosse construído com software JavaScript moderno (Vue...). No entanto, com essa melhoria, o Google poderá entender muito mais sites que antes eram inacessíveis.
Na imagem a seguir, você pode ver como o antigo GoogleBot com o Chrome 41 entendia um site e como ele processa o conteúdo com a nova versão.
Exemplo de como o GoogleBot via uma página antes e depois da mudança.
Para grandes empresas com equipes técnicas extensas, isso não era um grande problema, já que podiam alocar os recursos necessários. No entanto, para pequenas e médias empresas, isso podia ser uma verdadeira dor de cabeça. Por isso, essa mudança pode ajudar muitas empresas a garantir que seu conteúdo possa ser rastreado e indexado corretamente.
Agora, se você está pensando no seu site e se perguntando como isso pode te afetar, observe que, segundo a própria equipe do Google, a resposta é "não deveria", já que, em princípio, as mudanças nem deveriam ser perceptíveis. Por quê?
- Esta tecnologia foi exaustivamente testada.
- Foram realizadas análises ao longo de vários meses em muitos sites.
- O user-agent não será alterado sem aviso prévio para evitar quebrar seus esquemas de tracking/logging...
Uma das grandes mudanças anunciadas nesta semana é que esse novo motor de renderização também foi aplicado às ferramentas SEO para Webmasters para que todos os profissionais de SEO possam realizar todo tipo de testes e análises:
- Inspetor de URL do Search Console
- Teste de Compatibilidade com Mobile
- Teste de Resultados Aprimorados
- Teste de AMP
3) Mobile First Index
Outra grande novidade que veio junto com o anúncio do GoogleBot Evergreen foi o anúncio de mudanças relacionadas ao mundo Mobile.
Provavelmente, até o final de 2019, todos os sites da Internet serão rastreados via GoogleBot Mobile.
A equipe de Google Search revelou estatísticas realmente impactantes:
- Mais de 50% dos sites estão sendo analisados com o GoogleBot Mobile.
- Até o final de 2019 ou início de 2020, o Google poderia estar analisando 100% da Internet com o GoogleBot Mobile.
- O GoogleBot rastreia +130 trilhões de páginas.
- A velocidade do seu site em dispositivos móveis é um fator de ranqueamento e tem impacto direto nas conversões, tempo na página e outros fatores críticos para qualquer negócio.
4) Atualizações
Como esse é um tema em constante mudança, criamos esta seção para publicar todas as novidades relacionadas ao motor do Google.
2 de outubro de 2019: O Google anuncia que, a partir de dezembro de 2019, o user-agent do GoogleBot será ajustado para refletir a versão mais recente do navegador e será atualizado de acordo com as últimas versões do Chrome.
Estes são os user-agents atuais:
- Mobile:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- Desktop
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) A partir de dezembro, no entanto, os novos user-agents serão os seguintes:
- Mobile
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- Desktop
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ** Os símbolos "W.X.Y.Z" serão substituídos pelas versões do Google Chrome conforme forem lançadas. *
Você tem perguntas, dúvidas ou sugestões sobre o que acabou de ler? Adoraríamos ouvir sua opinião! Muito obrigado por contribuir para o conhecimento compartilhado no mundo do SEO.
** Todas as imagens são cortesia do Google (vídeo do YouTube). *
Autor: David Kaufmann
Passei os últimos 10 e tantos anos completamente obcecado por SEO — e, sinceramente, não quereria que fosse de outra forma.
A minha carreira atingiu um novo patamar quando trabalhei como Senior SEO Specialist na Chess.com — um dos 100 sites mais visitados de toda a internet. Operar nessa escala, em milhões de páginas, dezenas de idiomas e numa das SERPs mais competitivas que existem, ensinou-me coisas que nenhum curso ou certificação jamais poderia. Essa experiência mudou a minha perspetiva sobre o que é realmente um grande trabalho de SEO — e tornou-se a base de tudo o que construí desde então.
Foi a partir dessa experiência que fundei a SEO Alive — uma agência para marcas que levam a sério o crescimento orgânico. Não estamos aqui para vender dashboards e relatórios mensais. Estamos aqui para construir estratégias que realmente fazem a diferença, combinando o melhor do SEO clássico com o novo e empolgante mundo da Generative Engine Optimization (GEO) — garantindo que a tua marca apareça não só nos links azuis do Google, mas também dentro das respostas geradas por AI que o ChatGPT, o Perplexity e o Google AI Overviews entregam a milhões de pessoas todos os dias.
E como não consegui encontrar uma ferramenta que lidasse corretamente com esses dois mundos, construí uma eu mesmo — a SEOcrawl, uma plataforma enterprise de SEO intelligence que reúne rankings, auditorias técnicas, monitoramento de backlinks, saúde do crawl e tracking de visibilidade de marca em AI, tudo num só lugar. É a plataforma que sempre desejei que existisse.
Descubra mais conteúdos deste autor
