Googlebot Evergreen: Google의 새로운 크롤러
Google Webmasters 팀이 게시한 최신 기사 덕분에 SEO 세계는 축하할 이유가 있습니다. GoogleBot Evergreen이라는 새 버전의 Googlebot도 웹마스터 도구에서 사용할 수 있게 될 것이라는 발표입니다.
아래에서 SEO 관점에서 기술 구현 수준에 미치는 영향을 살펴보겠습니다.
1) GoogleBot Evergreen이란 무엇인가요?
최근까지 Google의 봇(크롤러)은 인터넷의 모든 웹사이트를 분석하기 위해 Google Chrome 41을 사용했습니다. Google Chrome이 이제 78 버전이라는 점을 고려하면, GoogleBot이 자체 브라우저에 비해 얼마나 뒤처져 있는지 상상할 수 있습니다. 그러나 최근 Google I/O 이벤트에서 이와 관련하여 많은 개선 사항을 발표했습니다. 주요 사항은 그때부터 GoogleBot이 새 버전의 Chrome을 사용할 뿐만 아니라 업데이트가 연결되어 항상 최신 버전을 사용한다는 것입니다.
Google이 새로운 렌더링 엔진을 발표합니다: GoogleBot Evergreen
아래에서는 Search 팀의 영상을 볼 수 있는데, GoogleBot Evergreen의 큰 발표를 했고 SEO 세계에 대한 통계와 향후 프로젝트 및 2019년 개선 계획에 대해서도 논의했습니다.
40분 영상이지만 정말 볼 가치가 있습니다. 첫째, 아마도 Google에서 가장 큰 SEO 전문가 2명이 출연하기 때문이고, 둘째, 그들은 SEO 세계의 진화와 사용자에게 최고의 콘텐츠를 제공하기 위해 어떻게 적응할 수 있는지에 초점을 맞추기 때문입니다.
2) 영향
Chrome 41에서 Chromium(최신 버전)으로 이전하는 가장 근본적이고 중요한 변화는 이제부터 GoogleBot이 JavaScript를 실행하고 페이지를 렌더링할 수 있다는 것입니다. 지금까지 이 프로세스는 훨씬 느리거나, 사이트가 현대적인 JavaScript 소프트웨어(Vue…)로 빌드된 경우 봇용 정적 페이지를 생성하기 위한 특정 도구(Prerender.io, Puppeteer…)를 사용하지 않으면 불가능했습니다. 그러나 이 개선으로 Google은 이전에 접근할 수 없었던 훨씬 더 많은 사이트를 이해할 수 있습니다.
다음 이미지에서 이전 GoogleBot이 Chrome 41로 사이트를 어떻게 이해했고 새 버전으로 콘텐츠를 어떻게 처리하는지 볼 수 있습니다.
GoogleBot이 변경 전과 후에 페이지를 본 방식 예시.
광범위한 기술 팀을 갖춘 대기업의 경우 필요한 자원을 할당할 수 있어 큰 문제가 아니었습니다. 그러나 중소기업의 경우 이는 진정한 골칫거리일 수 있었습니다. 그래서 이 변경은 많은 회사의 콘텐츠가 적절히 크롤링되고 인덱싱될 수 있도록 도와줄 수 있습니다.
이제 자신의 사이트에 대해 생각하고 어떻게 영향을 미칠지 궁금하시다면, Google 팀 자체에 따르면 답은 "그렇지 않을 것입니다"라는 점에 유의하세요. 원칙적으로 변경은 눈에 띄지도 않을 것이기 때문입니다. 왜일까요?
- 이 기술은 철저히 테스트되었습니다.
- 여러 달에 걸쳐 많은 웹사이트에서 분석이 수행되었습니다.
- 추적/로깅 스킴을 깨뜨리지 않도록 사전 통보 없이 user-agent가 변경되지 않을 것입니다…
이번 주 발표된 주요 변경 사항 중 하나는 이 새로운 렌더링 엔진이 Webmasters용 SEO 도구에도 적용되어 모든 SEO 전문가가 모든 종류의 테스트와 분석을 수행할 수 있다는 것입니다:
3) Mobile First Index
GoogleBot Evergreen 발표와 함께 나온 또 다른 주요 뉴스는 모바일 세계와 관련된 변경 사항의 발표였습니다.
아마도 2019년 말까지 인터넷의 모든 웹사이트가 GoogleBot Mobile을 통해 크롤링될 것입니다.
Google Search 팀은 정말로 충격적인 통계를 공개했습니다:
- 50% 이상의 웹사이트가 GoogleBot Mobile로 분석되고 있습니다.
- 2019년 말 또는 2020년 초에는 Google이 인터넷의 100%를 GoogleBot Mobile로 분석할 수 있습니다.
- GoogleBot은 130조 페이지 이상을 크롤합니다.
- 모바일 기기의 사이트 속도는 랭킹 요소이며 전환율, 페이지 체류 시간 및 모든 비즈니스에 중요한 요소에 직접적인 영향을 미칩니다.
4) 업데이트
이는 끊임없이 변화하는 주제이므로 Google 엔진과 관련된 모든 뉴스를 게시하기 위해 이 섹션을 만들었습니다.
2019년 10월 2일: Google은 2019년 12월부터 GoogleBot user-agent가 브라우저의 최신 버전을 반영하도록 조정되며 Chrome의 최신 버전에 따라 업데이트될 것이라고 발표했습니다.
다음은 현재 user-agents입니다:
- 모바일:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- 데스크톱
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
그러나 12월부터 새로운 user-agents는 다음과 같을 것입니다:
- 모바일
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- 데스크톱
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
** "W.X.Y.Z" 기호는 Google Chrome 버전이 출시될 때마다 대체됩니다. *
방금 읽으신 내용에 대한 질문, 의문 또는 제안 사항이 있으신가요? 여러분의 의견을 듣고 싶습니다! SEO 세계의 공유된 지식에 기여해 주셔서 정말 감사합니다.
** 모든 이미지는 Google(YouTube 영상)의 양해 하에 사용되었습니다. *
저자: David Kaufmann
지난 10년 넘게 SEO에 완전히 빠져 살아왔습니다 — 솔직히 다른 길을 가고 싶지도 않았어요.
제 커리어가 한 단계 도약한 것은 인터넷 전체에서 방문자가 가장 많은 100개 사이트 중 하나인 Chess.com에서 시니어 SEO 스페셜리스트로 일했을 때입니다. 수백만 페이지, 수십 개 언어, 그리고 가장 경쟁이 치열한 SERP 중 하나에서 일한 경험은 어떤 강의나 자격증도 가르쳐주지 못하는 것들을 알려주었습니다. 이 경험은 진정으로 훌륭한 SEO가 어떤 모습이어야 하는지에 대한 제 관점을 완전히 바꾸어 놓았고, 이후 제가 만든 모든 것의 기초가 되었습니다.
이 경험을 바탕으로 SEO Alive를 창업했습니다 — 오가닉 성장에 진심인 브랜드를 위한 에이전시입니다. 우리는 대시보드와 월간 리포트를 파는 것이 목표가 아닙니다. 실제로 결과를 움직이는 전략을 만들어, 클래식 SEO의 최고와 흥미진진한 새로운 Generative Engine Optimization(GEO) 세계를 결합합니다 — 여러분의 브랜드가 Google의 파란 링크뿐 아니라 ChatGPT, Perplexity, Google AI Overviews가 매일 수백만 명에게 전달하는 AI 생성 답변 안에도 노출되도록 합니다.
그리고 이 두 세계를 제대로 다루는 도구를 찾을 수 없어서 직접 만들었습니다 — SEOcrawl입니다. 랭킹, 기술 감사, 백링크 모니터링, 크롤 건전성, AI 브랜드 가시성 추적을 한 곳에서 통합하는 엔터프라이즈 SEO 인텔리전스 플랫폼이죠. 항상 존재하기를 바랐던 바로 그 플랫폼입니다.
이 저자의 더 많은 콘텐츠를 만나보세요
