Google Search Console의 새로운 Crawl Stats 보고서
2020년 11월 말, Google이 개편된 크롤 통계 보고서를 다시 출시하면서 기술 SEO 업계에 큰 변화의 바람이 불고 있는 것 같습니다. 이제 이름은 Crawl Stats이며, 이 보고서 덕분에 Google의 다양한 봇이 사이트를 어떻게 방문하는지 학습하고 이 유용한 데이터에서 가치 있는 인사이트를 얻을 수 있습니다.
Google Crawl Stats란 무엇인가요?
이는 이전 Webmaster Tools에 있던 "crawl stats" 섹션의 대대적인 개편입니다. 이를 통해 우리 웹사이트에 대한 Googlebot의 크롤 이력에 관한 다양한 데이터와 통계에 접근할 수 있습니다. 새 버전에서는 어느 정도 로그를 다루는 작업 도구가 되었으며, 더 이상 단순한 시각화 차트가 아닙니다.
이 보고서는 Search Console 계정의 설정 > Crawl stats에서 접근할 수 있습니다.
개편된 보고서의 새로운 기능
여러 가지 새로운 기능이 추가되었습니다:
- 응답 코드, 크롤된 파일 유형, 크롤 목적, Googlebot 유형별로 그룹화된 봇 요청 총 수. 그중 일부는 매우 유용할 것입니다.
- 호스트 상태에 대한 상세 정보.
- 사이트의 어디에서 다양한 요청이 발생했는지 보여주는 URL 예시.
- 여러 호스트가 있는 속성에 대한 전체 요약 및 도메인 속성 지원.
Google 로그 분석 도구의 섹션
Crawl Stats의 다양한 섹션을 함께 둘러봅시다. 함께 하시겠습니까?
Crawl stats 차트
현재 Search Console 디자인에 맞게 조정된 이 새로운 차트는 시간 경과에 따른 크롤 통계를 보여줍니다. 차트에서 세 가지 메트릭을 볼 수 있습니다:
- 일정 기간 동안의 총 크롤 요청 수, 또는 차트 위에 커서를 올리면 일별로 확인할 수 있습니다.
- 바이트 단위로 다운로드된 데이터의 총 크기.
- 밀리초 단위로 평균 응답 시간.
여기까지는 큰 변화가 없습니다. 단순한 인터페이스 변경에 가깝습니다. 하지만 다음 섹션을 살펴봅시다…
도메인 속성의 다양한 호스트 크롤링
Search Console의 도메인 속성은 www가 있는 버전과 없는 버전, 또는 보유한 모든 서브도메인 등 여러 호스트로 구성될 수 있습니다. 이 차트를 통해 Googlebot이 그것들을 어떻게 크롤하는지 볼 수 있고, 각각을 클릭하면 필터링된 개별 정보를 얻을 수 있습니다.
이 섹션에서는 한눈에 많은 것을 알려주는 3가지 인디케이터를 확인할 수 있습니다:
크롤 특성의 새로운 그룹화
이제 여러 크롤 차원에 걸쳐 Googlebot 방문을 분류할 수 있습니다:
- 응답별: 이렇게 하면 지정된 기간 동안 Googlebot이 거친 리다이렉트 및 오류 페이지를 알 수 있습니다.
- 파일 유형별: Googlebot은 우리에게 중요하지 않은 파일 유형에 많은 크롤 시간을 할애할 수 있습니다. 이 그룹화 덕분에 그것을 알 수 있습니다.
- 목적별: 이미 알고 있던 페이지의 크롤링과 새 URL을 발견하기 위한 크롤링의 비율을 구분할 수 있습니다.
- Google 봇 유형별: Google에는 다양한 유형의 봇이 있고 각각 고유한 기능이 있다는 것을 알고 있습니다. 이 보고서에서 각각이 얼마나 자주 우리를 방문하는지 볼 수 있습니다.
각각을 자세히 살펴보고 일부 URL 예시를 볼 수 있습니다. 다만 그것은 그저 예시일 뿐입니다. 보고서에 표시되는 모든 URL을 사용할 수 있는 것은 아닙니다. 패턴을 파악할 수는 있지만, 전체 정보를 다운로드하여 작업할 수는 없습니다.
도구에 대한 결론
이는 웹사이트의 중요한 크롤 이슈를 간단하고 무료로 감지하는 데 크게 도움이 되는 개선 사항입니다. Kibana나 Screaming Frog Log File Analyzer 같은 로그 분석 도구를 대체할 것이라고는 생각하지 않습니다. 왜냐하면 Google이 우리에게 제공하는 것은 샘플이지 정확한 데이터가 아니기 때문입니다. 그래서 특별한 요구사항이 있는 프로젝트의 경우 대체재가 될 수 없습니다. 요컨대, 많은 이슈를 해결할 수는 있지만 Google이 우리 웹사이트에서 수행하는 크롤링을 완전히 분석할 수는 없습니다. 이는 막 출시된 기능이며, 현재로서는 어떻게 발전할지 알 수 없다는 점을 염두에 두세요.
저자: David Kaufmann
지난 10년 넘게 SEO에 완전히 빠져 살아왔습니다 — 솔직히 다른 길을 가고 싶지도 않았어요.
제 커리어가 한 단계 도약한 것은 인터넷 전체에서 방문자가 가장 많은 100개 사이트 중 하나인 Chess.com에서 시니어 SEO 스페셜리스트로 일했을 때입니다. 수백만 페이지, 수십 개 언어, 그리고 가장 경쟁이 치열한 SERP 중 하나에서 일한 경험은 어떤 강의나 자격증도 가르쳐주지 못하는 것들을 알려주었습니다. 이 경험은 진정으로 훌륭한 SEO가 어떤 모습이어야 하는지에 대한 제 관점을 완전히 바꾸어 놓았고, 이후 제가 만든 모든 것의 기초가 되었습니다.
이 경험을 바탕으로 SEO Alive를 창업했습니다 — 오가닉 성장에 진심인 브랜드를 위한 에이전시입니다. 우리는 대시보드와 월간 리포트를 파는 것이 목표가 아닙니다. 실제로 결과를 움직이는 전략을 만들어, 클래식 SEO의 최고와 흥미진진한 새로운 Generative Engine Optimization(GEO) 세계를 결합합니다 — 여러분의 브랜드가 Google의 파란 링크뿐 아니라 ChatGPT, Perplexity, Google AI Overviews가 매일 수백만 명에게 전달하는 AI 생성 답변 안에도 노출되도록 합니다.
그리고 이 두 세계를 제대로 다루는 도구를 찾을 수 없어서 직접 만들었습니다 — SEOcrawl입니다. 랭킹, 기술 감사, 백링크 모니터링, 크롤 건전성, AI 브랜드 가시성 추적을 한 곳에서 통합하는 엔터프라이즈 SEO 인텔리전스 플랫폼이죠. 항상 존재하기를 바랐던 바로 그 플랫폼입니다.
이 저자의 더 많은 콘텐츠를 만나보세요
