크롤링됨 - 현재 색인이 생성되지 않음: 의미와 해결 방법

'크롤링됨 - 현재 색인이 생성되지 않음'은 무슨 뜻인가요?

이 상태는 Google이 페이지를 크롤링했지만 색인하지 않기로 선택했다는 뜻입니다. Googlebot을 막은 것은 없으며, Google이 당분간 이 페이지를 제외하기로 결정한 것입니다. 상태를 정확히 해석하려면 두 가지 차이를 알아 두면 좋습니다.

크롤링과 색인 생성의 차이

크롤링은 Googlebot이 페이지를 다운로드하는 것입니다. 색인 생성은 Google이 페이지를 저장해 검색에 표시될 수 있게 하는 것입니다. 페이지는 여러 번 크롤링되어도 한 번도 색인되지 않을 수 있습니다.

URL 검사 도구 도움말에 따르면 페이지의 품질은 "색인을 생성할 만큼 충분히 높아야" 하며, 실제 URL 테스트로는 이 상태를 전혀 확인할 수 없습니다.

'발견됨 - 현재 색인이 생성되지 않음'과의 차이

발견됨 - 현재 색인이 생성되지 않음은 한 단계 앞의 상태입니다. Google이 URL을 찾았지만 사이트에 과부하를 주지 않도록 크롤링을 미뤘기 때문에 마지막 크롤링 날짜가 비어 있습니다.

Google은 "색인이 생성되지 않았다고 해서 반드시 나쁜 것은 아닙니다"라고도 말합니다. noindex가 적용된 페이지, robots.txt로 차단된 URL, 중복 페이지, 대체 페이지가 없는 404는 원래 색인에서 빠져 있어야 합니다.

Google이 페이지를 크롤링하고도 색인하지 않는 이유

색인 생성에는 크롤링에 없는 품질 기준이 있습니다. Google의 크롤링 예산 가이드에 따르면 크롤링 수요는 콘텐츠의 가치와 고유성이 높을수록 커집니다.

영향을 받는 URL 대부분은 다음 원인 중 하나에 해당합니다. 원인마다 가장 먼저 확인할 사항을 함께 적었습니다.

• ›얇거나 독창성 없는 콘텐츠: 이미 순위에 오른 내용을 되풀이합니다.
• ›중복: 태그 아카이브, 정렬 URL, 같은 주제의 글 두 개 등. 키워드 카니발리제이션을 찾아 해결하는 방법도 참고하세요.
• ›canonical 충돌: 직접 선언한 canonical과 Google에서 선택한 표준 URL을 비교하세요. Google이 다른 URL을 선택하면 해당 페이지는 보통 적절한 표준 태그가 포함된 대체 페이지나 중복 관련 상태로 옮겨 갑니다.
• ›소프트 404와 리디렉션 체인: Google은 소프트 404가 크롤링 예산을 낭비한다고 말합니다.
• ›크롤링 예산: 매주 바뀌는 페이지가 1,000,000개 이상이거나 매일 바뀌는 페이지가 10,000개 이상인 사이트에서 중요합니다. 대부분의 사이트에서는 원인이 아닙니다.

이 기준은 날짜가 분명한 두 단계를 거쳐 높아졌습니다. 2022년 8월 18일 Google은 사이트 전체에 적용되는 신호인 유용한 콘텐츠 업데이트를 발표하면서, 도움이 되지 않는 콘텐츠를 삭제하면 사이트의 나머지 페이지에 도움이 될 수 있다고 밝혔습니다. 2024년 3월 5일에는 클릭을 끌기 위해 만든 콘텐츠를 덜 노출하는 핵심 업데이트를 발표하고, 대규모 콘텐츠 악용에 관한 새로운 스팸 정책도 함께 내놓았습니다.

Google의 유용한 콘텐츠 가이드에 따르면 E-E-A-T는 특정한 순위 요소가 아니고, 가장 중요한 것은 신뢰성이며, 선호하는 단어 수도 없습니다. 페이지 분량을 부풀린다고 해결되지 않습니다.

GSC에서 영향을 받는 페이지를 찾고 진단하는 방법

페이지 색인 생성 보고서(이전의 적용 범위 보고서)를 열고, 일부를 샘플로 검사한 다음, 목록을 패턴별로 묶으세요. Google은 500페이지 미만의 사이트라면 이 보고서가 필요하지 않을 것이라고 말합니다.

페이지 보고서에서 영향을 받는 URL 찾기

1. ›Google Search Console에서 색인 생성 › 페이지로 이동합니다.
2. ›"페이지가 색인이 생성되지 않는 이유" 아래에서 크롤링됨 - 현재 색인이 생성되지 않음을 클릭합니다.
3. ›내보내기를 클릭해 목록을 다운로드합니다.

보고서에는 최대 1,000개의 예시 URL이 표시되며 전체가 다 표시되는 것은 아닙니다. 따라서 대형 사이트에서는 내보낸 목록이 샘플일 뿐입니다.

URL 검사 도구로 페이지 확인하기

내보낸 URL 중 5~10개를 검사해 마지막 크롤링 날짜와 Google에서 선택한 표준 URL을 확인하세요. 표준 URL이 다른 곳을 가리키면 Google이 중복으로 본다는 뜻이고, 크롤링 날짜가 몇 달 전이라면 Google이 거의 다시 찾아오지 않는다는 뜻입니다.

수백 개 URL에서 패턴 찾기

내보낸 목록을 폴더, 템플릿, URL 매개변수별로 정렬한 다음 그룹마다 개수를 세세요. 예를 들어 URL 300개가 /tag/ 페이지 180개, ?sort= URL 70개, 게시물 50개로 나뉜다면 필요한 결정은 300건이 아니라 3건입니다.

수정, noindex, 삭제: URL마다 알맞은 조치 정하기

각 URL에는 네 가지 결론 중 하나가 어울립니다. 검색 사용자가 이 페이지에 도착하면 반가워할지, 그리고 이 페이지가 사이트에서 해당 검색어에 답하는 유일한 페이지인지 자문해 보세요.

마지막 두 행은 Google의 크롤링 예산 가이드가 뒷받침합니다. 삭제한 페이지에는 404 또는 410을 반환하고 중복은 통합하라고 안내합니다. 의도적으로 삭제한 페이지라면 Search Console의 404는 예상된 결과입니다.

분류 과정에서 가장 많이 실수하는 부분이 noindex입니다.

이렇게 하지 마세요: /tag/ 페이지에 noindex 태그를 넣으면서 robots.txt로 /tag/를 차단하는 경우입니다. Googlebot이 페이지를 가져올 수 없으니 태그를 볼 수도 없습니다.

이렇게 하세요: /tag/는 크롤링 가능한 상태로 두고, noindex를 메타 태그나 X-Robots-Tag 헤더로 지정합니다.

Google의 noindex 문서에 따르면 이 규칙은 robots.txt 안에서는 작동하지 않으며, 거의 방문되지 않는 페이지는 재크롤링에 몇 달이 걸릴 수 있습니다. 태그가 읽히면 해당 URL은 'noindex' 태그에 의해 제외됨으로 옮겨 가며, 이런 페이지에는 바로 그것이 원하는 결과입니다.

색인할 가치가 있는 페이지를 수정하는 방법

먼저 페이지를 색인할 가치가 있게 만든 다음 Google에 알리세요. 바뀐 것이 없는 페이지에 색인 생성을 요청하는 것은 Google에 이미 내린 결정을 다시 내려 달라고 하는 것과 같습니다. 순서는 다음과 같습니다.

1. ›콘텐츠를 개선합니다.
2. ›중복을 통합하고 canonical을 수정합니다.
3. ›내부 링크를 추가합니다.
4. ›범위를 좁힌 사이트맵을 제출하고 색인 생성을 요청합니다.

콘텐츠의 깊이와 독창성 높이기

단어 수가 아니라 검색어를 기준으로 다시 쓰세요. 자체 데이터, 스크린샷, 실제 예시를 추가하고 상단 가까이에 직접적인 답변을 두세요.

예를 들어 300단어짜리 얇은 가이드라면, 직접 수집한 데이터와 실제 예시를 추가하고, 이미 트래픽이 있는 글 두 개에서 링크를 건 다음, 그때서야 범위를 좁힌 사이트맵에 추가하세요.

중복 통합과 canonical 수정

두 URL이 같은 내용을 다룬다면 하나만 남기고, 유용한 콘텐츠를 그쪽으로 옮긴 뒤, 다른 하나를 체인 없이 곧바로 301 리디렉션하세요. 그런 다음 canonical, 사이트맵, 내부 링크가 서로 일치하는지, 남아 있는 noindex는 없는지 확인하세요.

Google이 이미 높이 평가하는 페이지에서 내부 링크 추가하기

수정한 각 페이지에 트래픽이 있는 색인된 페이지에서 설명적인 앵커 텍스트로 링크를 거세요. 어떤 사이트 크롤러든 내부 유입 링크가 0인 페이지로 필터링하면 고아 페이지(내부 링크가 하나도 없는 페이지)를 목록으로 볼 수 있습니다. 전체 방법은 이 내부 링크 전략 가이드에 정리되어 있습니다.

휴대전화에서 페이지를 확인하고 코어 웹 바이탈 보고서도 살펴보세요. 모바일에서 깨지는 페이지인지는 금방 확인할 수 있습니다.

범위를 좁힌 사이트맵 제출과 색인 생성 요청

수정한 URL만 담은 사이트맵을 만들어 제출하고, 수정 결과 확인을 클릭하기 전에 그 사이트맵으로 페이지 보고서를 필터링하세요. Google은 검증 속도를 높이기 위해 이 방법을 권장합니다. 먼저 현재 파일이 필요하다면 사이트의 사이트맵을 찾는 방법을 확인하세요.

Google은 priority와 changefreq를 무시하므로 대신 lastmod를 정확하게 유지하세요. 그런 다음 우선순위가 높은 URL에 대해 URL 검사 도구에서 색인 생성 요청을 클릭하세요. Google은 할당량을 적용하며 요청을 반복해도 빨라지지 않는다고 말합니다.

수정 후 색인 생성까지 얼마나 걸리나요?

하루에서 몇 주까지 예상하세요. 색인 생성은 결코 보장되지 않습니다. Google은 페이지마다 다른 기간을 제시하므로 한눈에 비교할 수 있도록 정리했습니다.

이는 Google이 제시한 기간이며 실제 복구 사례가 아닙니다. 페이지 보고서를 매주 확인하고, 이 기간이 지나도 수정한 URL에 변화가 없다면 콘텐츠로 돌아가세요.

새 페이지가 이 상태에 빠지지 않게 하는 방법

예방은 습관입니다. 각 페이지를 게시하기 전에 확인하고, 매달 Search Console을 검토하세요. 게시하기 전에 페이지가 다음을 충족하는지 확인하세요.

• ›사이트의 다른 페이지가 답하지 않는 검색어에 답한다.
• ›자체 데이터, 예시 또는 경험을 더한다.
• ›자기 참조 canonical이 있고 불필요한 noindex가 없다.
• ›정확한 lastmod와 함께 사이트맵에 포함되어 있다.
• ›작성자 이름이 있고, 해당되는 경우 구조화된 데이터가 있다.
• ›관련성 있는 색인된 페이지에서 링크를 받는다.

한 달에 한 번 페이지 보고서를 지난달과 비교하세요. 문제는 마지막 사례가 사라진 뒤에도 90일 동안 목록에 남습니다. 페이지가 1,000개를 넘는 사이트라면 크롤링 통계 보고서도 살펴보세요.

SEOcrawl AI는 기술적인 부분을 대규모로 처리합니다. Crawler는 모든 페이지를 스캔해 Audit Health Score를 산출하고, 문제를 Indexability, Crawlability, On-Page 등으로 나눠 보여 줍니다. Indexation 보기는 URL을 Search Console 적용 범위 상태별로 묶어 주므로 '크롤링됨 - 현재 색인이 생성되지 않음'에 몇 개가 있는지 확인하고 시간에 따른 추이를 추적할 수 있습니다.

크롤링 사이사이에는 SEO Monitor가 핵심 페이지에 noindex가 추가되거나, canonical이 바뀌거나, 404를 반환하거나, 사이트맵에서 빠지면 알려 줍니다. 같은 플랫폼에서 ChatGPT, Claude, Gemini, Perplexity, Copilot에서의 브랜드 가시성도 추적하므로 SEO와 GEO를 한곳에서 관리할 수 있습니다.

자주 묻는 질문

'크롤링됨 - 현재 색인이 생성되지 않음'은 무슨 뜻인가요?

Googlebot이 페이지를 가져왔지만 Google 색인에 추가하지 않기로 결정했다는 뜻이며, 따라서 이 페이지는 검색에 나타날 수 없습니다. 크롤링을 막은 것은 없습니다. Google은 페이지를 읽은 뒤 당분간 제외하기로 선택했습니다. 수동 조치(페널티)가 아니며, 이 페이지는 향후 색인이 생성될 수도 있고 그렇지 않을 수도 있습니다.

'발견됨 - 현재 색인이 생성되지 않음'과 같은 건가요?

아닙니다. 발견됨은 Google이 URL을 알고 있지만 크롤링을 미룬 상태로, 마지막 크롤링 날짜가 비어 있습니다. '크롤링됨'은 Google이 이미 페이지를 방문해 읽은 뒤 색인하지 않기로 결정한 상태입니다. '발견됨'이라면 초대형 사이트의 크롤링 용량을, '크롤링됨'이라면 콘텐츠 품질, 중복, canonical을 살펴보세요.

'크롤링됨 - 현재 색인이 생성되지 않음'이 SEO에 해가 되나요?

그 자체로는 아닙니다. 이 상태는 페널티가 아니며, 해당 페이지가 잃는 것은 그 페이지의 검색 트래픽뿐입니다. 위험은 규모에 있습니다. Google은 도움이 되지 않는 콘텐츠의 비중이 크면 이를 사이트 전체의 신호로 취급하기 때문입니다. 태그 아카이브가 색인에서 빠져도 손해는 없지만, 제품 페이지라면 손해입니다. 새 글을 게시할 때마다 숫자가 늘어난다면, 개별 URL 목록이 아니라 사이트 차원의 콘텐츠 문제로 다루세요.

수정 후 페이지가 색인되기까지 얼마나 걸리나요?

하루에서 몇 주까지 예상하세요. 색인 생성은 결코 보장되지 않습니다. Google에 따르면 재크롤링에는 며칠에서 몇 주가 걸리고, 색인 생성 요청은 보통 하루 정도면 처리되지만 1~2주가 걸릴 수 있으며, 수정 결과 확인은 보통 최대 약 2주가 걸립니다.

색인 생성을 요청하면 도움이 되나요?

페이지를 변경한 뒤에만 도움이 됩니다. 바뀐 것이 없는 페이지에 색인 생성을 요청하는 것은 Google에 이미 내린 결정을 다시 내려 달라고 하는 것과 같습니다. 요청에는 일일 할당량이 있으며, Google은 같은 URL을 여러 번 보내도 속도가 빨라지지 않는다고 말합니다.

페이지를 XML 사이트맵에 추가하면 도움이 되나요?

Google이 URL을 찾는 데는 도움이 되지만 색인 생성에는 도움이 되지 않습니다. Google은 제출된 사이트맵을 "힌트에 불과하다"고 보며, 이 페이지들은 이미 발견되고 읽혔습니다. 수정 후 사이트맵의 역할은 다시 확인받고 싶은 URL을 묶는 것입니다. 사이트맵 파일 하나에는 최대 50,000개의 URL 또는 50MB까지 담을 수 있습니다.

'크롤링됨 - 현재 색인이 생성되지 않음' 검증이 실패한 이유는 무엇인가요?

Google이 그룹 안에서 아직 수정되지 않은 URL을 하나라도 발견하면 검증이 바로 중단되므로, 남은 페이지 하나 때문에 전체 배치가 실패할 수 있습니다. 그룹의 모든 URL을 수정하거나, 수정한 URL만 담은 사이트맵으로 보고서를 필터링해 그룹 범위를 좁힌 뒤 다시 검증하세요.

Google이 크롤링했지만 색인하지 않는 페이지에 SEOcrawl AI가 어떻게 도움이 되나요?

SEOcrawl AI는 이 상태의 원인이 되는 사이트 내부 요인을 찾아냅니다. Crawler는 각 URL의 상태 점수, HTTP 상태 코드, 크롤링 깊이를 보여 주므로 Google이 도달하기 어려운 페이지를 찾아낼 수 있습니다. Indexation 보기는 URL을 Search Console 적용 범위 상태별로 묶어 주고, SEO Monitor는 핵심 페이지에 noindex가 추가되거나, canonical이 바뀌거나, 404를 반환하거나, 사이트맵에서 빠지면 알려 줍니다.