고아 페이지: 무엇이며 어떻게 찾는가

고아 페이지란 무엇입니까?

구체적으로, 고아 페이지는 Google이나 다른 검색 엔진에 의해 인덱싱되었을 수도 인덱싱되지 않았을 수도 있지만, 플랫폼의 페이지 구조에 연결되거나 링크되지 않아 완전히 고립된 웹사이트의 페이지입니다.

이런 식으로 그 페이지는 마치 사이트에서 "떠 있는" 것 같습니다. 인덱싱되어 있더라도 방문할 수 있는 사용자나 검색 결과에 표시되도록 하는 Google의 봇이 도달할 수 없습니다. 페이지가 해당 URL과 함께 XML sitemap에 표현되어 있더라도 어떤 이유나 인적 오류로 인해 사용자나 검색 엔진 크롤러가 도달할 수 없으므로 고아 페이지가 존재하지 않는다는 보장은 없습니다.

예를 들어 웹사이트의 페이지가 발견되는 두 가지 방법이 있습니다:

• ›

  페이지 간 링크를 따라 모든 페이지를 찾는 크롤러를 통해, 그리고

• ›

  XML sitemap의 URL 목록을 통해.

고립된 고아 페이지가 존재할 때 sitemap에 있더라도 마치 보이지 않는 것 같습니다. 자신을 가리키는 링크가 없어서 발견되지 않기 때문입니다.

이는 다음에 관한 일련의 문제를 가져옵니다:

• ›

  트래픽

• ›

  잠재력 손실

• ›

  SEO 문제

• ›

  가시성

• ›

  권위, 그리고

• ›

  잠재적 페널티

…등 나중에 자세히 다룰 다른 문제들이 있습니다. 지금은 사이트가 얼마나 크든 작든 잠재적인 고아 페이지가 수정되어야 한다는 것이 분명합니다. 이는 가능하며 일반적인 유지 관리 관행입니다.

왜 웹사이트에 고아 페이지가 있는가?

소유자나 개발자가 어느 시점에 인지하거나 알지 못한 채 웹사이트에 고아 페이지가 있는 여러 이유가 있습니다. 자주 이러한 종류의 페이지는 웹 플랫폼에서 바람직하지 않은데, 보통 인적 오류로 인한 잘못된 방식의 변경에 의해 발생합니다.

아래에서 웹사이트에서 고아 페이지가 생성되거나 발생하는 주요 시나리오를 보여 드립니다:

• ›

  때때로 웹사이트 페이지의 내부 링크가 변경되어 일부 URL이 더 이상 필요하지 않거나 오래되었거나 사이트 최적화로 인해 제거됩니다. 많은 경우 링크가 제거되더라도 페이지는 완전히 제거되지 않은 채 사이트에 떠 있는 상태로 남습니다.

• ›

  최종 사용자가 접촉하지 않는 A/B 테스트 페이지는 사이트 개발에서 사용된 후 제거되지 않은 채 남아 있습니다.

• ›

  프로모션 기간, 크리스마스 등 사이트의 고객이 되도록 사용자를 유치하기 위해 랜딩 페이지가 일시적으로 생성되고, 그 시간이 지난 후 페이지가 삭제되지만 인덱싱된 URL은 남는 경우.

• ›

  사이트 메뉴에서 카테고리가 제거되었지만 그 자리에 만들어진 다른 카테고리로 적절히 리디렉션되지 않아 플랫폼에 링크가 없는 페이지가 남는 경우.

• ›

  사이트 마이그레이션 중에 형식, URL, 매개변수가 변경되지만 제거되지 않고 사이트와 분리되어 고립되는 수많은 고아 페이지가 종종 생성됩니다.

• ›

  템플릿이 웹사이트 구축에 사용되고 나중에 잊히고 제거되지 않은 기본 템플릿 페이지가 남는 경우.

반면 즉시 다루고 처리해야 하는 고아 페이지의 두 가지 일반적인 원인이 있습니다. 이는 본질적으로 중복 페이지로, 일관되게 단일 URL로 자동 리디렉션되어야 합니다. 구체적으로 표준 페이지와 비표준 페이지에서 HTTPS와 HTTP의 일관된 사용, 그리고 trailing slash 사용에 대해 이야기하고 있습니다.

그렇지 않으면 페이지의 일부 버전이 링크되지 않아 결과적으로 고아가 될 가능성이 큽니다. 이 경우 고아라는 사실이 주요 문제가 아니라 중복이며, Google에서 복사되거나 저품질 콘텐츠로 번역되는 페널티나 인덱싱 손실 문제 등을 야기할 것이라는 점이 주요 문제입니다. 이는 나중에 고아 페이지 해결 섹션에서 다루겠습니다.

고아 페이지가 SEO에 도움이 됩니까 해를 끼칩니까?

고아 페이지는 플랫폼에 존재하는 양에 따라 가시성, 권위, 콘텐츠 손실, 트래픽뿐만 아니라 SEO 관점에서도 문제를 나타냅니다. 즉 플랫폼에 한두 개 또는 몇 개의 고아 페이지가 있는 것은 어떠한 문제도 일으키지 않을 수 있지만, 사이트의 큰 비율을 차지할 때부터 문제가 시작됩니다.

고아 페이지가 없도록 사이트를 최적화하는 것은 SEO와 다른 측면에서 중요하며, 사이트에 도움이 된다고 결코 말할 수 없으며 너무 많을 때 오히려 해를 끼친다고 말해야 합니다.

먼저, 검색 엔진은 링크를 통해 고아 페이지를 찾을 수 없으므로 고아 페이지는 종종 인덱싱되지 않고 검색 결과에 결코 나타나지 않습니다. 트래픽, 가시성, 잠재력에 영향을 미치지만, 이는 자체 섹션에서 더 자세히 다루겠습니다.

고아 페이지가 야기하는 일반적인 문제

아래는 특히 사이트 링크 구조와 URL의 상당 부분을 차지할 때 고아 페이지가 야기하는 몇 가지 일반적인 문제입니다:

• ›

  사용자 경험: 고아 페이지는 보이는 것과 달리 사이트의 사용자 경험에 크게 영향을 미칩니다. 페이지가 존재하고 양질의 콘텐츠가 있더라도 사용자가 메뉴나 자신이 찾고 있는 곳으로 데려가는 관심 링크를 통해 자연스럽게 페이지를 방문할 수 없기 때문입니다.

• ›

  권위: 중요한 페이지가 고아가 되어 사이트의 다른 URL과 링크가 끊어지면 가질 수 있는 모든 권위가 낭비되며, 이는 Google 검색 결과의 랭킹에 직접 영향을 미칩니다. 검색 엔진이 특정 키워드에 대해 결과를 정렬하는 방식에서 중요한 SEO 요소이기 때문입니다.

• ›

  컨텍스트: 사이트의 내부 링크는 페이지를 인덱싱하는 방법과 어떤 검색에 대해 중요하고 관련성이 있는지 알기 위해 Google의 크롤러에게 컨텍스트를 제공합니다. 고아 페이지는 인덱싱된 경우 사이트와 페이지 자체가 컨텍스트와 시맨틱 의미를 잃게 합니다.

그러나 고아 페이지가 많은 양으로 존재할 때 랭킹, 트래픽, 크롤링과 관련해 영향이 훨씬 더 두드러지므로 이러한 문제는 별도로 더 광범위하게 다뤄야 합니다.

가시성과 트래픽이 낮은 페이지 문제

고아 페이지는 사이트와 영향받는 특정 페이지의 랭킹이나 포지셔닝과 트래픽에 직접적으로 두드러진 부정적 영향을 미칩니다. 앞서 언급한 것처럼 고아 페이지는 고립되어 보이지 않게 되기 때문입니다. 버튼이나 클릭을 통해 사이트에서 자연스럽게 찾을 수 없는 사용자에게도, Google이나 다른 검색 엔진의 크롤러에게도 마찬가지입니다.

이는 명확히 사이트와 페이지의 트래픽 및 가시성에 영향을 미칩니다. 많은 사용자를 받지 못할 뿐만 아니라 검색 결과에서 고아 페이지가 차지하는 빈약하거나 존재하지 않는 위치 때문입니다. 결과적으로 특히 제품, 서비스, 기타 주제에 대한 양질의 콘텐츠를 포함한다면 사이트와 페이지의 잠재력이 완전히 손실됩니다. 트래픽과 가시성에 미치는 영향은 또한 경쟁사와 비교해 사이트의 니치나 산업과 관련된 권위와 관련성의 손실로 이어집니다.

크롤링 손실 문제

검색 엔진으로서의 Google은 **crawl budget 또는 Crawl Budget**으로 알려진 것에 따라 사이트의 페이지를 인덱싱합니다. 이는 검색 엔진의 크롤러나 스파이더가 인덱싱할 페이지를 찾는 데 소비할 시간으로 설명될 수 있습니다. 사이트가 더 많은 페이지를 가질수록 더 많은 시간, 즉 더 많은 crawl budget이 필요합니다.

여기서 고아 페이지와 같은 웹사이트의 구조, 아키텍처, 기타 요소의 최적화가 작용합니다. 사이트에 무관한 고아 페이지가 있으면 동일하게 crawl budget을 소비할 것이며 이는 낭비되어 좋은 건강과 콘텐츠를 가진 페이지가 인덱싱되지 않게 만들고 검색 결과와 트래픽에 영향을 미칠 수 있습니다. 요컨대 고아 페이지는 Google이 소비하기를 원하지 않는 리소스 낭비를 나타냅니다.

고아 페이지와 Dead End 페이지의 차이

SEO에 관해 고아 페이지라는 용어는 dead end 페이지 또는 "Dead End" 용어와 혼동될 수 있습니다. 비슷한 문제를 나타내지만 같지 않기 때문입니다. 고아 페이지가 무엇인지 앞서 정의했으니 dead end로 넘어갑시다:

dead end 페이지는 사이트의 내부 링크에서 어떠한 다른 페이지에도 링크되지 않으며, 어떠한 다른 외부 웹 플랫폼에도 링크되지 않은 페이지입니다. 즉 거기에 도착하면 페이지를 닫고 떠나는 것 외에는 아무것도 할 수 없습니다.

Google과 같은 검색 엔진의 크롤러가 dead end 페이지에 떨어지면 갈 곳이 없으며, 막다른 골목에 비유한 그 이름이 여기서 나옵니다.

사이트에서 고아 페이지를 어떻게 찾습니까?

고아 페이지 또는 Orphan Pages와 관련된 문제를 해결하기 시작하려면 먼저 그것들을 찾아야 합니다. 분명히 사이트의 사용자나 개발자로서 한눈에 보이지 않기 때문입니다. 다행히 우리의 전체 웹사이트 구조를 자세히 분석하는 SEO 소프트웨어와 같은 다양한 도구를 사용할 수 있으며, 서버 로그를 통해 모든 것의 완전한 그림을 얻습니다.

고아 페이지를 찾는 데뿐만 아니라 SEO 전략을 강화하고 개선하는 데 도움이 되는 강력한 **SEO 소프트웨어**가 필요하다면 SEOcrawl이 자체 개발한 프로그램을 망설이지 말고 확인해 보세요!

Screaming Frog로 고아 페이지 인식

언급한 대로 이러한 고아 페이지를 식별하는 데 도움이 되는 시장의 여러 프로그램이 있습니다. 가장 잘 알려진 것 중 하나인 Screaming Frog로 이를 어떻게 하는지 간단한 방식으로 설명하는 데 집중하겠습니다.

Screaming Frog에는 두 가지 다른 프로그램이 있습니다. 모두에게 가장 잘 알려진 것은 발견하는 내부 링크를 따라 전체 웹사이트를 크롤링하며, log analyser는 서버의 액세스 로그, 즉 Googlebot(또는 다른 user agent)이 우리 페이지를 방문하기 위해 들어올 때 남는 기록을 분석합니다.

첫 번째로 크롤러가 탐색하면서 찾는 총 URL을 나열하는 파일을 추출할 것입니다. "all inlinks" 아래의 보고서 섹션에서 찾을 수 있는 Excel 파일이 될 것입니다:

이 파일을 가지면 서버에서 로그를 가져옵니다. 보통 앞서 언급한 기록의 압축 파일이며, 이를 Screaming Frog의 log analyser에 로드합니다. 그래서 여기에서 우리가 로드하는 기간 동안 Googlebot이 방문한 모든 URL이, 링크되었든 아니든 표시되는 패널이 있게 됩니다.

마지막 단계는 log analyser의 해당 섹션에 이전 단계의 Excel 파일을 로드하는 것이며, 그렇게 할 때 다음 옵션과 함께 새 탭이 활성화됩니다:

• ›

  Matched with URL data: 내부적으로 링크되어 있고 Google이 방문한 URL 집합입니다.

• ›

  Not in log file: 링크되었지만 어떤 이유로 Google에서 이벤트(방문)를 받지 못한 URL입니다.

• ›

  Not in URL data: 이 경우 우리가 관심 있는 그룹입니다. Google이 방문하고 로그에 기록을 남기지만, 시뮬레이션할 때 크롤러가 찾을 수 없는 URL입니다. 내부적으로 링크되지 않았기 때문입니다. 즉 우리가 찾고 있는 Orphan Pages입니다.

이 세 번째 그룹에서 고아로 분류할 페이지 목록을 추출하며, 200 상태 코드를 반환하는 것들이 기본적으로 우리 최적화의 대상이 됩니다.

고아 페이지 문제를 어떻게 해결합니까?

일반적으로 그리고 수동으로, 내부 링크에 통합되지 않은 URL이 있는 경우 할 수 있는 네 가지가 있으며, 일부 결정이 내려져야 합니다:

• ›

  첫째, 마이그레이션 후 고아 페이지가 있을 가능성이 크고, 그것들이 검토되고 많은 것이 관련성이 적거나 없거나 중복 콘텐츠를 가진다면 가장 좋은 일은 삭제하는 것이며, 적절한 경우 권한이 더 높은 사이트의 유사하거나 추천 페이지에 301 리디렉션을 추가합니다.

• ›

  둘째, 어떤 이유로 좋은 콘텐츠, 권위, 트래픽으로 인해 고아 페이지를 유지하고 싶다면, 다음 단계는 관련 콘텐츠를 가진 사이트 URL에서 링크하는 것이며, 사용자와 Google에 의해 도달하기 쉬워야 합니다. 물론 페이지의 URL은 sitemap에 포함되어야 합니다.

• ›

  셋째, 수많은 고아 페이지가 나타나지만 그 성격이 일시적이고 콘텐츠가 특정 시간과 관련된 프로모션과 콘텐츠를 포함했기 때문에 이미 만료된 경우, 이전 단계와 같이 페이지를 관련성이 있고 접근 가능한 다른 내부 페이지에 링크합시다. 그러나 이 경우 "noindex" 메타 태그를 포함해 그 URL이 인덱싱되지 않아 크롤러에 의해 고려되지 않도록 합시다.

• ›

  마지막으로, 중복되거나 거의 중복된 콘텐츠가 있는 고아 페이지의 경우 그 페이지를 삭제하고 콘텐츠를 다른 페이지에 포함해 잃지 않고 일반적인 잠재력을 계속 활용하는 것을 고려할 가치가 있습니다.

결론

고아 페이지는 다양한 이유로 웹사이트에 나타날 자연스러운 요소이며, 과도하지 않거나 그 양이 기하급수적으로 증가하지 않을 때는 어떠한 문제도 나타내지 않습니다.

반면 웹사이트와 그 내부 링크의 큰 비율이 이러한 종류의 페이지로 구성될 때 SEO와 관련된 크롤링, 랭킹, 트래픽, 권위, 사용자 경험, 그리고 다루어야 할 다른 문제와 관련해 많은 문제를 일으킬 수 있습니다.

좋은 소식은 고아 페이지가 다양한 방식으로 해결될 수 있지만, 항상 분석 과정에서 해결될 수 있다는 점입니다. 자신에게 물어봐야 할 것은 각 특정 고아 페이지가 랭킹, 콘텐츠에 관련성이 있고 다른 페이지에 링크될 수 있는지 여부이며, 그렇지 않은 경우 단순히 삭제합니다.

그리고 여러분, 독자 여러분… 고아 페이지의 존재를 알고 계셨나요? 자신의 프로젝트나 클라이언트 프로젝트에서 이 요소를 마주친 적이 있나요? 댓글을 남겨 주시면 답변드리겠습니다. 정말 감사합니다, 다음에 만나요!