robots.txt: 구성 완벽 가이드

robots.txt가 무엇이고 무엇에 사용됩니까?

robots.txt는 단순히 웹 루트에 호스팅되는 파일로, 특정 봇(Google이나 Bing의 봇 등)이 웹사이트나 그 일부를 방문하지 못하게 할 수 있게 해 줍니다.

주의: 이는 프로토콜이며 일반적으로 모든 "좋은" 봇이 이를 준수한다는 것을 아는 것이 중요합니다(GoogleBot, BingBot, Semrush, …). 그러나 나쁜 의도를 가진 봇은 이를 건너뛸 수 있습니다. 예를 들어 Screaming Frog는 이 옵션을 체크함으로써:

SEO에 robots.txt 파일이 왜 중요합니까?

앞서 언급한 것처럼 모든 좋은 봇(GoogleBot 등)은 이 프로토콜을 준수하므로 우리가 할 수 있는 것은 이 파일을 사용해 웹사이트를 통해 Google을 안내하는 것입니다.

뭐라고요? 무슨 말이에요? robots.txt로 Google을 안내한다고요?

네, 걱정 마세요. 훨씬 더 명확해지도록 예제로 설명하겠습니다:

웹사이트에 등록된 사용자만 접근할 수 있는 비공개 영역이 있다고 상상해 보세요. 잘 알고 있듯이 Google은 로그인이 필요한 어떠한 사이트에도 접근할 수 없습니다(아직).

그러면 Google이 가치 없는 페이지를 크롤링하느라 우리의 crawl budget을 낭비하지 않는 것이 합리적이지 않을까요?

정확합니다! robots.txt의 가장 중요한 사용 중 하나는 Google에 가치가 적은 경로를 차단해 웹사이트의 중요한 페이지에 집중하도록 만드는 것입니다. 이 이유로 robots.txt는 SEO 전략 내에서 염두에 두어야 할 기둥 중 하나여야 합니다.

이는 이 파일로 할 수 있는 수천 가지 중 하나의 예일 뿐입니다. 다른 예로는 sitemap을 나타내고, 크롤링 간격을 줄이며, 리소스 크롤링을 차단하는 것 등이 있습니다.

robots.txt 파일을 만드는 방법

자… 일을 해 봅시다!

이 파일을 만드는 것은 정말 단순합니다. 텍스트 에디터(Windows의 Notepad나 Mac의 TextEdit)나 온라인 에디터를 잡고 robots.txt를 작성한 후 txt 파일로 내보내기만 하면 됩니다.

가지면 "robots.txt"라고 이름을 붙이고 서버 패널이나 FTP를 통해 웹 루트에 업로드하기만 하면 됩니다.

올바르게 업로드되었는지 확인하려면 도메인에 "/robots.txt"를 추가하기만 하면 됩니다. 예: https://seocrawl.com/robots.txt

주의: 캐시에 주의하세요. 시크릿 모드에서 보는 것이 좋습니다 ;)

WordPress가 있다면?

WordPress가 있다면 **Rank Math**나 Yoast 같은 최고의 SEO 플러그인이 robots.txt를 직접 편집할 수 있는 내장 애드온을 제공하므로 더 단순합니다.

Rank Math의 경우 Rank Math > General Settings > Edit robots.txt에서 찾을 수 있습니다

Yoast의 경우 SEO > Tools > File Editor로 이동해야 합니다

이렇게 하면 위에서 설명한 단계를 수행할 필요 없이 파일을 쉽게 편집하거나 만들 수 있습니다.

명령

아래에서 사용할 수 있는 많은 명령과 해당 예제를 살펴봅니다:

웹사이트 크롤링 차단

User-agent: * Disallow: /

참고: 웹사이트를 개발 중이고 어떤 봇도 들어와서 콘텐츠를 읽고 인덱싱하지 않기를 원한다면 이 규칙이 잘 작동합니다.

페이지 크롤링 차단

User-agent: * Disallow: /url-of-page-i-dont-want-crawled

폴더 크롤링 차단

User-agent: * Disallow: /folder/

페이지에 대한 접근 허용

User-agent: * Allow: /page

폴더 차단 및 그 폴더의 페이지 허용

User-agent: * Disallow: /folder/ Allow: /folder/page

sitemap 표시

Sitemap: https://domain.com/sitemap.xml

특정 봇에 명령

이 경우 좀 더 자세히 다루겠습니다. 알아채셨다면 대부분의 이전 지시문은 다음으로 시작했습니다:

User-agent: *

그 "*"는 모든 봇을 가리킵니다. 즉 그 줄 다음의 모든 지시문이 모든 봇에 적용됩니다. 우리가 하고 싶은 것이 특정 봇에 특정 명령을 보내는 것이라면 다음과 같이 변경해야 합니다:

User-agent: Googlebot Google의 봇을 가리키려면

User-agent: Bingbot Bing의 봇을 가리키려면

User-agent: DuckDuckBot DuckDuckGo의 봇을 가리키려면

명령을 보내고 싶은 봇의 이름이 무엇인지 알아내고 방금 보여 드린 것처럼 이름을 지정하기만 하면 됩니다.

robots.txt 파일 검토 및 테스트

이제 웹사이트에 완전히 최적화되고 사용자 정의되도록 robots를 "튜닝"하는 것을 마쳤으니 남은 것은 테스트하는 것뿐입니다.

테스트한다고요? 무엇을 위해서?

음, 어떤 줄에서도 실수하지 않았고 차단하고 싶은 웹사이트의 부분을 차단하는 데 실제로 작동하는지 확인하기 위해 테스트합니다.

이를 위해 이 도구를 사용하는 것을 권장합니다.

들어가면 다음을 해야 합니다:

• ›

  크롤링이 허용되는지 확인하고 싶은 URL을 입력합니다

• ›

  User Agent를 선택합니다

• ›

  TEST를 클릭합니다

직후 우리의 전체 robots.txt 파일이 로드되고 그 아래에서 접근이 허용되는지 여부를 알려 줍니다.

이 경우 보시다시피 긍정적인 결과를 제공하지만, 허용되지 않은 URL을 입력하면 차단하는 줄도 강조 표시됩니다:

또한 이 도구는 거기서 직접 robots.txt 파일을 편집할 수 있게 해 주어 결과가 목표와 일치하도록 필요한 수정을 할 수 있습니다. 수정하고 테스트한 후 그러한 새 수정 사항을 robots에 적용하기만 하면 됩니다.

보너스 팁: robots.txt를 잊을 수 없게 만들기

봇용으로 작동하는 수많은 코드 줄을 보여 드렸지만, 줄을 "#"으로 시작해 주석을 삽입할 수도 있습니다. 즉 "#"으로 시작하는 모든 것은 봇이 무시합니다. 이는 가능성과 내부 농담의 세계를 엽니다. 그래서 windupschool, pccomponentes 또는 Minube의 robots.txt를 확인해 보시길 권합니다. 분명히 놀라움을 마주칠 것입니다 ?

결론

보신 것처럼 robots.txt 파일은 제공할 것이 많고 또한 많은 주의가 필요합니다. 잘못 배치된 지시문이 웹사이트의 크롤링을 차단할 수 있기 때문입니다.

이 가이드가 유용하기를 바라며, 어떤 질문이든 댓글에서 만나 뵙겠습니다.