무료 robots.txt AI 봇 체커: 어떤 AI 크롤러가 내 사이트에 도달하는지 확인하세요
도메인이나 robots.txt URL을 붙여넣으세요. 파일을 읽고 모든 주요 AI 크롤러를 내 Allow 및 Disallow 규칙과 대조하여, 어떤 봇이 내 사이트에 도달하는지 봇별로 알려 드립니다. 가입이 필요 없습니다.
무료, 가입 불필요. 내 robots.txt를 읽고 GPTBot, ClaudeBot, Google-Extended, PerplexityBot 등 어떤 AI 크롤러를 현재 허용하거나 차단하고 있는지 보여 줍니다.
AI 봇 체커가 검증하는 항목
- 모든 주요 AI user-agent에 대한 봇별 판정(허용, 부분 허용, 차단)
- 학습 크롤러: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- 검색 크롤러: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- 주문형 가져오기 봇: ChatGPT-User, Claude-User, Perplexity-User
- robots.txt의 URL 위치와 HTTP 상태 코드
- User-agent: * 와 봇별 규칙 사이의 충돌
- 봇별 Disallow 경로 — 차단된 것뿐 아니라 숨겨진 것까지 확인할 수 있습니다
내 robots.txt가 예전보다 더 중요해진 이유
robots.txt는 크롤러가 가장 먼저 읽는 파일이며, 이제 AI 기업들은 서로 다른 user-agent를 가진 여러 크롤러를 운영합니다. OpenAI만 해도 세 가지가 있습니다. 학습용 GPTBot, ChatGPT Search용 OAI-SearchBot, 주문형 가져오기용 ChatGPT-User입니다. Anthropic, Google, Perplexity, Common Crawl, Meta도 각자 고유한 봇을 가지고 있습니다.
이 파일에서 내리는 결정은 서로 다른 두 가지 결과를 만듭니다. 검색 크롤러를 차단하면 브랜드가 ChatGPT, Claude, Perplexity 답변에서 사라집니다. 옵트아웃하려 했는데 학습 크롤러를 열어 두면, 내일의 모델이 내 콘텐츠로 무료로 학습하게 됩니다.
대부분의 사이트는 결국 한쪽은 원하고 다른 한쪽은 원하지 않게 됩니다.
AI 봇 차단에 관해 데이터가 말하는 것
규칙을 작성하기 전에 알아 둘 만한 세 가지 수치.
결과를 읽는 방법
허용
크롤러가 사이트 루트에 접근할 수 있습니다. OAI-SearchBot, Claude-SearchBot, PerplexityBot 같은 검색 봇의 경우, 이것이 AI 답변에서 인용될 자격을 유지해 줍니다.
부분 허용
크롤러가 사이트에는 접근할 수 있지만 특정 경로가 Disallow되어 있습니다. 보통은 문제없지만, AI 검색에 노출하고 싶은 페이지를 숨기고 있지 않은지 확인할 가치가 있습니다.
차단
Disallow: / 규칙이 이 크롤러를 완전히 막고 있습니다. 학습 옵트아웃이라면 의도된 것이지만, 노출을 유지하고 싶었던 검색 크롤러라면 문제입니다.
가장 흔한 robots.txt 실수 (그리고 해결 방법)
실수로 AI 검색을 차단하는 경우.
OAI-SearchBot, Claude-SearchBot 또는 PerplexityBot까지 걸리는 포괄적인 Disallow는 알게 모르게 당신을 AI 답변에서 제외시킵니다.
해결: 검색 크롤러를 각자 고유한 User-agent 그룹에 나열하고 명시적으로 허용하세요.
User-agent: * 로 AI를 차단하는 경우.
그 그룹은 Googlebot, Bingbot을 비롯한 모든 일반 검색 크롤러까지 걸어 버려, 의도한 것보다 훨씬 많은 것을 차단합니다.
해결: 각 AI user-agent를 고유한 그룹에 명시하고 와일드카드는 건드리지 마세요.
Google-Extended와 Googlebot을 혼동하는 경우.
잘못된 쪽을 차단하면 AI 학습이 켜진 채로 남거나, 실수로 Google Search 색인에서 자신을 제외시키게 됩니다.
해결: Google-Extended는 Gemini와 Vertex AI 학습에서 옵트아웃하는 데 사용하고, Googlebot은 오가닉 검색을 위해 그대로 두세요.
robots.txt를 방화벽처럼 여기는 경우.
이것은 권고 사항일 뿐입니다. 행동이 올바른 크롤러는 이를 존중하지만, 악의적인 행위자와 제3자 스크래퍼는 무시합니다.
해결: 반드시 완전히 차단해야 하는 봇에는 서버 측 차단(Cloudflare AI 규칙, WAF, .htaccess)을 추가하세요.
Cloudflare가 내 Allow 규칙을 덮어쓰는 경우.
2025년 7월 이후 Cloudflare는 신규 도메인에서 robots.txt에 무엇이 적혀 있든 기본적으로 AI 봇을 차단합니다.
해결: Cloudflare 대시보드를 열고 Security → Bots → AI Scrapers and Crawlers 로 이동한 뒤, AI 검색 봇이 사이트에 도달하기를 원한다면 꺼 두세요.
AI가 실제로 당신을 인용하고 있는지 확인하고 싶으신가요?
robots.txt 감사는 어떤 AI 크롤러가 내 사이트에 도달할 수 있는지 알려 줍니다. SEOcrawl AI의 AI Tracker는 그들이 도달한 뒤 무엇을 하는지 알려 줍니다. ChatGPT, Claude, Gemini, Perplexity가 얼마나 자주 내 브랜드를 언급하고 인용하는지, 어떤 프롬프트가 나를 등장시키는지, 그리고 내가 모니터링하기로 선택한 경쟁사와 비교해 어떤지를 — 이 모든 것을 같은 대시보드에서 Google Search Console 데이터와 함께 확인할 수 있습니다.
자주 묻는 질문
AI 봇 체커란 무엇인가요?
robots.txt를 읽고 어떤 AI 크롤러를 허용하거나 차단하고 있는지 한 번에 한 봇씩 알려 주는 도구입니다. 내 Allow 및 Disallow 규칙을 주요 AI 기업의 user-agent 토큰과 대조합니다. OpenAI(GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic(ClaudeBot, Claude-SearchBot, Claude-User), Google(Google-Extended), Perplexity(PerplexityBot), Meta, Common Crawl 등이 대상입니다.
GPTBot이란 무엇인가요?
GPTBot은 OpenAI의 웹 크롤러로, 2023년 8월에 출시되었으며 향후 GPT 모델을 학습시키기 위해 공개적으로 이용 가능한 콘텐츠를 수집하는 데 사용됩니다. ChatGPT Search를 구동하는 OAI-SearchBot이나, 누군가 어시스턴트에게 페이지를 읽어 달라고 요청할 때 해당 페이지를 가져오는 ChatGPT-User와는 다른 봇입니다. 세 봇 모두 각자 독립적으로 robots.txt를 따르므로, 하나는 허용하고 다른 하나는 차단할 수 있습니다.
학습용, 검색용, 주문형 가져오기 AI 봇의 차이는 무엇인가요?
학습 봇(GPTBot, CCBot, Google-Extended, Bytespider)은 기반 모델을 학습시키기 위해 콘텐츠를 스크래핑합니다. 검색 봇(OAI-SearchBot, Claude-SearchBot, PerplexityBot)은 AI 검색 답변에서 인용될 수 있도록 사이트를 색인합니다. 주문형 가져오기 봇(ChatGPT-User, Claude-User, Perplexity-User)은 사용자가 어시스턴트에게 해당 페이지에 대해 물을 때 실시간으로 한 페이지를 가져옵니다. 각각은 robots.txt에서 개별적으로 제어할 수 있습니다.
robots.txt에서 AI 크롤러를 어떻게 차단하나요?
크롤러마다 그룹을 하나씩 추가하고 Disallow 규칙을 작성합니다. 예를 들어 "User-agent: GPTBot" 다음 줄에 "Disallow: /"를 씁니다. 여러 개를 차단하려면 각 user-agent를 별도 그룹에 나열하세요. robots.txt는 권고 사항이라는 점을 기억하세요. GPTBot이나 ClaudeBot 같은 행동이 올바른 크롤러는 이를 따르지만, 무시하기로 한 봇은 막지 못합니다.
AI 봇을 차단해야 하나요, 허용해야 하나요?
목표에 따라 다릅니다. 브랜드가 AI 답변에서 인용될 수 있도록 검색 봇(OAI-SearchBot, Claude-SearchBot, PerplexityBot)은 허용하세요. 학습 봇(GPTBot, CCBot, Google-Extended, Bytespider)은 옵트아웃할 특별한 이유가 있을 때만 차단하세요. Rutgers/Wharton 연구에 따르면 AI 크롤러를 전면 차단한 퍼블리셔는 총 트래픽의 23%를 잃었으며, 따라서 일괄 금지는 좀처럼 이득이 되지 않습니다.
ClaudeBot은 robots.txt를 존중하나요?
네. Anthropic의 공식 문서는 ClaudeBot, Claude-User, Claude-SearchBot 모두가 표준 외 Crawl-delay 확장을 포함한 표준 robots.txt 지시문을 따른다는 사실을 확인해 줍니다. 각 user-agent를 독립적으로 허용하거나 차단할 수 있으므로, Claude의 검색 답변에서 계속 인용되면서도 학습에서는 옵트아웃할 수 있습니다.
Google-Extended를 차단하면 Google 순위에 영향이 있나요?
아니요. Google-Extended는 내 콘텐츠가 Gemini와 Vertex AI를 학습하고 근거로 삼는 데 사용되는지만 제어합니다. Googlebot과는 별개의 토큰이므로 Google-Extended를 차단해도 Google 검색에서의 순위에는 아무 영향이 없습니다. 자연 검색을 건드리지 않고 AI 학습에서 옵트아웃하는 깔끔한 방법입니다.
Cloudflare의 기본 AI 봇 차단이 내 robots.txt의 Allow 규칙을 덮어쓰나요?
네, 네트워크 수준 차단이 우선합니다. 2025년 7월 1일 이후 Cloudflare는 "AI Scrapers and Crawlers" 관리형 규칙을 통해, 내 robots.txt가 Allow라고 되어 있어도 모든 신규 도메인에서 AI 봇을 기본적으로 차단합니다. 이 체커에서는 Allowed로 표시되지만 실제로는 페이지를 가져오지 못하는 봇이 있다면 Cloudflare의 Security → Bots 설정을 확인하세요.
