핵심 답변
robots.txt로 AI 크롤러를 관리할 때는 봇 이름(User-agent)별로 규칙을 따로 적어, 검색 노출에 쓰이는 봇과 모델 학습에 쓰이는 봇을 구분해 허용하거나 차단합니다. 예를 들어 OpenAI의 OAI-SearchBot은 허용하고 GPTBot은 차단하면 검색에는 나오되 학습에는 쓰지 말라는 뜻이 됩니다. 다만 규칙 준수는 크롤러의 자율이며, 사용자 요청으로 움직이는 일부 에이전트에는 적용되지 않을 수 있습니다.
핵심 포인트
- robots.txt는 봇 이름(User-agent)별로 규칙을 따로 적습니다.
- OAI-SearchBot 허용, GPTBot 차단처럼 검색과 학습을 나눌 수 있습니다.
- Google-Extended는 구글 검색 포함 여부나 순위에 영향을 주지 않습니다.
- 규칙 준수는 크롤러의 자율이며 사용자 요청 에이전트는 예외일 수 있습니다.
- 방화벽·CDN의 봇 차단이 robots.txt보다 먼저 작동할 수 있습니다.
robots.txt로 AI 크롤러를 봇마다 다르게 설정할 수 있나요?
가능합니다. robots.txt는 크롤러가 사이트의 어떤 URL에 접근할 수 있는지 알려 주는 파일이며, 'User-agent: 봇이름' 아래에 'Disallow' 같은 규칙을 적어 봇별로 다르게 지정합니다.
robots.txt는 사이트 루트에 둡니다. 예를 들어 'User-agent: GPTBot' 다음 줄에 'Disallow: /'를 적으면 GPTBot에게 사이트 전체를 수집하지 말라고 알리는 것입니다. OpenAI는 각 봇 설정이 서로 독립적이라고 설명하므로, 한 봇을 막아도 다른 봇의 규칙은 그대로 유지됩니다.
robots.txt는 크롤러의 접근 범위를 알리는 파일이지 페이지를 검색 결과에서 숨기는 수단이 아닙니다. 검색에서 제외하려면 noindex를 쓰거나 비밀번호로 보호하는 방법을 씁니다.
| 운영사 | 이름 | 용도 |
|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT 검색 결과에 사이트 표시 |
| OpenAI | GPTBot | 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠 수집 |
| OpenAI | ChatGPT-User | 사용자 요청으로 웹페이지 방문(자동 크롤링용 아님) |
| Anthropic | Claude-SearchBot | 검색 결과 품질을 위한 웹 탐색·색인 |
| Anthropic | ClaudeBot | 모델 학습에 기여할 수 있는 웹 콘텐츠 수집 |
| Anthropic | Claude-User | 사용자가 클로드에 질문했을 때 웹사이트 접근 |
| Perplexity | PerplexityBot | 퍼플렉시티 검색 결과에 사이트 표시·링크 |
| Perplexity | Perplexity-User | 사용자 질문에 답하기 위한 페이지 방문 |
| 구글 | Googlebot | 구글 검색(AI 개요·AI 모드 포함) |
| 구글 | Google-Extended | 제미나이 학습·그라운딩 제어 토큰 |
| 네이버 | Yeti | 네이버 검색로봇 |
검색용 봇과 학습용 봇은 어떻게 구분하나요?
각 회사는 검색 결과 표시용 봇, 모델 학습용 수집 봇, 사용자 요청으로 움직이는 에이전트를 서로 다른 이름으로 운영하므로, 아래 표의 용도를 보고 봇별로 허용 여부를 정합니다.
AI 검색 답변에 사이트가 나오기를 원한다면 OAI-SearchBot, Claude-SearchBot, PerplexityBot 같은 검색용 봇을 막지 않아야 합니다. OpenAI는 검색 노출을 원하면 OAI-SearchBot을 허용하라고 권하며, 차단하면 ChatGPT 검색 답변에 사이트가 표시되지 않는다고 밝힙니다.
구글은 구조가 조금 다릅니다. AI 개요와 AI 모드는 일반 검색과 같은 Googlebot을 쓰므로 Googlebot을 막으면 일반 검색의 크롤링까지 함께 막힙니다. Google-Extended는 제미나이 모델 학습과 그라운딩에 대한 제어 토큰으로, 별도의 HTTP 사용자 에이전트 없이 robots.txt 토큰으로만 쓰이며 구글 검색 포함 여부나 순위에는 영향을 주지 않습니다.
robots.txt에 적으면 모든 AI 봇이 따르나요?
그렇지 않을 수 있습니다. robots.txt 규칙 준수는 크롤러의 자율이며, 사용자가 직접 요청해 페이지를 가져오는 에이전트에는 규칙이 적용되지 않을 수 있습니다.
Anthropic은 자사 봇이 robots.txt를 준수하며 Crawl-delay도 지원한다고 밝힙니다. 반면 OpenAI의 ChatGPT-User는 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있고, 퍼플렉시티는 Perplexity-User가 일반적으로 robots.txt 규칙을 무시한다고 밝힙니다.
허용하려는 경우에도 점검할 것이 있습니다. 방화벽, CDN, 호스팅의 봇 차단 설정이 robots.txt보다 먼저 작동해 AI 크롤러를 막는 경우가 있으므로 함께 확인합니다.
AI 크롤러 설정은 어떤 기준으로 정해야 하나요?
AI 답변에서의 노출을 원하는지, 콘텐츠가 모델 학습에 쓰이는 것을 허용할지를 나눠서 판단합니다.
브랜드와 서비스를 알리는 것이 목적인 사이트라면 검색용 봇을 허용하는 편이 생성형엔진최적화(GEO)의 방향에 맞습니다. AI가 읽지 못하는 페이지는 답변의 출처가 되기 어렵기 때문입니다. 학습용 봇의 허용 여부는 콘텐츠의 성격과 회사 방침에 따라 달라지는 선택의 문제입니다.
Googlebot과 네이버 검색로봇 Yeti처럼 검색엔진최적화(SEO)에 필요한 봇을 실수로 막지 않았는지도 함께 봅니다. 네이버는 로봇을 IP로 차단하지 말고 robots.txt로 제어하라고 권합니다. 봇 이름과 동작은 작성 시점(2026년) 기준이며 변경될 수 있으니 각 회사 공식 문서를 정기적으로 확인하는 것이 좋습니다.
단계별 방법
- 사이트 루트의 robots.txt를 열어 현재 규칙을 확인합니다. 모든 봇을 대상으로 한 차단 규칙('User-agent: *' 아래의 'Disallow: /')이 있는지 먼저 봅니다.
- AI 검색 노출을 원하는지, 모델 학습 수집을 허용할지 방침을 정합니다.
- 검색용 봇(OAI-SearchBot, Claude-SearchBot, PerplexityBot)과 Googlebot, Yeti가 차단되어 있지 않은지 확인합니다.
- 학습 수집을 원하지 않으면 GPTBot, ClaudeBot, Google-Extended에 대해 봇별로 'Disallow: /' 규칙을 추가합니다.
- 방화벽, CDN, 호스팅의 봇 차단 설정이 robots.txt의 방침과 어긋나지 않는지 점검합니다.
- 반영까지 시간이 걸릴 수 있으므로(퍼플렉시티는 최대 24시간) 시간을 두고 확인하고, 봇 이름이 바뀌지 않았는지 공식 문서를 주기적으로 살핍니다.
자주 묻는 질문
AI 크롤러를 전부 차단하면 어떤 일이 생기나요?
검색용 봇까지 막으면 해당 AI 검색의 답변에 사이트가 표시되기 어려워집니다. 예를 들어 OpenAI는 OAI-SearchBot을 차단하면 ChatGPT 검색 답변에 표시되지 않는다고 밝힙니다(탐색용 링크로는 나타날 수 있습니다). 콘텐츠 보호와 노출 가운데 무엇을 우선할지 정한 뒤 설정하는 것이 좋습니다.
Crawl-delay로 AI 봇의 방문 속도를 줄일 수 있나요?
봇에 따라 다릅니다. Anthropic은 자사 봇이 robots.txt를 준수하며 Crawl-delay도 지원한다고 밝힙니다. 다른 봇의 지원 여부는 각 회사의 공식 문서에서 확인해야 합니다.
robots.txt 대신 llms.txt로 AI 크롤러를 제어할 수 있나요?
아닙니다. llms.txt는 대규모 언어 모델(LLM)과 AI 에이전트에게 사이트 정보를 간결하게 제공하자는 제안이며, 접근을 허용하거나 차단하는 용도의 파일이 아닙니다. 크롤러의 접근 범위는 robots.txt로 알립니다.
이 글의 핵심 엔티티
- robots.txt ( 개념·서비스 )
- 크롤러가 사이트의 어떤 주소에 접근할 수 있는지 알려 주는 파일로, RFC 9309로 표준화되었습니다. 공식 자료: robots.txt
- OpenAI ( 조직 )
- ChatGPT를 만든 미국 AI 기업으로, GPTBot·OAI-SearchBot·ChatGPT-User 크롤러를 운영합니다. 공식 자료: OpenAI
- 클로드(Claude) ( 개념·서비스 )
- Anthropic이 만든 대화형 AI 서비스입니다. 공식 자료: 클로드(Claude)
- ChatGPT ( 개념·서비스 )
- OpenAI가 만든 대화형 AI 서비스로, 웹 검색 결과를 인용해 답하는 검색 기능을 제공합니다. 공식 자료: ChatGPT
- 구글(Google) ( 조직 )
- 구글 검색과 AI 개요·AI 모드를 운영하는 기업으로, 검색 센터에서 공식 SEO 가이드를 제공합니다. 공식 자료: 구글(Google)
- AI 개요(AI Overviews) ( 개념·서비스 )
- 구글 검색 결과에서 AI가 여러 출처를 요약해 링크와 함께 보여 주는 기능입니다. 공식 자료: AI 개요(AI Overviews)
- AI 모드(AI Mode) ( 개념·서비스 )
- 구글 검색에서 후속 질문과 복잡한 비교를 대화형으로 처리하는 AI 검색 기능입니다. 공식 자료: AI 모드(AI Mode)
- 제미나이(Gemini) ( 개념·서비스 )
- 구글의 생성형 AI 모델이자 대화형 AI 서비스입니다. 공식 자료: 제미나이(Gemini)
- Anthropic ( 조직 )
- 클로드를 만든 미국 AI 기업으로, ClaudeBot·Claude-User·Claude-SearchBot 크롤러를 운영합니다. 공식 자료: Anthropic
- 퍼플렉시티(Perplexity) ( 조직 )
- 출처를 함께 보여 주는 AI 검색 서비스를 운영하는 기업으로, PerplexityBot과 Perplexity-User를 운영합니다. 공식 자료: 퍼플렉시티(Perplexity)
- 생성형엔진최적화(GEO) ( 개념·서비스 )
- 생성형 AI가 여러 출처를 종합해 만드는 답변에서 콘텐츠와 브랜드가 더 잘 보이고 인용되도록 하는 작업입니다. 공식 자료: 생성형엔진최적화(GEO)
- 네이버(Naver) ( 조직 )
- 한국의 검색 포털로, 검색로봇 Yeti와 AI 검색 기능인 AI 브리핑을 운영합니다. 공식 자료: 네이버(Naver)