AI가 내 홈페이지를 읽을 수 있을까요?
무료 검사입니다. 페이지 주소를 넣으면 ChatGPT, Claude, Perplexity, Google AI 답변, Copilot, Siri, Alexa, DuckDuckGo, Mistral 뒤에 있는 크롤러가 그 페이지를 찾아서 읽을 수 있는지, 못 읽는다면 무엇을 바꿔야 하는지 알려 드립니다.
가입이 필요 없습니다. 검사한 주소는 저장하지 않습니다. 같은 주소를 다시 검사할 때 빠르도록 결과를 10분 동안만 보관합니다. 결과의 자세한 설명은 지금은 영어로 표시됩니다.
이 검사가 확인하는 것
- robots.txt: 내 사이트의 규칙이 AI 크롤러마다 이 페이지를 읽도록 허용하는지 봅니다. 크롤러마다 다른 내용을 주는 서버도 있어서, 서버가 각 크롤러에게 실제로 주는 robots.txt를 읽습니다.
- 서버와 방화벽: 페이지를 일반 브라우저로 한 번, 크롤러 이름으로 한 번씩 요청합니다. 브라우저는 페이지를 받는데 크롤러는 못 받는다면, 무언가가 그 크롤러를 막고 있는 것입니다. 크롤러 이름 없이 보내는 자동 요청도 함께 보내서, 차단이 AI 크롤러 이름을 노린 것인지 모든 자동 접속을 막는 것인지 구분합니다.
- noindex: 페이지가 검색엔진에 '색인하지 말라'고 알리는지 봅니다. AI 검색 기능은 색인이 허용된 페이지만 인용합니다.
- llms.txt: 사이트에 llms.txt가 있는지, 형식이 맞는지 봅니다. 없어도 되는 선택 사항(llmstxt.org의 제안)입니다. AI가 내 사이트를 읽을 수 있는지는 robots.txt와 서버가 정합니다.
AI에 노출되려면 어떤 크롤러가 중요할까요
| 어시스턴트 | 페이지를 찾는 크롤러 | 사용자 요청으로 페이지를 여는 크롤러 | 모델 학습용 크롤러 |
|---|---|---|---|
| ChatGPT | OAI-SearchBot | ChatGPT-User | GPTBot |
| Claude | Claude-SearchBot | Claude-User | ClaudeBot |
| Perplexity | PerplexityBot | Perplexity-User | – |
| Google AI 개요(AI Overviews)와 AI 모드 | Googlebot | – | Google-Extended (Gemini) |
| Copilot (Bing을 통한 ChatGPT 검색 포함) | Bingbot | – | – |
| Siri, Spotlight, Safari | Applebot | – | Applebot-Extended (Apple Intelligence) |
| Alexa | Amzn-SearchBot | Amzn-User | Amazonbot |
| DuckDuckGo AI 답변 | DuckAssistBot | – | – |
| Mistral Vibe | MistralAI-Index | MistralAI-User | – |
검색 크롤러는 어시스턴트가 내 페이지를 찾아서 인용할 수 있는지를 정합니다. OpenAI는 OAI-SearchBot을 막은 사이트는 ChatGPT 검색 답변에 나오지 않는다고 밝혔습니다. 다만 사이트로 가는 링크로는 나올 수 있습니다. 사용자 요청 크롤러는 누군가 그 페이지에 대해 물을 때 페이지를 엽니다. OpenAI, Perplexity, Amazon은 자기 사용자 요청 크롤러가 robots.txt를 따르지 않을 수 있다고 밝혔기 때문에, 이 세 곳은 robots.txt 규칙을 보여 주기만 하고 차단으로 세지 않습니다. 학습용 크롤러는 내 페이지를 AI 모델 학습에 써도 되는지만 정합니다. 막을지는 사장님이 선택하시면 되고, 막아도 어시스턴트가 내 가게를 인용하는 데는 지장이 없습니다.
네이버 검색은 이 표와 별개입니다. 네이버 서치어드바이저 안내에 따르면 네이버 검색로봇은 robots.txt 규칙을 따르며, robots.txt에서는 Yeti라는 이름으로 지정합니다. 이 검사는 네이버 검색로봇(Yeti)은 확인하지 않습니다.
나도 모르게 AI 크롤러를 막는 이유
- CDN이나 호스팅의 AI 봇 차단 설정. 예: Cloudflare의 "Block AI bots" 옵션
- 낯선 크롤러를 거부하는 보안 플러그인이나 방화벽 규칙
- Google 외 모든 크롤러를 막는 템플릿에서 그대로 복사해 온 robots.txt
AI 검색 크롤러를 허용하는 방법
사이트 루트에 있는 robots.txt(yourbusiness.com/robots.txt)에 아래 내용을 추가한 뒤, 검사를 다시 해 보세요.
User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Applebot User-agent: Amzn-SearchBot User-agent: Amzn-User User-agent: DuckAssistBot User-agent: MistralAI-Index User-agent: MistralAI-User Allow: /
사이트가 Cloudflare를 쓴다면, Cloudflare에서 Security → Settings → Bot traffic을 열고 "Block AI bots"가 꺼져 있는지도 확인하세요.
이 검사로 알 수 없는 것
저희 요청은 크롤러마다 그 이름을 달고 보내지만, 실제 크롤러의 주소가 아니라 저희 서버에서 나갑니다. 어떤 방화벽은 진짜 크롤러를 IP 주소로 확인해서 흉내 낸 요청과 다르게 대합니다. 그런 사이트에서는 짐작하지 않고 "확인 불가"(외부에서는 확인할 수 없음)라고 표시합니다.
AI 에이전트와 개발자용
같은 검사를 코드와 AI 에이전트에서도 무료로 쓸 수 있습니다. 제한도 같습니다(호출자당 1시간에 30번, 결과는 10분 동안 캐시).
- MCP 서버:
https://oooworks.com/mcp(streamable HTTP, 로그인 없음), 도구 이름check_ai_crawler_access. Claude Code에서는claude mcp add --transport http oooworks https://oooworks.com/mcp - JSON API:
POST https://oooworks.com/api/ai-crawler-check에{"url": "example.com"}를 보냅니다. 설명: OpenAPI
더 읽을거리 (영문)
- How to check if ChatGPT can see your website (and fix it)
- Nearly 1 in 5 top websites block AI search crawlers
- Free AI crawler checkers compared
만든 곳
OOO Works는 전 세계 소상공인을 위한 대행 서비스를 만들고 있습니다. 그중 OOO Visibility는 손님이 AI 어시스턴트에게 묻는 질문에 우리 가게 이름이 나오는지 추적하고, 나오지 않게 막는 문제를 고칩니다. OOO Works는 곧 오픈하며, 아직 아무것도 판매하지 않습니다. OOO Works 소개