무료 도구 › AI 크롤러 검사

AI가 내 홈페이지를 읽을 수 있을까요?

무료 검사입니다. 페이지 주소를 넣으면 ChatGPT, Claude, Perplexity, Google AI 답변, Copilot, Siri, Alexa, DuckDuckGo, Mistral 뒤에 있는 크롤러가 그 페이지를 찾아서 읽을 수 있는지, 못 읽는다면 무엇을 바꿔야 하는지 알려 드립니다.

가입이 필요 없습니다. 검사한 주소는 저장하지 않습니다. 같은 주소를 다시 검사할 때 빠르도록 결과를 10분 동안만 보관합니다. 결과의 자세한 설명은 지금은 영어로 표시됩니다.

이 검사가 확인하는 것

AI에 노출되려면 어떤 크롤러가 중요할까요

어시스턴트페이지를 찾는 크롤러사용자 요청으로 페이지를 여는 크롤러모델 학습용 크롤러
ChatGPTOAI-SearchBotChatGPT-UserGPTBot
ClaudeClaude-SearchBotClaude-UserClaudeBot
PerplexityPerplexityBotPerplexity-User–
Google AI 개요(AI Overviews)와 AI 모드Googlebot–Google-Extended (Gemini)
Copilot (Bing을 통한 ChatGPT 검색 포함)Bingbot––
Siri, Spotlight, SafariApplebot–Applebot-Extended (Apple Intelligence)
AlexaAmzn-SearchBotAmzn-UserAmazonbot
DuckDuckGo AI 답변DuckAssistBot––
Mistral VibeMistralAI-IndexMistralAI-User–

검색 크롤러는 어시스턴트가 내 페이지를 찾아서 인용할 수 있는지를 정합니다. OpenAI는 OAI-SearchBot을 막은 사이트는 ChatGPT 검색 답변에 나오지 않는다고 밝혔습니다. 다만 사이트로 가는 링크로는 나올 수 있습니다. 사용자 요청 크롤러는 누군가 그 페이지에 대해 물을 때 페이지를 엽니다. OpenAI, Perplexity, Amazon은 자기 사용자 요청 크롤러가 robots.txt를 따르지 않을 수 있다고 밝혔기 때문에, 이 세 곳은 robots.txt 규칙을 보여 주기만 하고 차단으로 세지 않습니다. 학습용 크롤러는 내 페이지를 AI 모델 학습에 써도 되는지만 정합니다. 막을지는 사장님이 선택하시면 되고, 막아도 어시스턴트가 내 가게를 인용하는 데는 지장이 없습니다.

네이버 검색은 이 표와 별개입니다. 네이버 서치어드바이저 안내에 따르면 네이버 검색로봇은 robots.txt 규칙을 따르며, robots.txt에서는 Yeti라는 이름으로 지정합니다. 이 검사는 네이버 검색로봇(Yeti)은 확인하지 않습니다.

나도 모르게 AI 크롤러를 막는 이유

AI 검색 크롤러를 허용하는 방법

사이트 루트에 있는 robots.txt(yourbusiness.com/robots.txt)에 아래 내용을 추가한 뒤, 검사를 다시 해 보세요.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: DuckAssistBot
User-agent: MistralAI-Index
User-agent: MistralAI-User
Allow: /

사이트가 Cloudflare를 쓴다면, Cloudflare에서 Security → Settings → Bot traffic을 열고 "Block AI bots"가 꺼져 있는지도 확인하세요.

이 검사로 알 수 없는 것

저희 요청은 크롤러마다 그 이름을 달고 보내지만, 실제 크롤러의 주소가 아니라 저희 서버에서 나갑니다. 어떤 방화벽은 진짜 크롤러를 IP 주소로 확인해서 흉내 낸 요청과 다르게 대합니다. 그런 사이트에서는 짐작하지 않고 "확인 불가"(외부에서는 확인할 수 없음)라고 표시합니다.

AI 에이전트와 개발자용

같은 검사를 코드와 AI 에이전트에서도 무료로 쓸 수 있습니다. 제한도 같습니다(호출자당 1시간에 30번, 결과는 10분 동안 캐시).

더 읽을거리 (영문)

만든 곳

OOO Works는 전 세계 소상공인을 위한 대행 서비스를 만들고 있습니다. 그중 OOO Visibility는 손님이 AI 어시스턴트에게 묻는 질문에 우리 가게 이름이 나오는지 추적하고, 나오지 않게 막는 문제를 고칩니다. OOO Works는 곧 오픈하며, 아직 아무것도 판매하지 않습니다. OOO Works 소개