무료 도구 › AI 크롤러용 robots.txt 생성기

AI 크롤러용 robots.txt 규칙 만들기

어떤 AI 크롤러가 내 사이트를 읽어도 되는지 고르세요. AI 어시스턴트가 내 가게를 찾아서 인용하게 하는 검색 크롤러, 누군가 물어볼 때 페이지를 여는 크롤러, 학습용으로 페이지를 모으는 크롤러가 있습니다. 지금 쓰는 robots.txt를 붙여 넣으시면 기존 줄은 하나도 지우지 않고 새 규칙을 덧붙입니다. 모든 작업은 브라우저 안에서 이루어집니다.

1. 고르기

"검색 노출, 학습은 차단"은 AI 검색 크롤러와 사용자 요청 크롤러를 허용하고 학습용 크롤러를 막습니다.

크롤러 목록을 불러오는 중…

4. 새 robots.txt

    

만들어지는 파일의 내용(User-agent, Allow, Disallow, Sitemap 등)은 표준 robots.txt 형식이라 영어로 나옵니다.

검색 크롤러, 사용자 요청 크롤러, 학습용 크롤러

AI 회사들은 일마다 다른 크롤러를 보내고, 크롤러마다 따로 허용하거나 막을 수 있습니다.

Googlebot, Bingbot, Applebot은 일반 검색 크롤러이기도 합니다. 이들을 막으면 AI 답변뿐 아니라 Google 검색, Bing, Apple의 검색 기능에서도 빠집니다. Google에 따르면 AI 개요(AI Overviews)나 AI 모드에 링크로 나오려면 페이지가 색인되어 있고 Google 검색에 스니펫과 함께 나올 수 있어야 합니다. 이 셋 중 하나를 막으면 생성기가 경고해 드립니다.

네이버 검색은 이 목록과 별개입니다. 네이버 서치어드바이저 안내에 따르면 네이버 검색로봇은 robots.txt 규칙을 따르며, robots.txt에서는 Yeti라는 이름으로 지정합니다. 이 생성기는 Yeti용 그룹을 따로 만들지 않습니다.

기존 규칙은 이렇게 지킵니다

파일을 올린 다음에는

파일을 사이트 루트에 robots.txt라는 이름으로 저장하고, AI 크롤러 검사로 어시스턴트마다 고르신 대로 보이는지 확인하세요. 크롤러는 robots.txt를 때때로 다시 읽습니다. OpenAI는 반영되는 데 24시간쯤 걸릴 수 있다고 밝혔습니다. 사이트가 Cloudflare를 쓴다면, Cloudflare의 "Block AI bots" 설정은 robots.txt 내용과 상관없이 크롤러를 막을 수 있습니다.

자주 묻는 질문

GPTBot을 막으면 ChatGPT에서 내 사이트가 사라지나요?

아니요. OpenAI는 ChatGPT 검색 답변에 웹사이트를 보여 줄 때 OAI-SearchBot을 씁니다. GPTBot은 내 페이지를 모델 학습에 써도 되는지만 알려 줍니다.

Google-Extended를 막으면 Google 검색 순위가 떨어지나요?

아니요. Google은 Google-Extended가 Google 검색에 사이트가 포함되는 데 영향을 주지 않고 순위 신호로도 쓰이지 않는다고 밝혔습니다. Google이 내 페이지를 Gemini의 학습과 답변 근거(그라운딩)에 써도 되는지만 정합니다.

ChatGPT-User와 Perplexity-User를 막을 수 있나요?

규칙을 넣을 수는 있지만 지켜지지 않을 수 있습니다. OpenAI는 ChatGPT-User가 사람이 요청한 페이지를 여는 것이라 robots.txt 규칙이 적용되지 않을 수 있다고 밝혔고, Perplexity는 Perplexity-User가 대체로 robots.txt를 무시한다고, Amazon은 Amzn-User가 robots.txt 지시를 모두 따르지는 않을 수 있다고 밝혔습니다.

생성기가 왜 User-agent: * 규칙을 복사하나요?

크롤러는 자기 이름을 가장 구체적으로 적은 그룹 하나만 따릅니다. Google 규칙에 따르면 특정 크롤러의 그룹과 * 그룹은 합쳐지지 않습니다. 그래서 크롤러용 그룹을 새로 만들 때 기존 * 규칙을 그 안에 복사해서, 비공개로 두신 페이지가 계속 비공개로 남게 합니다.

이 도구가 내 robots.txt를 어딘가로 보내나요?

아니요. 규칙은 브라우저 안에서 만들어집니다. 저희 서버에서는 크롤러 목록만 불러옵니다.

파일은 어디에 두나요?

사이트 루트에 둡니다. 예: yourbusiness.com/robots.txt. 홈페이지 제작 도구나 SEO 플러그인에 robots.txt 설정이 있는 경우가 많고, 일부 호스팅형 제작 도구는 바꿀 수 없게 되어 있습니다.

함께 쓰면 좋은 무료 도구

왜 중요할까요? 동네 가게 추천에 대한 저희 조사(영문)에서 ChatGPT, Claude, Gemini는 어느 가게를 추천할지 좀처럼 일치하지 않았습니다.

만든 곳

OOO Works는 전 세계 소상공인을 위한 대행 서비스를 만들고 있습니다. 그중 OOO Visibility는 손님이 AI 어시스턴트에게 묻는 질문에 우리 가게 이름이 나오는지 추적하고, 나오지 않게 막는 문제를 고칩니다. OOO Works는 곧 오픈하며, 아직 아무것도 판매하지 않습니다. OOO Works 소개