🔒 입력한 글은 이 브라우저 안에서만 처리됩니다. 서버로 전송되거나 저장되지 않습니다.
robots.txt
User-agent: *
Disallow:
robots.txt는 사이트 맨 위 경로(/robots.txt)에 올려야 합니다. 이 파일은 «요청»일 뿐이라 접근을 막는 보안 장치가 아니에요. 비밀 페이지는 로그인으로 보호하세요. 일부 크롤러는 규칙을 따르지 않습니다.
이 도구로 할 수 있는 것
- 막을·허용할 경로와 사이트맵 지정
- AI 학습·수집 크롤러 9종 한 번에 차단
- 사이트 전체 차단·크롤 지연 옵션
- 복사·robots.txt 파일 저장
자주 묻는 질문
Qrobots.txt로 페이지를 숨길 수 있나요?
검색엔진에 «들어오지 말아 달라»고 요청할 뿐이라 접근을 막는 보안 장치가 아닙니다. 막은 주소가 다른 곳에 링크돼 있으면 검색에 나올 수도 있어요. 비공개 페이지는 로그인으로 보호하세요.
Q파일은 어디에 올리나요?
도메인 맨 위 경로, 예를 들어 https://example.com/robots.txt 에 있어야 크롤러가 읽습니다. 하위 폴더에 두면 적용되지 않아요.
QAI 크롤러를 막으면 검색에서 빠지나요?
아닙니다. 구글·빙 검색 크롤러(Googlebot·Bingbot)는 그대로이고, GPTBot·ClaudeBot 같은 AI 학습·수집 크롤러만 막습니다. Google-Extended는 구글 AI 학습 사용 여부만 정하는 토큰입니다.
다른 텍스트 도구
아주 긴 글(수십만 자)은 브라우저에서 처리하므로 기기 성능에 따라 느려질 수 있습니다.