robots.txt 만들기 — 무료, 로컬 | 사용법·입력·결과 해설
User-agent와 Allow·Disallow 경로를 조합해 robots.txt 초안을 만듭니다. 크롤러가 읽을 규칙 문자열을 작성하는 기능이며 검색 결과 제거 또는 보안 접근 제한 자체는 아닙니다.
- 브라우저에서 실행
- 업로드되지 않음
- 가입 없음, 기기 성능에 따라 제한될 수 있음
숫자는 기기에만 남습니다. 서버로 전송되지 않습니다.
사용 방법과 입력
대상 사용자 에이전트와 막거나 허용할 경로를 적고 필요하면 사이트맵 절대 URL을 넣으세요. 운영 파일의 기존 규칙과 합칠 때 적용 그룹과 경로를 다시 확인하세요.
결과 해설과 예제
User-agent *와 Disallow /admin을 넣으면 해당 접두 경로를 요청하지 말라는 기본 규칙이 나옵니다. 파일을 만들었다고 사이트에 설치되거나 모든 봇이 즉시 따르는 것은 아닙니다.
입력·결과 예시
User-agent *와 Disallow /admin을 넣으면 해당 접두 경로를 요청하지 말라는 기본 규칙이 나옵니다. 파일을 만들었다고 사이트에 설치되거나 모든 봇이 즉시 따르는 것은 아닙니다.
한계와 주의사항
- robots.txt는 인증 수단이나 민감한 파일의 접근 통제가 아닙니다.
- 크롤러 동작·색인 상태·기존 규칙 충돌을 시뮬레이션하지 않습니다.
입력 항목
| 항목 | 설명·제약 |
|---|---|
| User-agent | 화면의 단위와 입력 형식을 확인하세요. |
| 차단 | 화면의 단위와 입력 형식을 확인하세요. |
| 허용(선택) | 화면의 단위와 입력 형식을 확인하세요. |
| 사이트맵 URL(선택) | 화면의 단위와 입력 형식을 확인하세요. |
데이터 처리
처리는 현재 브라우저 탭에서 수행되며, 도구 입력을 계산 목적으로 서버에 업로드하지 않습니다.
근거 출처
자주 묻는 질문
/admin 규칙은 어떤 요청을 뜻하나요?
User-agent *와 Disallow /admin을 넣으면 해당 접두 경로를 요청하지 말라는 기본 규칙이 나옵니다. 파일을 만들었다고 사이트에 설치되거나 모든 봇이 즉시 따르는 것은 아닙니다.
robots.txt로 비공개 파일을 보호할 수 있나요?
robots.txt는 인증 수단이나 민감한 파일의 접근 통제가 아닙니다. 크롤러 동작·색인 상태·기존 규칙 충돌을 시뮬레이션하지 않습니다.
관련 도구
처음부터 다시 할 필요는 없습니다. 다음 단계에 맞는 도구로 자연스럽게 이어가세요.