robots.txt 생성기
사용자 에이전트와 허용·차단 경로를 받아 robots.txt 초안을 생성합니다. 크롤러의 접근 요청 정책을 작성하는 기능이며 비공개 자료의 접근 통제를 제공하지 않습니다.
- 브라우저에서 실행
- 업로드되지 않음
- 가입 없음, 기기 성능에 따라 제한될 수 있음
계산 도구를 불러오는 중입니다. 도구가 표시되지 않으면 페이지를 새로고침하세요.
사용 방법과 입력
대상 크롤러 이름과 경로를 한 줄씩 입력하고 필요한 경우 사이트맵 주소를 넣으세요. 생성한 내용은 사이트 루트의 실제 robots.txt와 합쳐 검토하며 기존 규칙을 덮어쓰지 않도록 합니다.
결과 해설과 예제
Disallow: /private/는 해당 경로의 크롤링을 요청상 차단하는 규칙입니다. 로그인 보호를 만들지 않으며 검색엔진이 다른 링크로 URL을 발견하는 것까지 막는다는 뜻도 아닙니다.
한계와 주의사항
- robots.txt는 보안 경계나 색인 삭제 명령이 아닙니다.
- 잘못된 / 차단은 사이트 전체 수집에 영향을 줄 수 있으므로 배포 전에 대상 경로를 확인하세요.
입력 항목
| 항목 | 설명·제약 |
|---|---|
| User-agent | 화면의 단위와 입력 형식을 확인하세요. |
| Allow 경로 (한 줄에 하나) | 화면의 단위와 입력 형식을 확인하세요. |
| Disallow 경로 (한 줄에 하나) | 화면의 단위와 입력 형식을 확인하세요. |
| Sitemap URL (선택) | 화면의 단위와 입력 형식을 확인하세요. |
| 추가 블록: User-agent: AdsBot-Google → Disallow: / | 화면의 단위와 입력 형식을 확인하세요. |
| robots.txt | 화면의 단위와 입력 형식을 확인하세요. |
데이터 처리
처리는 현재 브라우저 탭에서 수행되며, 도구 입력을 계산 목적으로 서버에 업로드하지 않습니다.
근거 출처
자주 묻는 질문
Disallow가 페이지를 비공개로 만드나요?
Disallow: /private/는 해당 경로의 크롤링을 요청상 차단하는 규칙입니다. 로그인 보호를 만들지 않으며 검색엔진이 다른 링크로 URL을 발견하는 것까지 막는다는 뜻도 아닙니다.
전체 경로 차단은 언제 주의하나요?
robots.txt는 보안 경계나 색인 삭제 명령이 아닙니다. 잘못된 / 차단은 사이트 전체 수집에 영향을 줄 수 있으므로 배포 전에 대상 경로를 확인하세요.
