1. 설명
- 웹사이트에서 크롤링할 수 있는 정보 접근 규칙을 정리한 텍스트 파일
- 작성 의무는 없지만 검색엔진 크롤러가 크롤링시 참고함.
2. 사용방법
2.1 robots.txt 파일 만듦.
2.2 robots.txt 파일 규칙 추가
> user-agent : 필수, 그룹당 하나 이상
> disallow : 규칙당 하나 이상 disallow 또는 allow 항목 필요
> allow : 규칙당 하나 이상 allow 또는 disallow 항목 필요
> sitemap : 선택사항
2.3 robots.txt 파일을 사이트 루트에 업로드
3. 예시
> https://hkand.blogspot.com/robots.txt
User-agent: Mediapartners-Google < 애드센스 로봇
Disallow: < 모두 허용
User-agent: * < 위 로봇를 제외한 모든 로봇
Disallow: /search < search 라는 이름을 크롤링 거부
Allow: / < search 를 제외한 다른 내용은 크롤링 허용
Sitemap: https://hkand.blogspot.com/sitemap.xml < sitemap 알림
4. 참고
끝.
