robots.txt 사용방법 정보
robots.txt 사용방법
본문
모든 검색로봇 접근 차단
User-agent: *
Disallow: /
모든 검색로봇 접근 허용
User-agent: *
Allow: /
특정 검색로봇만 허용하고 나머지 차단하기
User-agent: *
Disallow: /
User-agent: *
Allow: Googlebot
특정 폴더만 접근 금지
User-agent: *
Disallow: /폴더명/
검색로봇
네이버 Yetibot
다음 Daumoa
구글 Googlebot
야후 Yahoo! Slurp
마이크로소프트 Msnbot
빙 Bingbot
만약 모든 검색로봇 접근을 허용할 때에는
User-agent: *
Allow: /
이렇게 메모장에 적으신 후 robots.txt 라는 이름으로
텍스트 파일을 저장 하신 후 사이트 경로의 FTP에 업로드 하시면 됩니다.
추천
10
10
댓글 3개
감사합니다.
로보트 검색하려했는데 감사합니다.
좋은 정보 감사합니다.
