robots.txt 좀 봐주세요
본문
robots.txt 아래처럼하면 되는건가요?
robots.txt 미션은 어떻게 줘야하는지요?
User-agent: *
Allow: /
Disallow: /adm/
Disallow: /data/
Disallow: /extend/
Disallow: /install/
Disallow: /js/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
Disallow: /theme/
답변 1
User-agent: * # 모든 로봇(robot)들에 적용합니다
Disallow: / # 모든 페이지들의 색인(indexing)을 금지합니다
User-agent: # 접근을 허용하지 않을 로봇 이름을 설정합니다
Disallow:
# 허용하지 않을 항목에 대해 설정합니다
# 단 "Disallow"를 빈 값으로 설정할 경우, 모든 하위 경로에 대한 접근이 가능합니다
# 그리고 robots.txt 파일에는 최소한 한 개의 "Disallow" 필드가 존재해야만 합니다
Disallow: /help # /help.html 과 /help/index.html 둘 다 허용 안됩니다
Disallow: /help/ # /help/index.html는 허용 안하나, /hepl.html은 허용됩니다
참고 URL
@toqurk 님 댓글 감사합니다~
답변을 작성하시기 전에 로그인 해주세요.
