로봇.txt 파일이요 이렇게 하면 모든 로봇 다 들어오는거 맞나요??
User-agent: Cowbot
Disallow:
User-agent:DAUMOA
Disallow:
User-agent:Googlebot
Disallow:
User-agent:Slurp
Disallow:
User-agent:MSNBot
Disallow:
User-agent: *
Disallow: /
로봇.txt 파일이요 이렇게 하면 모든 로봇 다 들어오는거 맞나요??
|
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기
댓글 5개
요거나,
http://support.google.com/webmasters/bin/answer.py?hl=ko&answer=156449&from=35237&rd=1
요거 참조해보세요.
Allow: / → 모든 로봇의 문서 접근을 허용한다.
↓ 로봇.txt 파일을 아래처럼 수정하시면 모든로봇을 허용한다는 뜻 입니다.
-------------------
User-agent: *
Allow: /
-------------------
Disallow: /
이렇게 넣어줬으니 로봇을 다허용한다는거 맞죠?
Disallow => Allow 으로~