로봇.txt 파일이요 이렇게 하면 모든 로봇 다 들어오는거 맞나요?? 정보
로봇.txt 파일이요 이렇게 하면 모든 로봇 다 들어오는거 맞나요??
본문
User-agent: Cowbot
Disallow:
User-agent:DAUMOA
Disallow:
User-agent:Googlebot
Disallow:
User-agent:Slurp
Disallow:
User-agent:MSNBot
Disallow:
User-agent: *
Disallow: /
로봇.txt 파일이요 이렇게 하면 모든 로봇 다 들어오는거 맞나요??
추천
0
0
댓글 5개
Disallow: / → 모든 로봇의 문서 접근을 전부 막는다(차단) 한다는 뜻입니다.
Allow: / → 모든 로봇의 문서 접근을 허용한다.
↓ 로봇.txt 파일을 아래처럼 수정하시면 모든로봇을 허용한다는 뜻 입니다.
-------------------
User-agent: *
Allow: /
-------------------
Allow: / → 모든 로봇의 문서 접근을 허용한다.
↓ 로봇.txt 파일을 아래처럼 수정하시면 모든로봇을 허용한다는 뜻 입니다.
-------------------
User-agent: *
Allow: /
-------------------
User-agent: *
Disallow: /
이렇게 넣어줬으니 로봇을 다허용한다는거 맞죠?
Disallow: /
이렇게 넣어줬으니 로봇을 다허용한다는거 맞죠?
모두 차단 한다는 뜻인것 같은데용 ㅡㅡ;
Disallow => Allow 으로~
Disallow => Allow 으로~
헐이런 큰실수가 너무 감사드립니다~~ 흑..