robots.txt 질문입니다.

robots.txt 질문입니다.

QA

robots.txt 질문입니다.

본문

이리저리 알아봐서 아래와 같이 사이트(일반 사이트입니다)에 적용했는데.
잘못 했는지 로봇이 차단되어 크롤링도 안되네요.

뭘 잘못 한건가요?

User-agent: Googlebot
User-agent: Yeti
User-agent : DAUM
User-agent: Bingbot
User-agent: AhrefsBot
User-agent: SemrushBot
Disallow: /admin/
Disallow: /mypage/

User-agent: *
Disallow: /

이 질문에 댓글 쓰기 :

답변 2

안녕하세요.

아래의 내용도 한번 참고를 해보세요~

 


User-agent: Googlebot
Disallow: /admin/
Disallow: /mypage/
 
User-agent: Yeti
Disallow: /admin/
Disallow: /mypage/
 
User-agent: DAUM
Disallow: /admin/
Disallow: /mypage/
 
User-agent: Bingbot
Disallow: /admin/
Disallow: /mypage/
 
User-agent: AhrefsBot
Disallow: /admin/
Disallow: /mypage/
 
User-agent: SemrushBot
Disallow: /admin/
Disallow: /mypage/
 
User-agent: *
Disallow: /
 

 

이 설정으로, Googlebot, Yeti, DAUM, Bingbot, AhrefsBot, SemrushBot는 /admin/과 /mypage/를 제외한 사이트의 모든 부분에 접근할 수 있으며, 그 외의 모든 크롤러는 사이트 전체에서 차단됩니다.

 

 

감사합니다. 이렇게 하니까. 크롤링이 되네요.
문법이란게 따로 있나 보네요.

전 제가 쓴것과 동일하다고 생각했는데...말입니다.
문장이 아주 길어지긴 했는데 그래도 작동하니..좋네요. ^^

그럼 좋은 하루 되세요.

User-agent: *
Allow: /

Disallow: /admin/
Disallow: /mypage/

 

이렇게 바꿔보세요
 

답변을 작성하시기 전에 로그인 해주세요.
전체 2,429
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT