robot.txt 로봇 허용, 차단 관련 질문드립니다

robot.txt 로봇 허용, 차단 관련 질문드립니다

QA

robot.txt 로봇 허용, 차단 관련 질문드립니다

본문

User-agent: *
Disallow: /

 

User-agent: Googlebot
Allow: /

 

User-agent: Googlebot-Mobile
Allow: /

 

User-agent: Mediapartners-Google
Allow: /

 

User-agent: AdsBot-Naver
Allow: /

 

User-agent: cowbot
Allow: /

 

User-agent: Naverbot
Allow: /

 

User-agent: Yeti
Allow: /

 

User-agent: ZumBot
Allow: /

 

User-agent: bingbot
Allow: /

 

Disallow: /adm/

 

 

robot.txt 관련 여러 글들을 찾으면서 만들어봤는데..

 

다른 로봇들은 다 차단하고, 구글봇 3개, 네이버봇 4개, 줌봇, 빙봇. 이렇게만 허용하고 adm 폴더는 로봇의 접근을 차단하는게 위에 제가 적어놓은 내용이 맞는지 궁금합니다.

이 질문에 댓글 쓰기 :

답변 1

답변을 작성하시기 전에 로그인 해주세요.
전체 123,160 | RSS
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT