robots.txt 질문 드립니다.

robots.txt 질문 드립니다.

QA

robots.txt 질문 드립니다.

본문

User-agent: *
Allow: /

 

이게 모든 로봇 검색,

 

 

User-agent: Yeti
Allow:/

 

이게 네이버 로봇 검색으로 아는데요,

 

그냥 모든 로봇 검색하면 되는데, 굳이 네이버 로봇 검색만 해야 하는 이유가 있나요?

네이버 로봇 검색만 하면 구글이나 다른 로봇 검색은 안되는 건가요?

이 질문에 댓글 쓰기 :

답변 2

한국인들만을 겨냥한 사이트라면

네이버검색만 해도 되죠

구글/바이두 같은 사이트에서 들어오는 로봇이 발생하는 트래픽이 어마어마하거든요

웹호스팅이라면 트래픽 초과는 매우쉽게됩니다.

그러면 막는게 상책이겠죠

트래픽걱정이 없다면 넉넉히 열어두는게 여러모로 좋을것이구요

상황에 따라 잘 결정하시면됩니다.

검색을 허용하실려면

User-agent: *
Allow: /

 

이걸로 하시는게 좋습니다. 로봇이 무조건 수집을 해가니...검증되지 않는 로봇은 허용하지 않은게

좋으니 대한민국에서는 그래도 네이버가 공신력이잇으니..네이버로 하는것같습니다. 

답변을 작성하시기 전에 로그인 해주세요.
전체 15
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT