네.. 구글봇.. 굉장하죠..

sir.co.kr 예:

User-agent: Google
Disallow: /data

User-agent: Googlebot
Disallow: /data

User-agent: Yahoo Slurp
Disallow: /

User-agent: Slurp
Disallow: /


전세계 모든 bot 이 와줬으면 좋겠다. 그럼.

User-agent: Googlebot
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: twiceler
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: *
Disallow:
Disallow: /cgi-bin/


보안상 cgin-bin 은 막아두시는 것이 좋습니다. 네이버의 bot 은 naverbot 입니다만... -..-;;;;

http://googlekoreablog.blogspot.com/2011/01/4-robotstxt.html

그누보드는 open source 라서 robots.txt 를 보고 해킹경로 힌트를 얻어야 할 필요가 없다는... ㅋㅋㅋ

어짜피 해킹경로는 "책가방" 에서 자동검색해서 알려준다는...

반면 개별 php 페이지 접근은 Sir 님께서 친절하게 다 막아놔 주셨고....

고로, 저 글과 그누보드 사용자와는 전혀 상관이 없는 얘기 입니다. ^^

구글봇 무섭습니다;; ㅎㄷㄷㄷ

아이피 대역으로 차단해도 1~2일 정도 잠잠하다가 다른아이피로와서 엄청 긁어가대요. ㄷㄷㄷ

근데 봇을 끌어 들이는 이유가... 트래픽 증가 때문만인가욤?

노출되서 방문객이 많아지기위함이죠.

많이 노출될수록 유입률 증가.