쓸만한 로그 서비스를 제공해 주는 웹호스팅 서비스를 이용중이라면,
로봇이 어떤 페이지에서 얼마나 많이 이동했는지,
주로 어떤 내용을 중점적으로 수집해 갔는지 체크해 보시면 됩니다.

혹시라도 의도치 않은 이메일 주소 노출 페이지가 있었으나,
관리자 입장에서 미처 그 부분을 알아채기도 전에 수집되었는지도 점검하셔야 합니다.
검색로봇은 일단 수집해 가면 어떠한 경로를 거쳐 해당 내용을 삭제해 줄 것을
검색로봇의 소유자인 해당 회사에 요청한다고 해도 이미 늦습니다.

수집된 관련 페이지 및 내용을 삭제한다고 하더라도,
그러한 내용은 여타의 웹 로봇들이 다시 긁어가고,
이미 걷잡을 수 없을 정도로 커지기 때문입니다.

방문 및 체류시간이 갑자기 증가한 로봇을 파악한 후 일단 접근을 차단시킨 상태에서,
머물렀던 페이지, 수집해간 페이지를 점검한 후 수정/보완할 페이지를 점검한 뒤에,
해당 검색로봇의 접근에 대한 개폐를 가장 나중에 결정하시면 됩니다.

주관적인 내용입니다.
판단은 '수다쟁이'님의 몫입니다. 홍홍~*

논문관련된 글을 찾다 외국대학에서 본 글이였습니다.
검색 노출이 쉽게되기 위해 일부러 html 로 자신의 연구성과를 적는다고 합니다. 고급이론들을
보아도 외국사이트가 공개적이고 필요한 것들이 많더군요. 물론 검색도 수월하구요. 저도 검색봇
이 나쁘다 생각을 하였는데 그 내용을 읽은 후는 검색봇에 그렇게 배타적이지 않게 되었습니다.

다만 하루 방문자수를 볼때면 가심이 착찹합니다. ㅋㅋ

난 검색봇이 좋은뎅...왜들 그리 싫어하시는지요??

저는 개인적으로 정신건강에 도움이 되고있습니다.
방문객수의 절반정도가 로봇 ㅎ_ㅎ;