구글봇이 색인한다고 여기저기......... 정보
구글봇이 색인한다고 여기저기.........
본문
구글이 페이지 색인 생성한다고 여기저기 들쑤시고 다녀서 골치아프네요
자꾸 페이지 색인 액세스 금지(403)로 인해 차단됨 알림 메일오는데
theme / bbs / skin 폴더를 매일같이 접근을 시도하네요
robots.txt 으로 Disallow: /skin/ 접근 못하게 설정해놨는데도 뭘 그리 색인하려고하는지
다른 폴더 파일은 똑같이 해놓으니깐 조용한데 유독 저 3개의 폴더만 자꾸
접근 시도하는데 뭐 떡이라도 숨겨놓은건지 봇이..징글징글하네요..
추천
1
1
베스트댓글
<meta name="robots" content="noindex, nofollow">
댓글 8개
요새봇은 robots.txt 참조 안하는것 같습니다. rss 나 sitemap 도 무시하는것 같아요.
@크론이 마자요...무섭다니깐요 무시하고 무조건 액세스 하려고 덤비는게..
<meta name="robots" content="noindex, nofollow">
@돌아온헌이 봇 검색 노출아예 막으려고하는게 아닙니다. 위 작성해놓은것처럼 특정 폴더를 자꾸 색인 시도해서 문제인거지
애초에 robots.txt를 지키지 않는 무례한 봇이라면, 서버 단에서 차단하는 방법 밖에 없습니다.
@SimpleCode 그래서 지금 고민입니다. 아예 그냥 차단해버릴지.....어떻게 해야할지...고민을..
무슨 깡패같네요..
@EdinK 완전 날깡패 예요...멋대로 접근시도하는게 차단해버릴지 고민중이긴한데....