시린♡

구글봇이 색인한다고 여기저기.........

구글이 페이지 색인 생성한다고 여기저기 들쑤시고 다녀서 골치아프네요

자꾸 페이지 색인 액세스 금지(403)로 인해 차단됨 알림 메일오는데

theme / bbs / skin 폴더를 매일같이 접근을 시도하네요

robots.txt 으로 Disallow: /skin/ 접근 못하게 설정해놨는데도 뭘 그리 색인하려고하는지

 

다른 폴더 파일은 똑같이 해놓으니깐 조용한데 유독 저 3개의 폴더만 자꾸

접근 시도하는데 뭐 떡이라도 숨겨놓은건지 봇이..징글징글하네요..

|

댓글 8개

요새봇은 robots.txt 참조 안하는것 같습니다. rss 나 sitemap 도 무시하는것 같아요.
@크론이 마자요...무섭다니깐요 무시하고 무조건 액세스 하려고 덤비는게..
<meta name="robots" content="noindex, nofollow">
@돌아온헌이 봇 검색 노출아예 막으려고하는게 아닙니다. 위 작성해놓은것처럼 특정 폴더를 자꾸 색인 시도해서 문제인거지
애초에 robots.txt를 지키지 않는 무례한 봇이라면, 서버 단에서 차단하는 방법 밖에 없습니다.
@SimpleCode 그래서 지금 고민입니다. 아예 그냥 차단해버릴지.....어떻게 해야할지...고민을..
무슨 깡패같네요..
@EdinK 완전 날깡패 예요...멋대로 접근시도하는게 차단해버릴지 고민중이긴한데....
댓글을 작성하시려면 로그인이 필요합니다.

자유게시판

+
제목 글쓴이 날짜 조회
2년 전 조회 1,873
2년 전 조회 2,154
2년 전 조회 1,691
2년 전 조회 1,761
2년 전 조회 2,210
2년 전 조회 2,160
2년 전 조회 1,599
2년 전 조회 1,567
2년 전 조회 2,181
2년 전 조회 1,540
2년 전 조회 1,764
2년 전 조회 1,683
2년 전 조회 1,638
2년 전 조회 1,703
2년 전 조회 1,473
2년 전 조회 1,489
2년 전 조회 4,079
2년 전 조회 2,547
2년 전 조회 1,470
2년 전 조회 1,813
2년 전 조회 1,475
2년 전 조회 1,443
2년 전 조회 1,769
2년 전 조회 1,329
2년 전 조회 1,358
2년 전 조회 1,998
2년 전 조회 1,718
2년 전 조회 1,773
2년 전 조회 2,290
2년 전 조회 1,736