시린♡

구글봇이 색인한다고 여기저기.........

· 2023-07-10 (월) 11:02:38 · 1654 · 8

구글이 페이지 색인 생성한다고 여기저기 들쑤시고 다녀서 골치아프네요

자꾸 페이지 색인 액세스 금지(403)로 인해 차단됨 알림 메일오는데

theme / bbs / skin 폴더를 매일같이 접근을 시도하네요

robots.txt 으로 Disallow: /skin/ 접근 못하게 설정해놨는데도 뭘 그리 색인하려고하는지

 

다른 폴더 파일은 똑같이 해놓으니깐 조용한데 유독 저 3개의 폴더만 자꾸

접근 시도하는데 뭐 떡이라도 숨겨놓은건지 봇이..징글징글하네요..

|

댓글 8개

요새봇은 robots.txt 참조 안하는것 같습니다. rss 나 sitemap 도 무시하는것 같아요.
@크론이 마자요...무섭다니깐요 무시하고 무조건 액세스 하려고 덤비는게..
2023-07-10 (월) 11:54:19
<meta name="robots" content="noindex, nofollow">
@돌아온헌이 봇 검색 노출아예 막으려고하는게 아닙니다. 위 작성해놓은것처럼 특정 폴더를 자꾸 색인 시도해서 문제인거지
애초에 robots.txt를 지키지 않는 무례한 봇이라면, 서버 단에서 차단하는 방법 밖에 없습니다.
@SimpleCode 그래서 지금 고민입니다. 아예 그냥 차단해버릴지.....어떻게 해야할지...고민을..
무슨 깡패같네요..
@EdinK 완전 날깡패 예요...멋대로 접근시도하는게 차단해버릴지 고민중이긴한데....
댓글을 작성하시려면 로그인이 필요합니다.

자유게시판

202,986건
+
제목 글쓴이 날짜 조회
23-07-10 조회 1,750
23-07-10 조회 1,716
23-07-10 조회 2,440
23-07-10 조회 1,700
23-07-10 조회 1,982
23-07-10 조회 1,881
23-07-10 조회 1,824
23-07-10 조회 1,912
23-07-10 조회 1,655
23-07-10 조회 1,701
23-07-10 조회 5,321
23-07-09 조회 2,755
23-07-09 조회 1,651
23-07-09 조회 2,028
23-07-08 조회 1,680
23-07-08 조회 1,607
23-07-08 조회 1,980
23-07-07 조회 1,527
23-07-07 조회 1,521
23-07-07 조회 2,168