이전
목록
다음
KillTraffic

구글 크롤링 빈도 제한 작동이 안되는거 같네요..

KillTraffic
프로필 보기이 회원 글보기이 회원의 댓글보기
 · 2019-11-07 (목) 13:21:24 · 1428

831941931_1573100277.8262.png

 

구글봇이 크롤링을 너무너무 자주 해가는것 같아서 크롤링 빈도를 최대로 낮게 설정을 했는데

변화가 없는걸 보니 이게 작동을 안하는것 같네요. 적용한지 몇시간이나 지났는데 혹시 적용되려면 몇일씩 걸리고 그러나요?

 

찾아보니 구글봇은 robots.txt 파일의 Crawl-delay 옵션도 무시한다고 하는데..

검색에 노출은 되어야하니 구글봇을 완전 차단하진 못하겠고..

이 크롤링 빈도를 어떻게 제한할지 고민입니다 ㅠㅠ

|
댓글을 작성하시려면 로그인이 필요합니다.

자유게시판

203,073건
+
제목 글쓴이 날짜 조회
19-11-07 조회 1,462
19-11-07 조회 1,137
19-11-07 조회 1,303
19-11-07 조회 1,312
19-11-07 조회 1,283
19-11-07 조회 910
19-11-07 조회 1,427
19-11-07 조회 1,429
19-11-07 조회 1,376
19-11-07 조회 1,289
19-11-07 조회 1,251
19-11-07 조회 1,477
19-11-07 조회 1,309
19-11-07 조회 1,465
19-11-07 조회 7,762
19-11-07 조회 2,053
19-11-07 조회 1,529
19-11-07 조회 1,321
19-11-06 조회 1,370
19-11-06 조회 856
글쓰기