SIR
이전글 목록 다음글
KillTraffic

구글 크롤링 빈도 제한 작동이 안되는거 같네요..

KillTraffic
프로필 보기이 회원 글보기이 회원의 댓글보기
 · 6년 전 · 1278

831941931_1573100277.8262.png

 

구글봇이 크롤링을 너무너무 자주 해가는것 같아서 크롤링 빈도를 최대로 낮게 설정을 했는데

변화가 없는걸 보니 이게 작동을 안하는것 같네요. 적용한지 몇시간이나 지났는데 혹시 적용되려면 몇일씩 걸리고 그러나요?

 

찾아보니 구글봇은 robots.txt 파일의 Crawl-delay 옵션도 무시한다고 하는데..

검색에 노출은 되어야하니 구글봇을 완전 차단하진 못하겠고..

이 크롤링 빈도를 어떻게 제한할지 고민입니다 ㅠㅠ

|
댓글을 작성하시려면 로그인이 필요합니다.

자유게시판

+
제목 글쓴이 날짜 조회
6년 전 조회 1,183
6년 전 조회 1,253
6년 전 조회 1,118
6년 전 조회 1,230
6년 전 조회 1,125
6년 전 조회 1,229
6년 전 조회 1,310
6년 전 조회 1,266
6년 전 조회 957
6년 전 조회 1,126
6년 전 조회 1,132
6년 전 조회 1,133
6년 전 조회 737
6년 전 조회 1,251
6년 전 조회 1,279
6년 전 조회 1,212
6년 전 조회 1,120
6년 전 조회 1,060
6년 전 조회 1,245
6년 전 조회 1,101
6년 전 조회 1,240
6년 전 조회 6,776
6년 전 조회 1,865
6년 전 조회 1,344
6년 전 조회 1,142
6년 전 조회 1,194
6년 전 조회 696
6년 전 조회 1,193
6년 전 조회 1,128
6년 전 조회 1,400
이전 첫 페이지 다음
글쓰기