KillTraffic

구글 크롤링 빈도 제한 작동이 안되는거 같네요..

· 6년 전 · 1248

831941931_1573100277.8262.png

 

구글봇이 크롤링을 너무너무 자주 해가는것 같아서 크롤링 빈도를 최대로 낮게 설정을 했는데

변화가 없는걸 보니 이게 작동을 안하는것 같네요. 적용한지 몇시간이나 지났는데 혹시 적용되려면 몇일씩 걸리고 그러나요?

 

찾아보니 구글봇은 robots.txt 파일의 Crawl-delay 옵션도 무시한다고 하는데..

검색에 노출은 되어야하니 구글봇을 완전 차단하진 못하겠고..

이 크롤링 빈도를 어떻게 제한할지 고민입니다 ㅠㅠ

|

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기
🐛 버그신고