구글봇이 크롤링을 너무너무 자주 해가는것 같아서 크롤링 빈도를 최대로 낮게 설정을 했는데

변화가 없는걸 보니 이게 작동을 안하는것 같네요. 적용한지 몇시간이나 지났는데 혹시 적용되려면 몇일씩 걸리고 그러나요?

 

찾아보니 구글봇은 robots.txt 파일의 Crawl-delay 옵션도 무시한다고 하는데..

검색에 노출은 되어야하니 구글봇을 완전 차단하진 못하겠고..

이 크롤링 빈도를 어떻게 제한할지 고민입니다 ㅠㅠ