아마존 AWS에서 오는 크롤러에 대해서
위 스샷처럼 아마존 크롤러가 많습니다.
구글봇과 바이두봇도 있지만.. 그렇게 많이 오진 않네요.
아마존 크롤러의 문제는 지속적으로 트래픽을 발생시키는 점입니다.
전 집에서 서버를 운영하기 때문에 큰 문제는 없지만 호스팅을 이용하게 되면 민감할 것 같네요.
그래서 좀 찾아보니
위 링크의 댓글처럼 아마존의 IP대역 자체를 차단하는 사람도 있더군요.
그래서.. 차단할까 말까 고민 중입니다. ^^;;
|
댓글을 작성하시려면 로그인이 필요합니다.