요즘 트래픽초과가 종종 걸리는데

어떤놈인가 봤더니 이놈입니다.

66.249.77.49

구글봇입니다.

제가 1기가를 사용중인데 이놈이 220메가를 사용했네요.

자료도 많이 없는데 무슨 저리 트래픽을 사용했을가요.

점점 두면 커질것이고 근데 크롤링해야 구글에 노출될것이고

어캐할지 애매합니다. ㅡㅡ
|

댓글 5개

자고로 검색로봇은 막지말고 놔두라고 구글신께 말씀하셨습니다.
저도 그게 정답이라고 생각합니다. ㅋ
크롤링 주기를 좀 길게 줘보세요
구글이 220M 이면 아마 그 외에 네이년, 다음, 빙 등등 해서 거의 절반 이상은 다 사용했을거 같네요 ㅎㅎ
cloudflare 한번 적용해보세요.
전 하루 트래픽이 1TB 이상 나오는데... 적용 후 서버 mrtg 확인해보니 평균 15Mbps로 트래픽 절감 효과가 엄청납니다.
댓글을 작성하시려면 로그인이 필요합니다.

자유게시판

+
제목 글쓴이 날짜 조회
11년 전 조회 1,498
11년 전 조회 1,836
11년 전 조회 1,425
11년 전 조회 1,186
11년 전 조회 1,241
11년 전 조회 1,137
11년 전 조회 1,403
11년 전 조회 1,656
11년 전 조회 1,289
11년 전 조회 1,725
11년 전 조회 1,196
11년 전 조회 1,716
11년 전 조회 2,359
11년 전 조회 1,198
11년 전 조회 1,666
11년 전 조회 1,343
11년 전 조회 1,731
11년 전 조회 1,821
11년 전 조회 1,467
11년 전 조회 1,269
11년 전 조회 1,723
11년 전 조회 1,462
11년 전 조회 1,721
11년 전 조회 2,131
11년 전 조회 2,029
11년 전 조회 1,989
11년 전 조회 2,065
11년 전 조회 1,644
11년 전 조회 1,585
11년 전 조회 1,222