cafe24에서 bingbot은 포기해야겠네요
뭐어차피 bing이 비중이 큰것도 아니고...
가끔 새벽즈음에 bingbot 과다 유입으로 서버가 뻣어버리고 했는데요
물론 자주있는 현상은 아니지만
cafe24와 bingbot은 안맞나봅니다 cafe24에서도 디폴트가 bingbot차단으로 되어있으니... 뭔가 이유가있겠죠?
(bingbot차단이 디폴트기때문에 .htaccess로 bingbot 접근을 허용해줬었습니다)
서버 부하만 걸리니 버려야겠네요
어차피 bing으로 검색해서 오는사람도 거의없고..
|
댓글을 작성하시려면 로그인이 필요합니다.
로그인
댓글 1개
보통 웹페이지를 긁을때, 게시물이 많은 경우 100 페이지 이후 페이지는 못 긁어가도록 막는게 좋습니다.
(최신글 목록만 크롤링 하도록, 게시물을 1개씩 크롤링 하는것은 별문제 없음)
사용자가 많은 사이트도 100페이지 이후 목록 조회는 일반적이지 않는 상황이니, 성능을 고려해서 막는게 좋을수 있습니다.