최근에 크롤러가 너무 많아지고, 사용 아이피 대역도 너무 다양해서 차단하는데 어려움이 많았습니다.
(속도 이슈로 클라우드 플레어의 proxy 는 사용할수 없는 상황)

처음에는 nginx rate limit 만으로 처리할려고 했으나, 요즘 봇들이 여러 아이피 대역을 차단하는데 무리가 있었습니다. 
특히 정상 트래픽 사용자에 대한 불편함이 발생하면 안된다는 전제 조건을 만족시키기가 어려웠음.

하여, 직접 nginx 모듈을 만들어서 기존 nginx rate limit 와 연계하여 차단하는 기능을 구현해보았습니다.
만들고 보니 괜찮은것 같아서 설명서 페이지도 추가하고, 동영상도 일부 추가하여 완전한 하나의 솔루션 처럼 구성하였습니다.
물론  단순 설치만으로는 일반인이 설치할수 없다는 복잡성이 있습니다,
그러함에도 현재 대부분의 컨텐츠가 많은 대량의 사이트들은 과도한 봇 요청으로 인해 트래픽 증가와 사이트 로딩 속도 저하의 문제를 겪고 있습니다.
아마 여기 sir.kr  사이트도 여러 문제점을 가지고 있을것입니다.
이런 과도한 크롤링 요청은 nginx rate limit + fail2ban, cloudflare proxy 등으로 어느정도 억제가 가능하지만,
cloudflare 를 사용하지 않은 경우도 많아서 iptables 나 ufw 로 수동으로 차단하는 수동적인 방법으로 대응해야 하는 상황입니다.  

이런 여러 상황적인 변수를 고려하여 기능을 개발하였습니다.

아직 관리자 기능(아이피 수동 해제, 화이트 리스트 등록) 은 개발 테스트중입니다.

https://sir.kr/ppom

https://guard.oootool.com/


ps) 혹시 웹서비스 운영시 동일한 문제로 고통받고 계시면 메세지 주세요. 1분에 한해 무료 설치를 지원해드립니다.(피드백 조건)