크롤러를 잡아보자 (ISP도 덤으로 차단!) > 자유게시판

자유게시판

크롤러를 잡아보자 (ISP도 덤으로 차단!) 정보

크롤러를 잡아보자 (ISP도 덤으로 차단!)

본문

3077293025_1574685842.9775.png

 

그누보드 접속자 집계에 ISP를 추가시키니 구글 봇 같은 일반 유저 에이전트를 사칭한 봇(크롤러)인지, 아닌지 확인하기 수월해졌습니다.

 

브라우저에 보이는 저기 저 요오망한 팬텀JS...

그리고 Desktop으로 위장한 Foxcloud Ulp..

 

안보이지만 아마존이라던가 디지털오션이라던가 이런 업체 VPS 써가면서 작업하는 크롤러들..

간편하게 제거하고 싶었습니다.

 

그래서 https://sir.kr/g5_tip/12182 이 글을 올렸었지만, 아이피 차단이라 그런가 역시 계속 유입이 되었습니다.

 

하.. 이거 간편하게 처리할 방법이 없을까...? 생각하니, 역시 사람은 머리를 써야함을 실감했습니다.

어차피 일반적으로 접속하는 한국 ISP빼고 다 막으면 되지 않은가...

 

국가별 IP, ISP AS넘버별 데이터를 가져온 다음, 함수를 짰습니다.

유저 에이전트, AS넘버별 차단!

'AS00000 ISP 이름' 이 형식에서 strpos를 걸어서 보기 쉽게 관리할 수 있고, 범위 안에 있으면 무조건 걸리게 했습니다.

3077293025_1574686180.4327.png

 

한번에 등록했으면 좋았겠지만, 급하게 만든 터라 정리를 안해서 더럽습니다.

 

대략 3일 정도 데이터를 모아보니 저 정도로 잡혔습니다.

사이트 자체가 접속량은 많지 않지만, 의외로 트래픽으로 피해보는 분들이 많았던지라 (특히 빙봇, 구글...)

자료는 조만간 관리자 페이지에 넣는 형식으로 만들어서 자료실에 업로드 하도록 하겠습니다.

 

팬텀JS 다시 봐도 열받네요.. 어우...

추천
3

댓글 7개

다행히 무료버전은 ISP는 ASN으로 얻어와야하고 반영이 조금 늦긴 하지만, 큰 불편함은 없습니다!
전체 47 |RSS
자유게시판 내용 검색

회원로그인

진행중 포인트경매

  1. 참여0 회 시작24.03.28 11:15 종료24.04.04 11:15
(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT