봇크롤링 관련하여 - 차단 프로그램 사용 후기
저번 글 작성때 아이피 대역이 무작위(거의 무한대에 가까운 ip 대역을 보유한 크롤러) 봇이 웹사이트를 데이타를 긁어가고 있어서 봇 크롤러를 막는 기능을 만들어서 적용하였습니다.
https://sir.kr/boards/free/1735295
클라우드 플레어의 turunstile 을 사용해도 되지만, 웹서버에서 차단하고 php 까지 넘어오지 않게 하고 싶었습니다.
nginx 소스를 일부 수정하여 컴파일하여, 사람은 쉽게 통과 가능하지만 봇은 js_challenge 를 통과하기 어렵게 구현하여 적용하였습니다.
이제 며칠 지나니까 더이상 요청을 보내지 않는군요.
2주동안 힘들게 작업했는데, 효과가 있어서 기분이 좋습니다.
ps) 최근 크롤링 봇들은 아이피 대역이 다양하고, user-agent 에 bot 이나 clawler 같은 문구도 없이 정상 사용자인것처럼 나타납니다.-양심없음
봇이 사이트 컨텐츠를 긁어가기 시작하면 그누보드 특성상 아이피를 기준으로 방문자 통계를 집계하게되는데, 데이타가 어그러지게 됩니다.
총 2명이 반응했습니다
|
댓글을 작성하시려면 로그인이 필요합니다.
댓글 7개
헛..동지를 만났네요. 저도 비숫한 고민을 하고 있는데...저는 APM입니다.
nginx를 튜닝하셨다니 정말 능력자십니다.
기능도 다양하고 강력할함과 편리함이 돋보입니다.
기대됩니다. 둘이 동업해서 보안회사 하나 차릴까요? ㅎㅎ
관리하고 있는 업체 서버가 9대이고 각각 설정도 달라서 통합 DEVOPS 를 만들었네요. 처음 만들려는거는 그냥 서버 모니터링용 대시보드였는데, 만들다 보니 기능이 이만큼 추가되었습니다. 왼쪽 메뉴 기능마다 페이지가 다른 관리기능들이 추가되어 있습니다.
MySQL 은 슬로우 로그 목록과 슬로우 로그 내역, AI 분석을 통한 슬로우쿼리 개선 가이드(잘 안씀. 클로드코드가 더 편해서)
(물어본거에 답변하는척하며 자랑질^^)
만들때는 재미있었는데, 시간을 할애하다보니, 당장 이번달 먹고살길이 막막하네요.
취업을 해야 하나 매우 고민중입니다.
(한달에 ai api 토큰으로 2000$ 이상 지급해줄수 있는 회사)
ㅎㅎㅎ 서버 9대 운영하시는 분이 취업 걱정을 하신다구요.
설마 그냥 돌봐주는건 아니시겠죠?
음........MYSQL까지 신경을 쓰시는군요. 저는 죽었나 살았나만 체크하는데...ㅎㅎ
하기야 보안을 생각하면 쿼리검사가 필수일건데 서버 부하가 어떨지...
암호화에 대한 연구도 해야하고 꿈은 큰데 가방끈이 짧아서...ㅠㅠ
실력이 부럽습니다..... 화이팅 합시다. 백수끼리~ㅎㅎ
그러니까요,,,,관리를 해주는 서버가 9대면 관리비가 솔솔할텐데요.
보안비용까지 감안하면 몇천만원은 받으실듯....
서버 관리는 예전에도 대부분 무료로 해드렸습니다.
ㅎㅎ 솔그루님 덕분에 잘 해결되었습니다.
솔그루님 대단하시네요.
전 파이썬으로 연동해서 솔그루님과 같은 기능을 만들었습니다.
iis에서
<!-- ★ JS Challenge — /dx-verify 자체 요청 면제 (무한루프 방지) -->
<rule name="DX Challenge skip" stopProcessing="true">
<match url="^dx-verify$" ignoreCase="true" />
<action type="None" />
</rule>
<!-- ★ JS Challenge — dx_pass 쿠키 없으면 dx-challenge.php 실행 -->
<rule name="DX JS Challenge" stopProcessing="true">
<match url=".*" />
<conditions logicalGrouping="MatchAll">
<add input="{HTTP_COOKIE}"
pattern="dx_pass=[a-zA-Z0-9+/=\-_.]+"
negate="true" />
</conditions>
<action type="Rewrite" url="dx-challenge.php" />
</rule>
쿠키를 생성해서 적용했습니다.
정말 감사합니다.
오늘 최종 적용을 한 상태이고, 모니터링 페이지는 아직 만들지 않았지만,
서버가 아주 쾌적한 느낌이 듭니다.
좋은 정보 주셔서 진심으로 감사합니다.
솔그루님 최고십니다. ^^b