그누보드로 사이트 만들어 웹호스팅하는데요. 크롤링 방지할 방법 없나요?
본문
안녕하세요.
그누보드로 사이트 만들어 웹호스팅하는데요.
웹로봇으로 크롤링해서 데이타를 가져가다 보니....
가져가는 건 상관없는데....
트래픽이 많아져서
1일 트래픽 초과로 사이트가 접속이 안되는 경우가 많아서요.
서버관리 차원에서 말고,....
그누보드 코드 차원에서
반복적인 크롤링을 방지할 수 있는 방법은 없나요?
답변 3
방문자 아이피마다 리퍼러 체크해서 내 홈페이지 내 이동 간 시간을 기록 후, 특정 시간 이내 이동 횟수가 몇 회 이상인 분들은 차단하는 방식으로 할 수 있을 것 같습니다. (딱 봐도 이건 의뢰로 가야겠죠? ^^;;)
https://sir.kr/g4_skin/95435 자료도 참고해 보세요.
웹사이트에 동일하게 적용되는 부분이 있어 안내드리려고 합니다.
https://blog.hashscraper.com/5-principles-for-bypassing-web-crawling-blocks/
해당 사이트를 참고 하시고 적절하게 대응해보시면 효과적일듯 생각됩니다.
답변을 작성하시기 전에 로그인 해주세요.