그누보드로 사이트 만들어 웹호스팅하는데요. 크롤링 방지할 방법 없나요?

Question

안녕하세요.

그누보드로 사이트 만들어 웹호스팅하는데요.

웹로봇으로 크롤링해서 데이타를 가져가다 보니....

가져가는 건 상관없는데....

트래픽이 많아져서

1일 트래픽 초과로 사이트가 접속이 안되는 경우가 많아서요.

서버관리 차원에서 말고,....

그누보드 코드 차원에서

반복적인 크롤링을 방지할 수 있는 방법은 없나요?

복스리 · Accepted Answer

웹사이트에 동일하게 적용되는 부분이 있어 안내드리려고 합니다.

해당 사이트를 참고 하시고 적절하게 대응해보시면 효과적일듯 생각됩니다.

플라이 · Answer

로봇이 못읽어가도록 만드는 부분을 참고해서 처리해 보세요 https://sir.kr/g4_qa/284238 https://sir.kr/pg_tip/13651

sinbi · Answer

방문자 아이피마다 리퍼러 체크해서 내 홈페이지 내 이동 간 시간을 기록 후, 특정 시간 이내 이동 횟수가 몇 회 이상인 분들은 차단하는 방식으로 할 수 있을 것 같습니다. (딱 봐도 이건 의뢰로 가야겠죠? ^^;;)

https://sir.kr/g4_skin/95435 자료도 참고해 보세요.