그누보드로 사이트 만들어 웹호스팅하는데요. 크롤링 방지할 방법 없나요?

그누보드로 사이트 만들어 웹호스팅하는데요. 크롤링 방지할 방법 없나요?

QA

그누보드로 사이트 만들어 웹호스팅하는데요. 크롤링 방지할 방법 없나요?

답변 3

본문

안녕하세요.

그누보드로 사이트 만들어 웹호스팅하는데요.

웹로봇으로 크롤링해서 데이타를 가져가다 보니....

가져가는 건 상관없는데....

 

트래픽이 많아져서 

1일 트래픽 초과로 사이트가 접속이 안되는 경우가 많아서요.

 

서버관리 차원에서 말고,....

그누보드 코드 차원에서 

반복적인 크롤링을 방지할 수 있는 방법은 없나요?

이 질문에 댓글 쓰기 :

답변 3

웹사이트에 동일하게 적용되는 부분이 있어 안내드리려고 합니다.

 

https://blog.hashscraper.com/5-principles-for-bypassing-web-crawling-blocks/

 

해당 사이트를 참고 하시고 적절하게 대응해보시면 효과적일듯 생각됩니다.

방문자 아이피마다 리퍼러 체크해서 내 홈페이지 내 이동 간 시간을 기록 후, 특정 시간 이내 이동 횟수가 몇 회 이상인 분들은 차단하는 방식으로 할 수 있을 것 같습니다. (딱 봐도 이건 의뢰로 가야겠죠? ^^;;)

 

https://sir.kr/g4_skin/95435 자료도 참고해 보세요.

답변을 작성하시기 전에 로그인 해주세요.
QA 내용 검색
질문등록
전체 40
© SIRSOFT
현재 페이지 제일 처음으로