그누보드로 사이트 만들어 웹호스팅하는데요. 크롤링 방지할 방법 없나요?

그누보드로 사이트 만들어 웹호스팅하는데요. 크롤링 방지할 방법 없나요?

QA

그누보드로 사이트 만들어 웹호스팅하는데요. 크롤링 방지할 방법 없나요?

본문

안녕하세요.

그누보드로 사이트 만들어 웹호스팅하는데요.

웹로봇으로 크롤링해서 데이타를 가져가다 보니....

가져가는 건 상관없는데....

 

트래픽이 많아져서 

1일 트래픽 초과로 사이트가 접속이 안되는 경우가 많아서요.

 

서버관리 차원에서 말고,....

그누보드 코드 차원에서 

반복적인 크롤링을 방지할 수 있는 방법은 없나요?

이 질문에 댓글 쓰기 :

답변 3

웹사이트에 동일하게 적용되는 부분이 있어 안내드리려고 합니다.

 

https://blog.hashscraper.com/5-principles-for-bypassing-web-crawling-blocks/

 

해당 사이트를 참고 하시고 적절하게 대응해보시면 효과적일듯 생각됩니다.

방문자 아이피마다 리퍼러 체크해서 내 홈페이지 내 이동 간 시간을 기록 후, 특정 시간 이내 이동 횟수가 몇 회 이상인 분들은 차단하는 방식으로 할 수 있을 것 같습니다. (딱 봐도 이건 의뢰로 가야겠죠? ^^;;)

 

https://sir.kr/g4_skin/95435 자료도 참고해 보세요.

답변을 작성하시기 전에 로그인 해주세요.
전체 1,178
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT