4.128로 시작하는 ip가 계속 들어와서 알아보니 Bytespider 라는 봇이라고 해서
robot.txt 파일안에 아래와 같이 추가했는데도 계속 들어오고 있네요.
혹시 다른 방법있을 까요?
(아래 빨간색 글씨)
User-agent: Yeti
Allow: /
User-agent: Bytespider
Disallow: /
답변 2개 / 댓글 2개
비버팩토리일단 알아보니까 중국쪽 봇이네요
아래꺼는 구글링으로 찾아본 내용입니다.
그것은 "Jinri Toutiao"(문자 그대로 오늘의 헤드라인을 의미)라는 중국 무료 뉴스 배포 앱인 TikTok으로 유명한 ByteDance의 또 다른 서비스의 크롤러입니다. 정보 robots.txt에 따르면 파일을 무시하는 소위 "잘못 동작하는" 봇으로 판명되었습니다. 또, 이것을 악용하여 다른 사이트의 내용을 모으는 가짜 쇼핑 사이트도 있는 것 같고, 사기 사이트의 온상이라고 합니다. 이러한 성가신 봇은 엄격히 금지?됩니다
방법은 클라우드플레어로 해결 하면 될것 같구요
web 사용법 - "Bytespider"사용자 에이전트 란 무엇입니까? - 스택 오버플로 (stackoverflow.com)
아니면 웹서버 설정에서 일부를 차단하는 방법도 있어요
아래꺼는 일본쪽 자료인데 번역기 돌려서 확인하면 자세히 알수있어요
【팁】Block Bytespider?️ 성가신 크롤러 - Advantech
이것도 안된다면 트레픽자동감지 시스템을 찾아보셔야될거에요 클플 같은거 여러 서비스가 많아요
답변에 대한 댓글 1개
이정도면... 그냥 47.128.x.x 대역 막아도 될듯한데요? ㅋ
답변에 대한 댓글 1개
답변을 작성하려면 로그인이 필요합니다.