4.128로 시작하는 ip 문의
본문
4.128로 시작하는 ip가 계속 들어와서 알아보니 Bytespider 라는 봇이라고 해서
robot.txt 파일안에 아래와 같이 추가했는데도 계속 들어오고 있네요.
혹시 다른 방법있을 까요?
(아래 빨간색 글씨)
User-agent: Yeti
Allow: /
User-agent: Bytespider
Disallow: /
답변 2
일단 알아보니까 중국쪽 봇이네요
아래꺼는 구글링으로 찾아본 내용입니다.
그것은 "Jinri Toutiao"(문자 그대로 오늘의 헤드라인을 의미)라는 중국 무료 뉴스 배포 앱인 TikTok으로 유명한 ByteDance의 또 다른 서비스의 크롤러입니다. 정보 robots.txt에 따르면 파일을 무시하는 소위 "잘못 동작하는" 봇으로 판명되었습니다. 또, 이것을 악용하여 다른 사이트의 내용을 모으는 가짜 쇼핑 사이트도 있는 것 같고, 사기 사이트의 온상이라고 합니다. 이러한 성가신 봇은 엄격히 금지?됩니다
방법은 클라우드플레어로 해결 하면 될것 같구요
web 사용법 - "Bytespider"사용자 에이전트 란 무엇입니까? - 스택 오버플로 (stackoverflow.com)
아니면 웹서버 설정에서 일부를 차단하는 방법도 있어요
아래꺼는 일본쪽 자료인데 번역기 돌려서 확인하면 자세히 알수있어요
【팁】Block Bytespider?️ 성가신 크롤러 - Advantech
이것도 안된다면 트레픽자동감지 시스템을 찾아보셔야될거에요 클플 같은거 여러 서비스가 많아요
소중한 답변 감사드립니다.
이정도면... 그냥 47.128.x.x 대역 막아도 될듯한데요? ㅋ
소중한 답변 감사드립니다.