하나의 아이피가 게시글 번호를 차례로 100개를 넘게 읽으면... 정보
하나의 아이피가 게시글 번호를 차례로 100개를 넘게 읽으면...
본문
혹시 퍼가는걸까요 아니면 정말 읽는것일까요 ?
차단하기도 애매하고..
참 이거 어떻게 해야 할지...
난감하네요..
우선은 차단해 놓았는데...
브라우저가 웨일 브라우저고 운영체제가 윈도우 7이네요...
이거 사람같기도 하고 파싱하는거 같기도 하고...
어떻게 판단해야 하나요 ?
궁금하다...
불금 회원 여러분 모두 즐퇴하세요...
추신 아이피가 : 1.254.0.0 <- 0.0은 익명화군요.. 이거입니다.
추천
0
0
댓글 12개
사이트 파싱해가서 나쁠건 없지만 말 안하고 가져가는것은 기분 나쁜 일이 될 수도 있고....
괜찮은 정보이다 생각해서 스크랩 하는거 아닐까요?? 긍정맨
괜찮은 정보이다 생각해서 스크랩 하는거 아닐까요?? 긍정맨
@빅클린코드 흠 200개 넘게 글을 읽고 그것도 순서대로.....ㅡㅡa
안녕하세요?
봇과 사람을 구별하는 별도의 로직을 커스텀하지 않는 이상, 이를 구별하는 것은 어려운 것 같아요 ㅠㅠ
일단 브라우저와 OS는 헤더의 user-agent를 변경하면 얼마든지 조작이 가능해요 ㅎㄷㄷ
(웨일과 크롬의 user-agent는 단어 하나밖에 차이나지 않죠)
제 경험상 봇이 크롤링을 하려는 의도로 접근을 했다면, 각 게시글에 아주 짧은 시간만 머물렀을거에요~
그리고 특별히 설정을 하지 않는 이상, 각 게시글에 머무는 시간이 거의 비슷한 경향이 있구요!
별다른 의도 없이 크롤링 연습을 하다가 반복문을 너무 많이 돌려서 수백 개의 게시글을 파싱하게 되는 경우도 있죠 ㅠㅠ
그럼 즐거운 불금 되세요 ^-^
봇과 사람을 구별하는 별도의 로직을 커스텀하지 않는 이상, 이를 구별하는 것은 어려운 것 같아요 ㅠㅠ
일단 브라우저와 OS는 헤더의 user-agent를 변경하면 얼마든지 조작이 가능해요 ㅎㄷㄷ
(웨일과 크롬의 user-agent는 단어 하나밖에 차이나지 않죠)
제 경험상 봇이 크롤링을 하려는 의도로 접근을 했다면, 각 게시글에 아주 짧은 시간만 머물렀을거에요~
그리고 특별히 설정을 하지 않는 이상, 각 게시글에 머무는 시간이 거의 비슷한 경향이 있구요!
별다른 의도 없이 크롤링 연습을 하다가 반복문을 너무 많이 돌려서 수백 개의 게시글을 파싱하게 되는 경우도 있죠 ㅠㅠ
그럼 즐거운 불금 되세요 ^-^
@Innisfree 구분하기 힘들겠군요..ㅠㅠ
검색봇일 가능성도 있습니다. ^^
@마스타 정말 검색 봇일까요..
robots.txt 에 아래를 넣어도 동일한 증상이 발생하는지 테스팅해보심이 필요할 것같아요. 대신 검색엔진에는 인덱싱이 안되겠죠... ( https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ko )
User-agent: *
Disallow: /
User-agent: *
Disallow: /
@xpem 좋은 정보 감사합니다.
검색엔진같네요
@밍원MinGWon 검색엔진이면 차라리 나을듯 ..
User-agent: *
Disallow: /
이거 해도 검색엔진에서 다 긁어감;
Disallow: /
이거 해도 검색엔진에서 다 긁어감;
@love1 그래도 다 소용 없군요....ㅠㅠ
