크롤링 잘하는 고수님 도와주세요 채택완료
http://www.pictriev.com/facedbj.php
위 파일을 실행해보시면
{"result":"FAIL"}
라는 문구 한줄이 보일텐데 이 문구를 그대로 크롤링하고 싶어서
이틀째 계속 여러가지 방법으로 크롤링을 시도하는데
저 몇글자 안되는걸 긁어오는걸 도저히 못해서 멘붕입니다
snoopy 부터 시작해서 curl 등 다양한 방법으로
헤더도 바꿔보고 referer값도 바꿔보고
proxy_host, proxy_port 도 바꿔보고
host, agent 값도 바꿔보고 바꿀 수 있는 모든 값을 다 바꿔서 해봤지만
저 주소를 크롤링으로 접근만 하면 403 에러 등을 뱉으면서 크롤링을 거부합니다
도대체 어떤 원리로 저렇게 막을 수 있는걸까요?
또 어떻게 하면 저 한줄을 긁어올 수 있을까요?
위 파일을 실행해보시면
{"result":"FAIL"}
라는 문구 한줄이 보일텐데 이 문구를 그대로 크롤링하고 싶어서
이틀째 계속 여러가지 방법으로 크롤링을 시도하는데
저 몇글자 안되는걸 긁어오는걸 도저히 못해서 멘붕입니다
snoopy 부터 시작해서 curl 등 다양한 방법으로
헤더도 바꿔보고 referer값도 바꿔보고
proxy_host, proxy_port 도 바꿔보고
host, agent 값도 바꿔보고 바꿀 수 있는 모든 값을 다 바꿔서 해봤지만
저 주소를 크롤링으로 접근만 하면 403 에러 등을 뱉으면서 크롤링을 거부합니다
도대체 어떤 원리로 저렇게 막을 수 있는걸까요?
또 어떻게 하면 저 한줄을 긁어올 수 있을까요?
답변 1개
채택된 답변
+20 포인트
10년 전
별로 문제 없어 보이는데요. ^^
Copy
$url = "http://www.pictriev.com/facedbj.php";$txt = file_get_contents($url);echo $txt;
로그인 후 평가할 수 있습니다
답변에 대한 댓글 1개
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인