크롤링 잘하는 고수님 도와주세요
본문
http://www.pictriev.com/facedbj.php
위 파일을 실행해보시면
{"result":"FAIL"}
라는 문구 한줄이 보일텐데 이 문구를 그대로 크롤링하고 싶어서
이틀째 계속 여러가지 방법으로 크롤링을 시도하는데
저 몇글자 안되는걸 긁어오는걸 도저히 못해서 멘붕입니다
snoopy 부터 시작해서 curl 등 다양한 방법으로
헤더도 바꿔보고 referer값도 바꿔보고
proxy_host, proxy_port 도 바꿔보고
host, agent 값도 바꿔보고 바꿀 수 있는 모든 값을 다 바꿔서 해봤지만
저 주소를 크롤링으로 접근만 하면 403 에러 등을 뱉으면서 크롤링을 거부합니다
도대체 어떤 원리로 저렇게 막을 수 있는걸까요?
또 어떻게 하면 저 한줄을 긁어올 수 있을까요?
위 파일을 실행해보시면
{"result":"FAIL"}
라는 문구 한줄이 보일텐데 이 문구를 그대로 크롤링하고 싶어서
이틀째 계속 여러가지 방법으로 크롤링을 시도하는데
저 몇글자 안되는걸 긁어오는걸 도저히 못해서 멘붕입니다
snoopy 부터 시작해서 curl 등 다양한 방법으로
헤더도 바꿔보고 referer값도 바꿔보고
proxy_host, proxy_port 도 바꿔보고
host, agent 값도 바꿔보고 바꿀 수 있는 모든 값을 다 바꿔서 해봤지만
저 주소를 크롤링으로 접근만 하면 403 에러 등을 뱉으면서 크롤링을 거부합니다
도대체 어떤 원리로 저렇게 막을 수 있는걸까요?
또 어떻게 하면 저 한줄을 긁어올 수 있을까요?
답변 1
별로 문제 없어 보이는데요. ^^
$url = "http://www.pictriev.com/facedbj.php";
$txt = file_get_contents($url);
echo $txt;
cafe24 호스팅에서만 안되는거였네요 ㅠㅠ 어쩐지 이상하더라
답변을 작성하시기 전에 로그인 해주세요.