크롤링 잘하는 고수님 도와주세요

크롤링 잘하는 고수님 도와주세요

QA

크롤링 잘하는 고수님 도와주세요

본문

http://www.pictriev.com/facedbj.php

위 파일을 실행해보시면
{"result":"FAIL"}
라는 문구 한줄이 보일텐데 이 문구를 그대로 크롤링하고 싶어서
이틀째 계속 여러가지 방법으로 크롤링을 시도하는데
저 몇글자 안되는걸 긁어오는걸 도저히 못해서 멘붕입니다

snoopy 부터 시작해서 curl 등 다양한 방법으로
헤더도 바꿔보고 referer값도 바꿔보고
proxy_host, proxy_port 도 바꿔보고
host, agent 값도 바꿔보고 바꿀 수 있는 모든 값을 다 바꿔서 해봤지만

저 주소를 크롤링으로 접근만 하면 403 에러 등을 뱉으면서 크롤링을 거부합니다
도대체 어떤 원리로 저렇게 막을 수 있는걸까요?
또 어떻게 하면 저 한줄을 긁어올 수 있을까요?

 

이 질문에 댓글 쓰기 :

답변 1

별로 문제 없어 보이는데요. ^^

 


$url = "http://www.pictriev.com/facedbj.php";
$txt = file_get_contents($url);
echo $txt; 

 

답변을 작성하시기 전에 로그인 해주세요.
전체 64

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT