동적 웹페이지 크롤링

동적 웹페이지 크롤링

QA

SIR 제작의뢰 - 견적무료/익명보정/호스팅, DB 이전/단기개발. 이젠 ' 의뢰인'이 원하는 '제작자'에게만 연락처를 알릴 수 있습니다.

동적 웹페이지 크롤링

본문

현재 simple html dom 파서로 동적 웹페이지를 크롤링할려고 하는데

 

html 값을 가져오면 동적으로 처리되어 지는 부분의 값이 넘어오지 않고 있습니다.

 

페이지가 스크립트까지 완전히 로딩된 후 html 값을 불러올 수 있는 방법이 있을까요???

 

고수님들의 의견 부탁드립니다.

이 글을 내 페이스북 계정으로 보내기 이 글을 내 트위터 계정으로 보내기 이 글을 내 구글플러스 계정으로 보내기

이 질문에 댓글 쓰기 :

답변 4

채택됨

명랑폐인님의 답변

예상대로 ajax로 가져오는 형태입니다.

http://www.wemakeprice.com/c/deal_option/get_option_info/3731661

 

또는 캐싱을 방지하기 위해서 아래처럼 timestamp를 추가하시면 됩니다.

http://www.wemakeprice.com/c/deal_option/get_option_info/3731661?_=1528970517325

 

주소복사
채택됨
답변의 댓글

명랑폐인님의 답변

페이지를 알려주시면 답변에 도움이 될것 같네요.

동적이라고 얘기하신 부분이 실제 동적 페이지가 아니라 ajax일수도 있습니다.

주소복사
답변의 댓글

몰라무서워님의 답변

확인해보니 json으로 되어 있네요

http://www.wemakeprice.com/c/deal_option/get_option_info/3731661?_=1528970257126

 

result_set{

    options_info{

        list:[

            {key:xxxx,  value: vvvvvv},

            {key:xxxx,  value: vvvvvv},

            {key:xxxx,  value: vvvvvv},

            ....

        ]

        

    }

}

 

위와 같은 구조로 되어 있습니다.

 

$.ajax({

    url: 해당옵션주소,

    type: 'get',

    dataType: 'json'

}).done(function(result){

    for(var idx in result_set.options_info.list){

        var item = result_set.options_info.list[idx];

        console.log(item.value);    //<=== 요기에 옵션값이 들어 있습니다.

    }

});

위와같이 브라우저상에서 javascript 로 가져 올수도 있고요

 

만약 서버에서 php로 가져오려면 해당 url을 php curl로 가져와서

$result = 긁어온데이타;

$data = json_decode($result);

print_r($data);

이렇게 해서 접근하실 수 있겠네요.

주소복사
답변의 댓글
답변을 작성하시기 전에 로그인 해주세요.
전체 66,451 | RSS
고마운 분의 도움으로 질문을 해결하셨다면, 채택을 눌러서 감사의 마음을 전하세요.
어떻게 질문해야 할지 모른다면 질문하는 방법을 읽어 보신후 질문해 보세요.
QA 내용 검색

회원로그인

(주)에스아이알소프트 (06253) 서울특별시 강남구 도곡로1길 14, 6층 624호 (역삼동, 삼일프라자) 대표메일:admin@sir.kr
사업자등록번호:217-81-36347 대표:홍석명 통신판매업신고번호:2014-서울강남-02098호 개인정보보호책임자:이총

© SIRSOFT