크롤링시 자바스크립트 실행의 문제
본문
스누피로 웹크롤링을 하고 있습니다.
네이버 블로그 글들 목록중에서 제목과 링크만 가져와서 웹으로 보여줄려고 합니다.
이게 자바스크립트로 실행후 목록이 나오는 구조네요.
이런경우 어떻게 가져올 수 있나요? php 자체로는 불가능한가요?
일단 알아본 결과로는 다음과 같습니다.
1) 셀레니움을 이용해서 자바스크립트 실행후 가져오기 ( 내부적으로 돌려지길 바라기에 이 방식은 원하지 않습니다)
2) 파이썬으로 가져온 후 >> php로 넘겨주던지 아니면 그냥 출력
3) J파서등을 이용해서 >> 이건 정확히 알수가 없네요.
답변 1
블로그 글목록열기 클릭했을때 크롬개발자도구에서 xhr로 리스트 가져오는거있는지 확인해보세요.
제가 확인한곳은 이렇게 뜹니다.
아 제가 전혀 모르는 영역이군요. 어디부터 분석을 해야 할까요? ajax를 알아야 할까요? 일정한 비용을 드리고 혹시 기본셋팅으로도 어려울 까요?
답변을 작성하시기 전에 로그인 해주세요.