채택완료

크롤링시 자바스크립트 실행의 문제

2019-12-12 (목) 19:48:39 2,501

스누피로 웹크롤링을 하고 있습니다.

네이버 블로그 글들 목록중에서 제목과 링크만 가져와서 웹으로 보여줄려고 합니다.

이게 자바스크립트로 실행후 목록이 나오는 구조네요.

이런경우 어떻게 가져올 수 있나요? php 자체로는 불가능한가요?

일단 알아본 결과로는 다음과 같습니다.

1) 셀레니움을 이용해서 자바스크립트 실행후 가져오기 ( 내부적으로 돌려지길 바라기에 이 방식은 원하지 않습니다)

2) 파이썬으로 가져온 후 >> php로 넘겨주던지 아니면 그냥 출력

3) J파서등을 이용해서 >> 이건 정확히 알수가 없네요.

|

답변 1개 / 댓글 1개

채택된 답변
+20 포인트

블로그 글목록열기 클릭했을때 크롬개발자도구에서 xhr로 리스트 가져오는거있는지 확인해보세요.

https://blog.naver.com/PostTitleListAsync.nhn?blogId=sektis&viewdate=&currentPage=1&categoryNo=8&parentCategoryNo=&countPerPage=5

제가 확인한곳은 이렇게 뜹니다.

답변에 대한 댓글 1개

아 제가 전혀 모르는 영역이군요. 어디부터 분석을 해야 할까요? ajax를 알아야 할까요? 일정한 비용을 드리고 혹시 기본셋팅으로도 어려울 까요?

답변을 작성하려면 로그인이 필요합니다.