크롤링시 자바스크립트 실행의 문제

크롤링시 자바스크립트 실행의 문제

QA

크롤링시 자바스크립트 실행의 문제

답변 1

본문

스누피로 웹크롤링을 하고 있습니다.

네이버 블로그 글들 목록중에서 제목과 링크만 가져와서 웹으로 보여줄려고 합니다.

이게 자바스크립트로 실행후 목록이 나오는 구조네요.

 

이런경우 어떻게 가져올 수 있나요? php 자체로는 불가능한가요?

 

일단 알아본 결과로는 다음과 같습니다.

1) 셀레니움을 이용해서 자바스크립트 실행후 가져오기 ( 내부적으로 돌려지길 바라기에 이 방식은 원하지 않습니다)

 

2) 파이썬으로 가져온 후 >> php로 넘겨주던지 아니면 그냥 출력

3) J파서등을 이용해서 >> 이건 정확히 알수가 없네요.

 

 

 

이 질문에 댓글 쓰기 :

답변 1

블로그 글목록열기 클릭했을때 크롬개발자도구에서 xhr로 리스트 가져오는거있는지 확인해보세요.

https://blog.naver.com/PostTitleListAsync.nhn?blogId=sektis&viewdate=&currentPage=1&categoryNo=8&parentCategoryNo=&countPerPage=5

제가 확인한곳은 이렇게 뜹니다.

답변을 작성하시기 전에 로그인 해주세요.
QA 내용 검색
질문등록
전체 64
© SIRSOFT
현재 페이지 제일 처음으로