크롤링시 자바스크립트 실행의 문제

크롤링시 자바스크립트 실행의 문제

QA

크롤링시 자바스크립트 실행의 문제

본문

스누피로 웹크롤링을 하고 있습니다.

네이버 블로그 글들 목록중에서 제목과 링크만 가져와서 웹으로 보여줄려고 합니다.

이게 자바스크립트로 실행후 목록이 나오는 구조네요.

 

이런경우 어떻게 가져올 수 있나요? php 자체로는 불가능한가요?

 

일단 알아본 결과로는 다음과 같습니다.

1) 셀레니움을 이용해서 자바스크립트 실행후 가져오기 ( 내부적으로 돌려지길 바라기에 이 방식은 원하지 않습니다)

 

2) 파이썬으로 가져온 후 >> php로 넘겨주던지 아니면 그냥 출력

3) J파서등을 이용해서 >> 이건 정확히 알수가 없네요.

 

 

 

이 질문에 댓글 쓰기 :

답변 1

블로그 글목록열기 클릭했을때 크롬개발자도구에서 xhr로 리스트 가져오는거있는지 확인해보세요.

https://blog.naver.com/PostTitleListAsync.nhn?blogId=sektis&viewdate=&currentPage=1&categoryNo=8&parentCategoryNo=&countPerPage=5

제가 확인한곳은 이렇게 뜹니다.

답변을 작성하시기 전에 로그인 해주세요.
전체 60
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT