크롬 개발자 모드에서 보이는 네트워크 응답 값을 가져오고 싶습니다.

크롬 개발자 모드에서 보이는 네트워크 응답 값을 가져오고 싶습니다.

QA

크롬 개발자 모드에서 보이는 네트워크 응답 값을 가져오고 싶습니다.

본문

안녕하세요.

 

오클랜드도서관의 한글장서를 크롤링해서 별도의 DB를 만들어 교민에서 제공하고 있습니다.

https://bookcafe.co.nz/index.php?mid=libBookList&lib=aklib

어제까진 도서관 페이지를 긁고 거기서 isbn를 추출했습니다.

 

헐... 오늘부터 도서관 도서관리 시스템이 변경되었습니다.

https://discover.aucklandlibraries.govt.nz/

개별 도서로 접근한 다음, Edit Informatin > Details를 통해야 isbn이 나옵니다. 이래가지고는 크롤링할 수 없더라구요.

즉 브라우징되는 페이지에서 isbn을 추출할 수 없었습니다.

 

그런데 크롬 개발자 화면으로 들어가서 네트워크를 확인하니 특정 흐름의 응답 내용에 isbn 이 있더군요.

 

3419630469_1681987555.3098.png

 

캡쳐에서 특정 요구의 응답에서 제가 원하는 값이 있었습니다.

여러군데에 있는데, 이것이 HTML 소스에는 없어서 제가 긁을 수 없습니다. ㅠㅠ

 

해당 URL은 요거===>입니다.

 

10년 가까이 난관을 해쳐가며 요리조리 유지했던 작업인데, 서버가 무엇으로 바뀌었기에......

 

혹시 도움을 주실 분이 있다면, 분명 복받으실 겁니다.

 

감사합니다.

 

* 자매 홈페이지 club.bookcafe.co.nz은 그누보드(망고테마)로 만들었습니다, 감사합니다.

이 질문에 댓글 쓰기 :

답변 2

소스보기해서 내용이 보이지않는 것은 자바스크립트로 출력하는 것입니다

개발자도구에서는 내용이 보이지만 일반적인 크롤링으로는 원하는 내용을 추출할 수 없습니다

이런 경우 파이썬 + 셀레니움 으로 가능합니다

파이썬 크롤링으로 구글링해보세요

 

 

 

답변을 작성하시기 전에 로그인 해주세요.
전체 2,663
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT