크롬 개발자 모드에서 보이는 네트워크 응답 값을 가져오고 싶습니다.
관련링크
본문
안녕하세요.
오클랜드도서관의 한글장서를 크롤링해서 별도의 DB를 만들어 교민에서 제공하고 있습니다.
https://bookcafe.co.nz/index.php?mid=libBookList&lib=aklib
어제까진 도서관 페이지를 긁고 거기서 isbn를 추출했습니다.
헐... 오늘부터 도서관 도서관리 시스템이 변경되었습니다.
https://discover.aucklandlibraries.govt.nz/
개별 도서로 접근한 다음, Edit Informatin > Details를 통해야 isbn이 나옵니다. 이래가지고는 크롤링할 수 없더라구요.
즉 브라우징되는 페이지에서 isbn을 추출할 수 없었습니다.
그런데 크롬 개발자 화면으로 들어가서 네트워크를 확인하니 특정 흐름의 응답 내용에 isbn 이 있더군요.
캡쳐에서 특정 요구의 응답에서 제가 원하는 값이 있었습니다.
여러군데에 있는데, 이것이 HTML 소스에는 없어서 제가 긁을 수 없습니다. ㅠㅠ
해당 URL은 요거===>입니다.
10년 가까이 난관을 해쳐가며 요리조리 유지했던 작업인데, 서버가 무엇으로 바뀌었기에......
혹시 도움을 주실 분이 있다면, 분명 복받으실 겁니다.
감사합니다.
* 자매 홈페이지 club.bookcafe.co.nz은 그누보드(망고테마)로 만들었습니다, 감사합니다.
답변 2
소스보기해서 내용이 보이지않는 것은 자바스크립트로 출력하는 것입니다
개발자도구에서는 내용이 보이지만 일반적인 크롤링으로는 원하는 내용을 추출할 수 없습니다
이런 경우 파이썬 + 셀레니움 으로 가능합니다
파이썬 크롤링으로 구글링해보세요
감사합니다.
신세계로의 초대시네요.
파이썬 관련 스터디 싸이트 소개 부탁드립니다.
각 URL의 헤더 부분을 검토해 보세요.