크롤링?파싱?질문있습니다.
본문
제가 특정 쇼핑몰 상품을 제 사이트로 긁어올려고하는데요. 스누피였나 예전에 한번 사용한적이 있는데요.
요즘은 어떤 프로그램을 써서 가져와야하는지 고수님들 답변 부탁드립니다.
답변 2
https://simplehtmldom.sourceforge.io/
위 사이트에서 소스포지링크에서 다운받으셔서 lib폴더에 넣고, common.lib.php 처럼 인클루드해서 쓰시면됩니다. 사용법은 https://simplehtmldom.sourceforge.io/manual.htm 보시면 아주쉬워요.
웹페이지 크롤링은 파이썬이 개꿀입니다.
파이썬으로 크롤링후 cvs 로 파일생성.
php에서 csv 로딩후 db등록하시면 됩니다.
파이썬에서 db연동은 귀찮지만, csv파일까지는 100줄정도면 충분하거든요.
Php로만 처리할려면 귀찮은 여러가지 작업을 해야하니
둘을 조합해서 쓰는게 확장성도 있습니다.
답변을 작성하시기 전에 로그인 해주세요.