파이썬 (BEAUTIFULSOUP4) 그누보드 연동 질문입니다!
본문
파이썬 (BAUTIFULSOUP4) 로 A란 사이트를 카테고리별로 크롤링해서 제 사이트 카테고리에 일정 주기마다 업로드 하고 싶습니다 해보신분계실까요?
답변 1
php 로두 curl 로 읽어올 수 있을듯 한데요.
아님 python 으로 만들어진 크롤러 무료 배포하 는거있어요 .
scrapy 라고 있습니다
저 같은 경우엔 20여개 사이트를 크롤링 하면 되서 php 로 스크립트 짜서 사이트 규칙 별로 대응했진한데...(배포 프로그램은 말그대로 다 긁어오는지라...물론 긁어오는 규칙설정을 통해 해결가능합니다만....그걸 공부하는 동안에 만들겟더라고요) . 크롤링도 결국은 html 의 본문내역을 그대로 긁어어는거라 긁어온 코드중 어느부분을 읽는다 라는걸 정규 표현식으로 맞춰줘야 한다고 보심되요.
답변을 작성하시기 전에 로그인 해주세요.