크롤링 & 게시판 작성 작업 의뢰합니다.
코시국에 모두 수고 많으십니다.
의뢰하고자 하는 내용은 크게 두가지입니다.
1. 해당 URL 크롤링
2. 크롤링 내용 중 특정 내용(class)만 게시판에 작성
해당 URL은 아래와 같습니다.
쿼리 값 중 "%ED%8F%89%EC%B0%BD%EB%A7%9B%EC%A7%91"은 키워드이고 예시에서는 "평창맛집"을 검색해보았습니다.
여기서 각 url의 rank 값에 따라 다섯가지로 나뉩니다.
뒤의 x,y,deviceType 등은 무시해도 되는 값입니다.
제가 먼저 흔히 많이하는 방법으로 파싱해보았으나 해당 url은 스크립트 값을 나중에 받아 뿌려주는 형태(?)처럼 진행되다보니 빈 값만 출력되네요.
다른 방법으로 크롤링(파싱)이 가능하신 분께서 도움주셨으면 좋겠습니다.
해당 url에서 업체명, 리뷰갯수와 같은 특정 class값을 50위(또는 100위)까지 게시글 하나에 "|"같은 부호로 나눠서 작성할 수 있으면 됩니다.
크롤링은 각 url마다 일 1~3회 정도 돌릴 예정이라 ip가 블럭되는 등의 패널티는 없을 것 같습니다.
관심 보여주신 모든 분들 감사합니다.
|
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기
댓글 8개
크롤링은 수동으로 하나요? 아니면 크론 등으로 자동으로 주기적으로 처리하나요?
write_update.head.skin.php 에서 값을 넘겨주면 될 것 같습니다.
참고로 전 mac을 사용하고 있습니다.
제가 작업하고 나서, 이 class 이름이 바뀌면 크로링이 안 되는 점을 감안해 주시기 바랍니다.
Web Browser Service는 네이버 페이지를 요청하면 3~5초 정도 시간이 걸립니다. 이 점도 감안하시기 바랍니다.
그리고 네이버 URL은 입력하는 방식인가요?
예상 작업비는 20만원입니다.
그리고 url은 직접 입력보다는 urlencode 등을 통해 wr_1을 이용하는게 더 편할 것 같습니다.
따라서 class 명이나 url 부분은 작업 완료 후 네이버측의 변경시 제가 수정 가능할 수 있으면 좋겠습니다.
작업비용은 입금은 어떻게 하시는게 편하시겠습니까?
댓글로 불편하시면 전화나 톡 주셔도 됩니다. (0lO-62O7-6232)
작업 후에 청구합니다.
https://phantomjscloud.com/
여기 가입하시고 키값을 알려 주세요.
하루 500건까지는 무료입니다.
class명 등은
환경 설정 또는 게시판 설정 여분 컬럼에 입력하는 것으로 하겠습니다.
한 가지 더 확인할 것이
글쓰기에서 네이버 크롤링을 하면
글쓰기 완료 페이지(view)가 늦게 뜨거나
네트웍 등등의 문제로 크롤링이 실패하면 글쓰기가 안 되거나 할 수 있습니다.
혹시 네이트온이 있으면 친구추가 부탁합니다.
rolojy@nate.com
입니다. 메일 주셔도 됩니다.
아니면 moowabo @ nate.com 친추해주셔도 됩니다.
api값은 ak-f14ny-rb9pv-k8110-qmtmc-wbz7z 입니다.
그리고 글쓰기가 안되는 경우에는 alert 후 글쓰기 페이지로 돌아가게 되나요 아니면 빈 값으로 글쓰기 작성이 되나요?
어차피 글쓰기 작성자는 전담자 한명이 진행하므로 둘 중 어느 경우라도 상관은 없을 것 같습니다.
메일드리겠습니다
현재 먼저 견적주신 분과 진행을 시작하게 되었습니다.
혹시 진행중 작업이 불가능해지는 경우가 발생하면 바로 연락드리겠습니다.
신경써 주셔서 감사합니다.