J

웹 수집 로봇 만들고있는데...

 
개인적인 용도로 수집봇을 제작하고 있습니다 ㅎㅎ;;
 
데이터가 3만건이 넘어가니 검색 속도가 엄청 느려지네요...
 
무슨 방법이 없으련지 ㅋㅋ;;;;;;;;;;
 
 
그래도 데이터 모이는 속도는 맘에 드네요^^;
|

댓글 8개

검색어 : 그누보드
뉴스(0 개)
웹문서(0 개)
블로그(0 개)
동영상(0 개)
이미지(0 개)

그누에 대한건 암것도 없네요
그누보드도 수집 시킬까요 ㅋㅋ;;;;;;
당일 인기검색어를 기준으로 수집을 해서 ㅎㅎ
성인동영상
검색어 : 성인동영상
뉴스(0 개)
웹문서(0 개)
블로그(0 개)
동영상(0 개)
이미지(0 개)

검색해서 나오는게 암것도 없네요 ㅎㅎㅎ
lucene이라는 오픈소스 검색엔진을 사용하시면 됩니다.
좀더 사용하기 쉽게 만든것이 solr 또는 elasticsearch 이런것도 있습니다.
직접 최적화랑 엔진 개발을 하고 싶어서요...
구글 자체를 긁어가는건 어떨까요? 구글 안에는 외부 페이지 링크들이 많이 있자나요ㅎㅎ
구글 문서를 키워드별로 파싱 시키고 있습니다. ㅎㅎ
댓글을 작성하시려면 로그인이 필요합니다.

자유게시판

+
제목 글쓴이 날짜 조회
12년 전 조회 1,145
12년 전 조회 1,153
12년 전 조회 1,379
12년 전 조회 1,139
12년 전 조회 1,318
12년 전 조회 1,144
12년 전 조회 3,241
12년 전 조회 1,150
12년 전 조회 1,200
12년 전 조회 1,455
12년 전 조회 1,133
12년 전 조회 1,145
12년 전 조회 3,607
12년 전 조회 1,301
12년 전 조회 1,771
12년 전 조회 1,123
12년 전 조회 2,230
12년 전 조회 1,445
12년 전 조회 4,793
12년 전 조회 1,255
12년 전 조회 3,413
12년 전 조회 1,146
12년 전 조회 1,244
12년 전 조회 1,452
12년 전 조회 1,200
12년 전 조회 1,154
12년 전 조회 1,167
12년 전 조회 1,422
12년 전 조회 1,783
12년 전 조회 1,141