J

웹 수집 로봇 만들고있는데...

 
개인적인 용도로 수집봇을 제작하고 있습니다 ㅎㅎ;;
 
데이터가 3만건이 넘어가니 검색 속도가 엄청 느려지네요...
 
무슨 방법이 없으련지 ㅋㅋ;;;;;;;;;;
 
 
그래도 데이터 모이는 속도는 맘에 드네요^^;
|

댓글 8개

검색어 : 그누보드
뉴스(0 개)
웹문서(0 개)
블로그(0 개)
동영상(0 개)
이미지(0 개)

그누에 대한건 암것도 없네요
그누보드도 수집 시킬까요 ㅋㅋ;;;;;;
당일 인기검색어를 기준으로 수집을 해서 ㅎㅎ
성인동영상
검색어 : 성인동영상
뉴스(0 개)
웹문서(0 개)
블로그(0 개)
동영상(0 개)
이미지(0 개)

검색해서 나오는게 암것도 없네요 ㅎㅎㅎ
lucene이라는 오픈소스 검색엔진을 사용하시면 됩니다.
좀더 사용하기 쉽게 만든것이 solr 또는 elasticsearch 이런것도 있습니다.
직접 최적화랑 엔진 개발을 하고 싶어서요...
구글 자체를 긁어가는건 어떨까요? 구글 안에는 외부 페이지 링크들이 많이 있자나요ㅎㅎ
구글 문서를 키워드별로 파싱 시키고 있습니다. ㅎㅎ
댓글을 작성하시려면 로그인이 필요합니다.

자유게시판

+
제목 글쓴이 날짜 조회
12년 전 조회 1,105
12년 전 조회 1,115
12년 전 조회 1,341
12년 전 조회 1,099
12년 전 조회 1,281
12년 전 조회 1,107
12년 전 조회 3,207
12년 전 조회 1,110
12년 전 조회 1,154
12년 전 조회 1,414
12년 전 조회 1,098
12년 전 조회 1,105
12년 전 조회 3,567
12년 전 조회 1,256
12년 전 조회 1,725
12년 전 조회 1,084
12년 전 조회 2,180
12년 전 조회 1,397
12년 전 조회 4,752
12년 전 조회 1,206
12년 전 조회 3,378
12년 전 조회 1,099
12년 전 조회 1,203
12년 전 조회 1,417
12년 전 조회 1,161
12년 전 조회 1,114
12년 전 조회 1,132
12년 전 조회 1,379
12년 전 조회 1,737
12년 전 조회 1,109
🐛 버그신고