데이터 1만건을 파싱했더니.. > 자유게시판

자유게시판

데이터 1만건을 파싱했더니.. 정보

데이터 1만건을 파싱했더니..

본문

일단 데이터를 1만건? 파싱 해서 db에 몰아넣고 데이터를 복제하여 10만건 만들었습니다.
그랬더니 phpmyadmin속도가 엄청 느리네요 ㅎㅎ

이제 수집 된 sql로 조건 검색 연구를 해봐야겠네요 ㅎㅎ

ps1. 그누보드 자게 1페이지에서 100페이지까지만 긁어갔어요. 쿼리 연구 하고 삭제할게요 ㅎㅎㅎ
ps2. 파싱은 nodejs로 만들었고 대략 20분정도 걸렸네요
추천
0

댓글 17개

제가 사용했던 nodejs파싱 소스입니다.

http://sir.kr/pg_tip/15055

참조만 하세요 ㅎㅎㅎ

ps. sql연구는 언제 할지 모르겠어요 ㅋㅋㅋ 바뻐서..


사이즈가 일정이상 늘어나니 힘들어지더군요. 아마 필드가 많거나 db타입을 바꿔야할지도 모르겠습니다.
갠적으로 플젝하는게 사이즈가 많아져서 rdb에서 document db로 이전하니 2천6백만건 넘는 데이터도 0.0몇초밖에는 안걸리더라구요.
고려해보세요.
조사한 데이테
1. 100만건 이하 like에서 속도 저하 있을수 있음
2. 100만건 이상 like없이 생으로 조회시 느려짐 (조사결과 ㅎㅎㅎㅎ 그만큼의 DB가 없어서 테스트 해볼 방도가..)

해결방법(시도하지 않음)
1. 10만건 단위로 분리하여 검색
2. 역 색인 방식으로 처리


아직 시간이 없어서 못하고 있네요 ㅋㅋ
그누보드를 기반으로 한 홈페이지 중에서 어느정도의 규모에 도달하면 속도 부분에서 많으 느려지는 현상이 발생되는데, 이를 위해 테스트 및 연구를 직접하시게 된건가요~
전체 195,062 |RSS
자유게시판 내용 검색

회원로그인

진행중 포인트경매

  1. 참여1 회 시작24.03.28 11:15 종료24.04.04 11:15
(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT