데이터 1만건을 파싱했더니..
일단 데이터를 1만건? 파싱 해서 db에 몰아넣고 데이터를 복제하여 10만건 만들었습니다.
그랬더니 phpmyadmin속도가 엄청 느리네요 ㅎㅎ
이제 수집 된 sql로 조건 검색 연구를 해봐야겠네요 ㅎㅎ
ps1. 그누보드 자게 1페이지에서 100페이지까지만 긁어갔어요. 쿼리 연구 하고 삭제할게요 ㅎㅎㅎ
ps2. 파싱은 nodejs로 만들었고 대략 20분정도 걸렸네요
그랬더니 phpmyadmin속도가 엄청 느리네요 ㅎㅎ
이제 수집 된 sql로 조건 검색 연구를 해봐야겠네요 ㅎㅎ
ps1. 그누보드 자게 1페이지에서 100페이지까지만 긁어갔어요. 쿼리 연구 하고 삭제할게요 ㅎㅎㅎ
ps2. 파싱은 nodejs로 만들었고 대략 20분정도 걸렸네요
|
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기
댓글 17개
나중에 좀 알려주세염 ^^
http://sir.kr/pg_tip/15055
참조만 하세요 ㅎㅎㅎ
ps. sql연구는 언제 할지 모르겠어요 ㅋㅋㅋ 바뻐서..
[http://sir.kr/data/editor/1607/85599bdc63108cfd9e3dbf968472517c_1469729685_0812.png]
직접 그린건데 총으로 보여 다행이네요 ㅋㅋ
엘라스틱 설치 여건이 안되서 ㅋㅋ
사이즈가 일정이상 늘어나니 힘들어지더군요. 아마 필드가 많거나 db타입을 바꿔야할지도 모르겠습니다.
갠적으로 플젝하는게 사이즈가 많아져서 rdb에서 document db로 이전하니 2천6백만건 넘는 데이터도 0.0몇초밖에는 안걸리더라구요.
고려해보세요.
1. 100만건 이하 like에서 속도 저하 있을수 있음
2. 100만건 이상 like없이 생으로 조회시 느려짐 (조사결과 ㅎㅎㅎㅎ 그만큼의 DB가 없어서 테스트 해볼 방도가..)
해결방법(시도하지 않음)
1. 10만건 단위로 분리하여 검색
2. 역 색인 방식으로 처리
아직 시간이 없어서 못하고 있네요 ㅋㅋ