데이터 1만건을 파싱했더니.. 정보
데이터 1만건을 파싱했더니..본문
일단 데이터를 1만건? 파싱 해서 db에 몰아넣고 데이터를 복제하여 10만건 만들었습니다.
그랬더니 phpmyadmin속도가 엄청 느리네요 ㅎㅎ
이제 수집 된 sql로 조건 검색 연구를 해봐야겠네요 ㅎㅎ
ps1. 그누보드 자게 1페이지에서 100페이지까지만 긁어갔어요. 쿼리 연구 하고 삭제할게요 ㅎㅎㅎ
ps2. 파싱은 nodejs로 만들었고 대략 20분정도 걸렸네요
그랬더니 phpmyadmin속도가 엄청 느리네요 ㅎㅎ
이제 수집 된 sql로 조건 검색 연구를 해봐야겠네요 ㅎㅎ
ps1. 그누보드 자게 1페이지에서 100페이지까지만 긁어갔어요. 쿼리 연구 하고 삭제할게요 ㅎㅎㅎ
ps2. 파싱은 nodejs로 만들었고 대략 20분정도 걸렸네요
추천
0
0
댓글 17개
이제 대량 자료에서 아주 빠른 검색을 연구 해봐야겠네요 ㅎㅎ
좋은 글 올라왔네염.
나중에 좀 알려주세염 ^^
나중에 좀 알려주세염 ^^
최근에 그누보드 자게에 랙이 있더니 범인이 terrorboy 님이 셨군요. 좋은 연구결과 있기를 바랍니다 ㅋ
새벽대에 작업 한거라 속도에는 영향 없습니다 ㅠ.ㅠ
테러보이님 닉네임 그대로 테러도 가능 ㅎ
그러고 보니 테러보이님 프로필 사진에 총이.. 총기소지자 ㄷㄷ
컼 그러네요 ㅋㅋㅋ
직접 그린건데 총으로 보여 다행이네요 ㅋㅋ
직접 그린건데 총으로 보여 다행이네요 ㅋㅋ
난 자전거 안장인줄... 총이었나보죠?
컼! ㅠ.ㅠ
ㅋㅋㅋ
elasticsearch?
서버도움 없이 쿼리문으로 연구중입니다.
엘라스틱 설치 여건이 안되서 ㅋㅋ
엘라스틱 설치 여건이 안되서 ㅋㅋ
사이즈가 일정이상 늘어나니 힘들어지더군요. 아마 필드가 많거나 db타입을 바꿔야할지도 모르겠습니다.
갠적으로 플젝하는게 사이즈가 많아져서 rdb에서 document db로 이전하니 2천6백만건 넘는 데이터도 0.0몇초밖에는 안걸리더라구요.
고려해보세요.
조사한 데이테
1. 100만건 이하 like에서 속도 저하 있을수 있음
2. 100만건 이상 like없이 생으로 조회시 느려짐 (조사결과 ㅎㅎㅎㅎ 그만큼의 DB가 없어서 테스트 해볼 방도가..)
해결방법(시도하지 않음)
1. 10만건 단위로 분리하여 검색
2. 역 색인 방식으로 처리
아직 시간이 없어서 못하고 있네요 ㅋㅋ
1. 100만건 이하 like에서 속도 저하 있을수 있음
2. 100만건 이상 like없이 생으로 조회시 느려짐 (조사결과 ㅎㅎㅎㅎ 그만큼의 DB가 없어서 테스트 해볼 방도가..)
해결방법(시도하지 않음)
1. 10만건 단위로 분리하여 검색
2. 역 색인 방식으로 처리
아직 시간이 없어서 못하고 있네요 ㅋㅋ
그누보드를 기반으로 한 홈페이지 중에서 어느정도의 규모에 도달하면 속도 부분에서 많으 느려지는 현상이 발생되는데, 이를 위해 테스트 및 연구를 직접하시게 된건가요~
아뇨! 늘 그렇듯 호기심 때문에요 ㅋㅋㅋ