키

CJK 검색에 어울리는 fulltext 검색엔진 Mroonga를 테스트 해봤습니다.

서버 테스트를 진행하고 있다보니 이것저것 만져보고 있네요.

 

CentOS7 에 MariaDB.repo를 등록하여 MariaDB 최신 버젼을 설치했습니다.

 

/etc/yum.repos.d/MariaDB.repo
gpgcheck=1
name = MariaDB
baseurl = http://yum.mariadb.org/10.0/rhel7-amd64/
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1​

 

MariaDB를 처음 사용하다보니 블로그 등의 글을 읽다가 우연히 아래 링크된 글을 보고

한글에 특화된 전문검색엔진이란 말에 시간나면 꼭 테스트 해보자고 생각했었네요

 

http://kakaodbe.blogspot.kr/2013/09/fulltext-search-mroonga.html

 

아래 블로그에서 MariaDB 10.0.15부터는 Mroonga 가 기본적으로 포함되어 있다는 내용을 보고 테스트 진행했네요.

http://mudchobo.tistory.com/553 

 

MySQL에 접속  쿼리 하나로 사용 할 수 있는 환경이 되어버리네요.

 

 

사용 버젼은 MariaDB-server-10.0.17-1.el7.centos.x86_64

//////////// 엔진 활성화 

 

MariaDB [(none)]> INSTALL SONAME 'ha_mroonga';

Query OK, 0 rows ..

MariaDB [(none)]>show engines;

....

Mroonga  | YES     | CJK-ready fulltext search, column store  | NO     | NO   | NO        

.....

 

//////////// 테스트

기존에 사용중인 테이블 하나를 phpMyAdmin를 이용하여 변경해봤습니다.

 

- 엔진변경

테이블 작업 > 테이블 옵션

테이블 설명 : engine "InnoDB"

스토리지 엔진: Mroonga

 

- 인덱스

인덱스 > 1개 열 인덱스 말들기 실행

인덱스 이름 : wr_content

옵션>

설명: parser "TokenBigramIgnoreBlankSplitSymbolAlphaDigit"

실행

 

쉽게 변경되네요.

 

Mroonga엔진은 테이블의 COMMENT, Fulltext COMMENT 내용을 옵션으로 사용하네요.

위에 테이블 설명 부분은 InnoDB를 기본으로 사용하면서 FullText만 Mroonga를 사용하기 위해서였는데

실제 phpMyAdmin에서는 적용되지 않더라구요.

간단한 테스트를 끝내고

테이블을 생성 할 때 엔진 옵션 코멘트에 해당 부분을 추가했더니 데이타는 InnoDB에 인덱스는 Mroonga에 분리되네요.

 

 아래 링크에 Parser 선택에 대한 글을 추가합니다.

http://blog.mandeulgo.net/2014/01/15/mroonga-performance-test/

 

-------------------

1차 테스트는 자료가 6만건이라 별 의미가 없더군요.

2차 테스트로 60만건 텍스트로 2Gb 정도로 건수에비해 데이타 크기는 좀 있는 편입니다.

 

아래의 검색 테스트를 보면 한글 형태소 분해가 되고 있고 한글 쪼개기 등의 작업을 하지않아도

검색이 잘 된다는 걸 알 수 있습니다.

 

여유되시면 테스트 해보세요.

 

형태소 분석을 어떻게 하는지는 좀 더 글들을 읽어봐야 알 것 같네요.

---

MariaDB [sbtest]> set names euckr;
1 row in set (0.70 sec)

MariaDB [sbtest]> select count(*) from hd_write_board1 where match(wr_content) against('호자') limit 0,1;
+----------+
| count(*) |
+----------+
|      708 |
+----------+
1 row in set (0.09 sec)

MariaDB [sbtest]> select count(*)as b  from hd_write_board1 where  match(wr_content) against('후기남겨달라는');
+-----+
| b   |
+-----+
| 279 |
+-----+
1 row in set (0.23 sec)

MariaDB [sbtest]> select count(*)as b  from hd_write_board1 where  match(wr_content) against('후기남겨달라는' in boolean mode);
+---+
| b |
+---+
| 2 |
+---+
1 row in set (0.20 sec)

MariaDB [sbtest]> select count(*)as b  from hd_write_board1 where  match(wr_content) against('후기남달라는');
+-----+
| b   |
+-----+
| 248 |
+-----+
1 row in set (0.25 sec)

MariaDB [sbtest]> select count(*)as b  from hd_write_board1 where  match(wr_content) against('후기남달라는' in boolean mode);
+---+
| b |
+---+
| 0 |
+---+
1 row in set (0.01 sec)

MariaDB [sbtest]> select count(*)as b  from hd_write_board1 where  match(wr_content) against('남겨달라는' in boolean mode);
+----+
| b  |
+----+
| 14 |
+----+
1 row in set (0.01 sec)

MariaDB [sbtest]> select count(*)as b  from hd_write_board1 where  match(wr_content) against('겨달라는' in boolean mode);
+----+
| b  |
+----+
| 19 |
+----+
1 row in set (0.20 sec)

MariaDB [sbtest]> select count(*)as b  from hd_write_board1 where  match(wr_content) against('남겨달라는');
+-----+
| b   |
+-----+
| 279 |
+-----+
1 row in set (0.01 sec)


MariaDB [sbtest]> select count(*)as b  from hd_write_board1 where  match(wr_content) against('남겨 달라는' in boolean mode);
+------+
| b    |
+------+
| 7181 |
+------+
1 row in set (0.70 sec)​

|

댓글 1개

시간나면 살펴봐야겠네요

좋은정보 감사합니다.
댓글을 작성하시려면 로그인이 필요합니다.

프로그램

8,188건
+
제목 글쓴이 날짜 조회
16-06-11 조회 3,074
16-02-15 조회 3,304
16-02-02 조회 2,973
16-01-25 조회 2,587
16-01-18 조회 2,694
16-01-08 조회 2,607
16-01-07 조회 2,617
16-01-05 조회 2,652
16-01-05 조회 2,951
16-01-05 조회 2,871
16-01-05 조회 2,806
16-01-04 조회 2,666
16-01-04 조회 2,673
16-01-04 조회 2,621
16-01-04 조회 2,535
15-12-30 조회 2,887
15-12-24 조회 2,700
15-12-24 조회 2,697
15-12-24 조회 2,725
15-12-24 조회 2,678
15-12-23 조회 2,667
15-12-16 조회 2,761
15-12-15 조회 2,823
15-12-11 조회 2,948
15-12-10 조회 2,810
15-11-09 조회 2,792
15-11-09 조회 3,014
15-10-06 조회 3,351
15-10-02 조회 3,129
15-05-29 조회 4,462
15-02-02 조회 4,439
15-01-18 조회 4,425
14-10-25 조회 8,382
14-10-25 조회 5,162
14-10-22 조회 7,167
14-10-22 조회 4,866
14-10-22 조회 4,822
14-10-18 조회 5,688
14-10-17 조회 6,065
14-10-17 조회 5,446
14-10-17 조회 8,980
14-10-17 조회 6,457
14-10-13 조회 4,386
14-10-13 조회 4,486
14-10-07 조회 6,162
14-09-24 조회 3,931
14-09-23 조회 3,995
14-09-22 조회 4,902
14-09-22 조회 6,134
14-09-22 조회 4,100
14-09-22 조회 3,771
14-09-21 조회 4,391
14-09-21 조회 3,875
14-09-20 조회 3,878
14-09-20 조회 3,781
14-09-20 조회 3,960
14-09-19 조회 3,883
14-09-19 조회 4,046
14-09-19 조회 3,930
14-09-19 조회 4,312
14-09-19 조회 3,953
14-09-19 조회 3,878
14-09-19 조회 4,167
14-09-19 조회 3,899
14-09-19 조회 3,946
14-09-19 조회 3,935
14-09-18 조회 4,012
14-09-18 조회 3,966
14-09-18 조회 4,236
14-09-18 조회 4,203
14-09-18 조회 4,214
14-09-18 조회 4,913
14-09-18 조회 5,469
14-09-18 조회 5,357
14-09-18 조회 4,157
14-09-18 조회 4,650
14-09-18 조회 4,269
14-08-30 조회 5,538
14-08-06 조회 6,023
14-08-06 조회 5,638
14-08-03 조회 5,275
14-06-12 조회 5,545
14-05-11 조회 3,729
14-05-11 조회 4,492
14-05-11 조회 4,595
14-05-09 조회 1.3만
14-05-01 조회 5,193
14-03-30 조회 4,396
14-03-23 조회 8,019
14-02-12 조회 3,901
13-10-29 조회 7,861
13-10-28 조회 8,688
13-09-29 조회 6,655
13-09-29 조회 4,285
13-07-23 조회 5,158
13-07-23 조회 1.2만
13-07-14 조회 4,690
13-07-14 조회 5,079
13-07-14 조회 6,042
13-07-14 조회 5,319