juso.sir.co.kr 도로명 주소 검색 시스템 구축 가이드 - 데이터 입력
SIR 주소검색 시스템에서는 juso.go.kr 에서 제공하는 매칭데이터를 사용했습니다.
http://www.juso.go.kr/notice/OpenArchivesList.do?noticeKd=26&type=matching 에서
제공하는 자료 중 (기존안)대표지번 전체(2014년 7월 31일 기준) 이 사용된 데이터입니다.
데이터 갱신은 한달에 한번 이뤄지고 있습니다.
제공되는 자료는 txt 파일로 제공됩니다. 이를 DB에 입력하기 위해 별도의 파일을 작성했습니다.
데이터 입력전에 주소 데이터 입력용 테이블을 먼저 만들어야 합니다. 테이블 구조는 아래와 같습니다.
1. DB 테이블 준비
juso 라는 이름의 DB를 생성했으며 그 안에 dorodata라는 테이블을 생성했습니다.
[code]
CREATE TABLE `dorodata` (
`sn` int(11) NOT NULL AUTO_INCREMENT,
`sido` varchar(255) NOT NULL DEFAULT '',
`gugun` varchar(255) NOT NULL DEFAULT '',
`beopname` varchar(255) NOT NULL DEFAULT '',
`ri` varchar(255) NOT NULL DEFAULT '',
`san` varchar(255) NOT NULL DEFAULT '',
`jibon` varchar(255) NOT NULL DEFAULT '',
`jibu` varchar(255) NOT NULL DEFAULT '',
`dorocode` varchar(255) NOT NULL DEFAULT '',
`doroname` varchar(255) NOT NULL DEFAULT '',
`jiha` varchar(255) NOT NULL DEFAULT '',
`geonbon` varchar(255) NOT NULL DEFAULT '',
`geonbu` varchar(255) NOT NULL DEFAULT '',
`geonname` varchar(255) NOT NULL DEFAULT '',
`geonsangse` varchar(255) NOT NULL DEFAULT '',
`haengjeong` varchar(255) NOT NULL DEFAULT '',
`zipcode` varchar(255) NOT NULL DEFAULT '',
`daryang` varchar(255) NOT NULL DEFAULT '',
`geonname2` varchar(255) NOT NULL DEFAULT '',
PRIMARY KEY (`sn`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
[/code]
테이블 구조를 보시면 아시겠지만 index 키가 설정되어 있지 않습니다. Sphinx를 사용할 예정이기 때문에
index 설정은 필요없으며 DB 서버는 인덱싱 후에는 주소 검색시 사용되지 않습니다.
2. 주소 데이터 입력
데이터 입력을 위해 작성한 파일의 코드는 아래와 같습니다. 전체 파일은 가이드 작성 마지막에 첨부하겠습니다.
[code]
<?php
include_once('./_common.php');
set_time_limit ( 0 );
ini_set('memory_limit', '500M');
$files = glob('./*.txt');
if(!function_exists('iconv_utf8')) {
function iconv_utf8($str)
{
return iconv('euc-kr', 'utf-8', $str);
}
}
function convert_content($str)
{
return addslashes(trim($str));
}
foreach($files as $file) {
$zip = array();
$fp = fopen('./'.$file, 'r');
while(!feof($fp)) {
$zip[] = fgets($fp, 4096);
}
fclose($fp);
$rows = count($zip);
$count = 0;
for($i=0; $i<$rows; $i++) {
$line = iconv_utf8($zip[$i]);
$data = explode('|', $line);
$data = array_map('convert_content', $data);
if(!$data[19])
continue;
$sql = " insert into `dorodata`
set sido = '".$data[1]."',
gugun = '".$data[2]."',
beopname = '".$data[3]."',
ri = '".$data[4]."',
san = '".$data[5]."',
jibon = '".$data[6]."',
jibu = '".$data[7]."',
dorocode = '".$data[8]."',
doroname = '".$data[9]."',
jiha = '".$data[10]."',
geonbon = '".$data[11]."',
geonbu = '".$data[12]."',
geonname = '".$data[13]."',
geonsangse = '".$data[14]."',
haengjeong = '".$data[18]."',
zipcode = '".$data[19]."',
daryang = '".$data[21]."',
geonname2 = '".$data[25]."' ";
sql_query($sql);
$count++;
}
}
echo '총 레코드 : '.number_format($count);
?>
[/code]
실제 입력한 데이터는 http://www.juso.go.kr/notice/OpenArchivesDetail.do?mgtSn=1417¤tPage=1&searchType=&keyword=¬iceKd=26&type=matching 입니다.
txt 파일이 ansi 타입으로 제공되어 utf-8로 변경 후 테이블에 입력하도록 했습니다.
자료의 양이 많아 서버 사양에 따라 입력이 시간이 차이가 납니다. nginx 등의 서버를 사용하는 경우
timeout 설정을 길게 잡아주지 않으면 입력 중 중료되는 경우도 있습니다. 저는 입력시 txt 파일을 하나씩만
업로드해서 테이블에 입력하는 방법을 사용했습니다. 중간에 종료가 되면 처음부터 다시해야 하기 때문입니다.
다음은 Sphinx 에서 주소 데이터 인덱싱을 위한 설정 파일에 대해 알아보겠습니다.