명

Charset Auto Detection(캐릭터셋 자동 감지)

명시적으로 캐릭터셋을 정하지 않는 상태에서
param 으로 넘어온값이나, 문자열의 charset을 검출해야 하는 경우가 있습니다.
흔하게 발생되는 경우는 아니지만, 외부 시스템 연동과 같은 특수상황에서는 종종 발생하는 케이스입니다.
자바쪽 자료를 찾다가 php 자료들도 보이길래 정리해봅니다.
자동검출이기 때문에 100% 완벽하지 않습니다.

1. mb_detect_encoding()
- http://kr.php.net/manual/en/function.mb-detect-encoding.php

2. 캐릭터셋의 바이트 구조를 분석하여 직접 코딩
- http://my.oops.org/62
<?php
//
// +----------------------------------------------------------------------+
// | PHP Version 4 |
// +----------------------------------------------------------------------+
// | Copyright (c) 1997-2003 The PHP Group |
// +----------------------------------------------------------------------+
// | This source file is subject to version 2.02 of the PHP license, |
// | that is bundled with this package in the file LICENSE, and is |
// | available at through the world-wide-web at |
// | http://www.php.net/license/2_02.txt. |
// | If you did not receive a copy of the PHP license and are unable to |
// | obtain it through the world-wide-web, please send a note to |
// | [email protected] so we can mail you a copy immediately. |
// +----------------------------------------------------------------------+
// | Author: JoungKyun Kim <http://www.oops.org> |
// +----------------------------------------------------------------------+
//
// $Id: eSystem.php,v 1.2 2005/07/11 05:58:11 oops Exp $

require_once 'PEAR.php';

/**
* PEAR's eSystem:: interface. Defines the php extended system mapping function
* and any utility mapping function
*
* @access public
* @version $Revision: 0.1 $
* @package Unicode
*/
class Unicode extends PEAR
{
function chr2bin ($c, $shift = '') {
$c = ord ($c);

if ( $shift && preg_match ('/^([<>]+)[\s]*([0-9]+)/', $shift, $match) ) :
switch ($match[1]) :
case '>>' : $c = $c >> $match[2]; break;
case '<<' : $c = $c << $match[2]; break;
case '<' : $c = $c < $match[2]; break;
case '>' : $c = $c > $match[2]; break;
endswitch;
endif;

return decbin ($c);
}

function is_utf8 ($str) {
$_l = strlen ($str);
$_not = 0;

for ( $i=0; $i<$_l; $i++ ) :
#$_first = $this->chr2bin ($str[$i]);

# if 7bit charactior or numeric, skipped
#if ( strlen ($_first) != 8 )
# continue;

# if single byte charactors, skipped
if ( ! (ord ($str[$i]) & 0x80) ) :
continue;
endif;

$_first = $this->chr2bin ($str[$i], '>>4');

switch ( $_first ) :
case 1111 : $b = 3; break; # 4byte
case 1110 : $b = 2; break; # 3byte
default : return 0; # not utf8
endswitch;

for ( $j=1; $j<$b; $j++ ) :
if ( substr ($this->chr2bin ($str[$i+$j]), 0, 2) != 10 )
return 0;
endfor;

break;
endfor;

return $_not ? 0 : 1;
}
}

/*
* Local variables:
* tab-width: 4
* c-basic-offset: 4
* End:
* vim600: noet sw=4 ts=4 fdm=marker
* vim<600: noet sw=4 ts=4
*/
?>

사용예
<?
require_once 'Unicode.php';
$_f = 'usage_200509.html';
$_ff = 'bb.html';

$u = new Unicode;
if ( file_exists ($_ff) )
unlink ($_ff);

$_t = file ($_f);

foreach ( $_t as $_v ) :
$_v = trim ($_v);
if ( $u->is_utf8 ($_v) )
putfile_lib ($_ff, utf8decode_lib ($_v, 'cp949'), 1);
else
putfile_lib ($_ff, $_v, 1);
endforeach;

?>

그외 참고 url
http://my.oops.org/126<div class='small'>[이 게시물은 관리자님에 의해 2011-10-31 17:16:08 PHP & HTML에서 이동 됨]</div>

댓글 1개

내가 조아라 하는 pear소스네요...ㅎㅎ
댓글을 작성하시려면 로그인이 필요합니다.

프로그램

8,188건
+
제목 글쓴이 날짜 조회
12-03-19 조회 3,604
12-03-16 조회 4,153
12-03-14 조회 4,028
12-03-13 조회 3,647
12-03-13 조회 4,495
12-03-12 조회 5,583
12-03-12 조회 1만
12-03-08 조회 6,129
12-03-06 조회 1.1만
12-03-06 조회 3,846
12-03-06 조회 6,352
12-03-02 조회 5,158
12-02-29 조회 3,691
12-02-27 조회 4,217
12-02-22 조회 3,739
12-02-20 조회 3,726
12-02-20 조회 6,803
12-02-01 조회 3,345
12-01-30 조회 8,878
12-01-29 조회 3,364
12-01-24 조회 3,692
12-01-21 조회 3,349
12-01-10 조회 3,804
11-12-26 조회 3,717
11-12-23 조회 5,143
11-12-23 조회 4,794
11-12-23 조회 4,405
11-12-23 조회 8,107
11-12-22 조회 3,835
11-12-17 조회 3,879
11-12-12 조회 3,294
11-12-08 조회 7,830
11-12-08 조회 3,652
11-12-07 조회 3,900
11-12-06 조회 5,665
11-12-02 조회 3,613
11-12-01 조회 3,228
11-11-30 조회 7,011
11-11-26 조회 3,979
11-11-24 조회 4,728
11-11-22 조회 3,103
11-11-22 조회 6,732
11-11-18 조회 5,157
11-11-16 조회 3,514
11-11-14 조회 3,551
11-11-12 조회 4,025
11-11-08 조회 3,356
11-11-06 조회 1만
11-11-06 조회 3,941
11-11-03 조회 5,635
11-11-02 조회 5,907
11-11-01 조회 9,413
11-10-19 조회 2,934
11-10-17 조회 2,713
11-10-10 조회 2,691
11-10-07 조회 3,442
11-10-06 조회 4,035
11-10-06 조회 2,588
11-10-02 조회 3,347
11-09-08 조회 4,352
11-09-08 조회 2,736
11-09-07 조회 2,696
11-09-02 조회 2,792
11-09-01 조회 3,757
11-08-28 조회 3,642
11-08-23 조회 3,455
11-08-22 조회 2,871
11-08-22 조회 2,472
11-08-13 조회 2,539
11-08-05 조회 2,980
11-08-03 조회 4,173
11-07-03 조회 2,652
11-06-15 조회 3,289
11-06-15 조회 3,126
11-05-15 조회 2,925
11-05-11 조회 5,663
11-04-12 조회 3,096
11-01-27 조회 3,899
11-01-26 조회 2,696
11-01-26 조회 4,526
11-01-18 조회 2,744
10-11-23 조회 2,973
10-10-24 조회 4,791
10-09-15 조회 4,482
10-09-07 조회 3,478
10-08-27 조회 4,159
10-08-20 조회 7,034
10-07-30 조회 5,717
10-06-30 조회 2,982
10-06-11 조회 4,736
10-06-11 조회 3,428
10-05-15 조회 4,273
10-05-10 조회 2,964
10-03-19 조회 5,505
10-03-05 조회 5,260
10-02-17 조회 5,707
09-11-21 조회 7,025
09-11-09 조회 4,069
09-11-04 조회 6,796
09-10-26 조회 3,929