축

웹 소스 긁어오기

<?
function open_url($url)
{
if (preg_match('/^(https?)\:\/\/([^\/]+)(.*)/', $url, $pregs))
{
$host = $pregs[2];
$port = ($pregs[1] == 'http' ? 80 : 443);
$suburl = $pregs[3];
if (!$suburl) $suburl = '/';
if ($fp = fsockopen($host, $port, $errno, $errstr, 10))
{
fputs($fp, "GET {$suburl} HTTP/1.0\r\n");
fputs($fp, "Host: {$host}\r\n");
fputs($fp, "User-Agnet: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1)\r\n");
fputs($fp, "\r\n");
while (!feof($fp))
{
// $temp .= iconv('UTF-8', 'CP949', fgets($fp, 512)); // UTF-8
$temp .= fgets($fp, 512);
}
fclose($fp);
$arr = explode("\r\n\r\n", $temp, 2);
if (count($arr) < 2) return;
return array(
'header'=>$arr[0],
'body'=>$arr[1]
);
}
}
}

print_r(open_url('http://sir.co.kr/'));
?>

첨부파일

open_url.php (867 bytes) 62회 2012-09-04 13:37

댓글 14개

크롤러인가요?
사람을 지칭하시는건가요 아니면 기능의 역할을 지칭하시는건가요? ㅎㅎ
올려두고 물어보신다면 ;;
구글에서 크롤러를 검색해보세요 :)
기능이 비슷한지 해서 물어본 내용입니다.
기능은 웹사이트 코드를 긁어오는 것이니 당연히 비슷하죠.
이 코드를 수정해서 크롤러로 사용이 가능할수도 있겠지만, 저는 그런 의도로 올린건 아닙니다.
그리고 '크롤러'라고 하셔서 '크롤링 하는 사람'을 지칭하셨던 것인지
'크롤러 기능'을 지칭한 것인지를 여쭌것이지요 :D
어떻게 사용하는건가요~?
제가 만든 open_url 함수를 추가하시고 호출하시면 됩니다.
반환값은 긁어오기에 성공하면 header와 body를 인덱스로 갖는 배열이 반환되고, 실패시엔 아무것도 반환되지 않습니다.
header 에는 http 헤더가, body에는 http 내용이 들어갑니다
때론 유용하게 사용되겠네요 ^^
소스만 가지고오는
네 웹소스 긁어오는 프로그램입니다 ^^
파싱이..스누피도 있고..^^;;
중요한건 소스를 어떻게 컨트롤하느냐겠지요ㅎㅎㅎ
태그 날리는것도 한몫할것이고..
한마디로 정규식을 배워야 요것을 매우 유용하게 사용할수있을것이다..이런거지요
맞는 말씀이지요 ㅎㅎ
좋은 소스네요 ㅋㅋ
유용한 정보 감사합니다
댓글을 작성하시려면 로그인이 필요합니다.

프로그램

8,187건
+
제목 글쓴이 날짜 조회
16-03-21 조회 3,129
15-12-03 조회 2,968
14-09-21 조회 4,441
14-09-21 조회 3,919
14-09-20 조회 3,933
14-09-20 조회 3,830
14-09-20 조회 4,008
14-09-19 조회 3,930
14-09-19 조회 4,093
14-09-19 조회 3,984
14-09-19 조회 4,012
14-09-19 조회 3,928
14-09-19 조회 4,222
14-09-19 조회 3,962
14-09-19 조회 4,009
14-09-19 조회 3,980
14-09-18 조회 4,056
14-09-18 조회 4,014
14-09-18 조회 4,286
14-09-18 조회 4,267
14-09-18 조회 4,263
14-09-18 조회 4,967
14-07-25 조회 4,109
13-05-18 조회 5,853
13-03-13 조회 8,408
13-02-16 조회 6,995
13-02-05 조회 7,720
13-01-28 조회 6,871
13-01-28 조회 6,826
13-01-25 조회 5,178
13-01-25 조회 1.1만
13-01-24 조회 4,482
13-01-18 조회 4,027
13-01-18 조회 6,236
13-01-18 조회 5,923
13-01-17 조회 4,475
13-01-17 조회 5,239
13-01-14 조회 5,294
13-01-03 조회 1만
12-12-29 조회 4,679
12-11-29 조회 1.2만
12-11-16 조회 6,499
12-10-22 조회 8,560
12-09-11 조회 4,291
12-09-11 조회 3,932
12-09-11 조회 3,756
12-09-11 조회 3,727
12-09-03 조회 4,711
12-08-29 조회 3,652
12-08-27 조회 4,104
12-08-22 조회 3,547
12-08-19 조회 3,908
12-08-16 조회 3,463
12-08-02 조회 3,881
12-07-17 조회 3,613
12-07-14 조회 4,379
12-07-12 조회 4,414
12-07-10 조회 5,732
12-07-05 조회 3,531
12-06-08 조회 4,969
12-05-19 조회 3,473
12-05-18 조회 5,057
12-04-09 조회 4,787
12-04-05 조회 3,677
12-02-27 조회 3,895
12-02-11 조회 3,500
12-02-09 조회 3,994
12-02-09 조회 3,547
12-01-17 조회 5,228
12-01-10 조회 5,373
12-01-10 조회 5,559
12-01-10 조회 5,439
12-01-10 조회 5,328
11-12-23 조회 3,627
11-12-19 조회 6,288
11-12-19 조회 5,045
11-12-09 조회 4,186
11-12-09 조회 3,804
11-12-09 조회 4,005
11-12-09 조회 4,515