축

웹 소스 긁어오기

<?
function open_url($url)
{
if (preg_match('/^(https?)\:\/\/([^\/]+)(.*)/', $url, $pregs))
{
$host = $pregs[2];
$port = ($pregs[1] == 'http' ? 80 : 443);
$suburl = $pregs[3];
if (!$suburl) $suburl = '/';
if ($fp = fsockopen($host, $port, $errno, $errstr, 10))
{
fputs($fp, "GET {$suburl} HTTP/1.0\r\n");
fputs($fp, "Host: {$host}\r\n");
fputs($fp, "User-Agnet: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1)\r\n");
fputs($fp, "\r\n");
while (!feof($fp))
{
// $temp .= iconv('UTF-8', 'CP949', fgets($fp, 512)); // UTF-8
$temp .= fgets($fp, 512);
}
fclose($fp);
$arr = explode("\r\n\r\n", $temp, 2);
if (count($arr) < 2) return;
return array(
'header'=>$arr[0],
'body'=>$arr[1]
);
}
}
}

print_r(open_url('http://sir.co.kr/'));
?>

첨부파일

open_url.php (867 bytes) 62회 2012-09-04 13:37

댓글 14개

크롤러인가요?
사람을 지칭하시는건가요 아니면 기능의 역할을 지칭하시는건가요? ㅎㅎ
올려두고 물어보신다면 ;;
구글에서 크롤러를 검색해보세요 :)
기능이 비슷한지 해서 물어본 내용입니다.
기능은 웹사이트 코드를 긁어오는 것이니 당연히 비슷하죠.
이 코드를 수정해서 크롤러로 사용이 가능할수도 있겠지만, 저는 그런 의도로 올린건 아닙니다.
그리고 '크롤러'라고 하셔서 '크롤링 하는 사람'을 지칭하셨던 것인지
'크롤러 기능'을 지칭한 것인지를 여쭌것이지요 :D
어떻게 사용하는건가요~?
제가 만든 open_url 함수를 추가하시고 호출하시면 됩니다.
반환값은 긁어오기에 성공하면 header와 body를 인덱스로 갖는 배열이 반환되고, 실패시엔 아무것도 반환되지 않습니다.
header 에는 http 헤더가, body에는 http 내용이 들어갑니다
때론 유용하게 사용되겠네요 ^^
소스만 가지고오는
네 웹소스 긁어오는 프로그램입니다 ^^
파싱이..스누피도 있고..^^;;
중요한건 소스를 어떻게 컨트롤하느냐겠지요ㅎㅎㅎ
태그 날리는것도 한몫할것이고..
한마디로 정규식을 배워야 요것을 매우 유용하게 사용할수있을것이다..이런거지요
맞는 말씀이지요 ㅎㅎ
좋은 소스네요 ㅋㅋ
유용한 정보 감사합니다
댓글을 작성하시려면 로그인이 필요합니다.

프로그램

8,187건
+
제목 글쓴이 날짜 조회
12-09-12 조회 3,903
12-09-12 조회 2,897
12-09-12 조회 4,909
12-09-12 조회 4,576
12-09-12 조회 4,626
12-09-12 조회 3,788
12-09-12 조회 3,102
12-09-12 조회 6,366
12-09-12 조회 4,262
12-09-12 조회 4,587
12-09-12 조회 2,946
12-09-12 조회 2,891
12-09-11 조회 4,166
12-09-11 조회 3,002
12-09-11 조회 4,291
12-09-11 조회 3,932
12-09-11 조회 3,756
12-09-11 조회 3,727
12-09-11 조회 7,097
12-09-11 조회 5,725
12-09-11 조회 3,899
12-09-11 조회 2,802
12-09-11 조회 3,556
12-09-11 조회 4,008
12-09-11 조회 3,763
12-09-11 조회 3,537
12-09-11 조회 3,313
12-09-10 조회 2,856
12-09-10 조회 3,285
12-09-10 조회 3,134
12-09-10 조회 2,865
12-09-10 조회 2,812
12-09-10 조회 3,457
12-09-10 조회 2,750
12-09-10 조회 2,712
12-09-10 조회 2,752
12-09-10 조회 2,670
12-09-10 조회 3,516
12-09-10 조회 3,079
12-09-10 조회 4,686
12-09-10 조회 2,836
12-09-10 조회 3,106
12-09-10 조회 3,998
12-09-10 조회 3,038
12-09-10 조회 2,984
12-09-09 조회 2,917
12-09-09 조회 3,058
12-09-08 조회 3,515
12-09-08 조회 2,949
12-09-07 조회 3,114
12-09-07 조회 3,345
12-09-07 조회 3,164
12-09-07 조회 3,993
12-09-07 조회 3,282
12-09-07 조회 2,700
12-09-07 조회 3,372
12-09-07 조회 6,947
12-09-06 조회 3,017
12-09-06 조회 3,621
12-09-06 조회 5,364
12-09-06 조회 3,790
12-09-06 조회 4,163
12-09-06 조회 3,778
12-09-06 조회 4,566
12-09-06 조회 3,918
12-09-06 조회 3,477
12-09-06 조회 2,881
12-09-06 조회 1.6만
12-09-06 조회 3,970
12-09-06 조회 5,843
12-09-06 조회 3,510
12-09-06 조회 2,881
12-09-05 조회 3,051
12-09-05 조회 2,932
12-09-05 조회 3,086
12-09-05 조회 7,186
12-09-05 조회 8,893
12-09-05 조회 3,579
12-09-05 조회 7,455
12-09-05 조회 3,527
12-09-05 조회 2,960
12-09-05 조회 3,185
12-09-05 조회 3,000
12-09-05 조회 2,869
12-09-05 조회 3,154
12-09-05 조회 3,453
12-09-04 조회 2,921
12-09-04 조회 2,983
12-09-04 조회 3,561
12-09-04 조회 1만
12-09-04 조회 5,593
12-09-04 조회 2,936
12-09-04 조회 3,751
12-09-04 조회 3,558
12-09-04 조회 3,854
12-09-04 조회 7,653
12-09-04 조회 2,992
12-09-04 조회 3,592
12-09-03 조회 5,090
12-09-03 조회 4,711