축

웹 소스 긁어오기

<?
function open_url($url)
{
if (preg_match('/^(https?)\:\/\/([^\/]+)(.*)/', $url, $pregs))
{
$host = $pregs[2];
$port = ($pregs[1] == 'http' ? 80 : 443);
$suburl = $pregs[3];
if (!$suburl) $suburl = '/';
if ($fp = fsockopen($host, $port, $errno, $errstr, 10))
{
fputs($fp, "GET {$suburl} HTTP/1.0\r\n");
fputs($fp, "Host: {$host}\r\n");
fputs($fp, "User-Agnet: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1)\r\n");
fputs($fp, "\r\n");
while (!feof($fp))
{
// $temp .= iconv('UTF-8', 'CP949', fgets($fp, 512)); // UTF-8
$temp .= fgets($fp, 512);
}
fclose($fp);
$arr = explode("\r\n\r\n", $temp, 2);
if (count($arr) < 2) return;
return array(
'header'=>$arr[0],
'body'=>$arr[1]
);
}
}
}

print_r(open_url('http://sir.co.kr/'));
?>

첨부파일

open_url.php (867 bytes) 62회 2012-09-04 13:37

댓글 14개

크롤러인가요?
사람을 지칭하시는건가요 아니면 기능의 역할을 지칭하시는건가요? ㅎㅎ
올려두고 물어보신다면 ;;
구글에서 크롤러를 검색해보세요 :)
기능이 비슷한지 해서 물어본 내용입니다.
기능은 웹사이트 코드를 긁어오는 것이니 당연히 비슷하죠.
이 코드를 수정해서 크롤러로 사용이 가능할수도 있겠지만, 저는 그런 의도로 올린건 아닙니다.
그리고 '크롤러'라고 하셔서 '크롤링 하는 사람'을 지칭하셨던 것인지
'크롤러 기능'을 지칭한 것인지를 여쭌것이지요 :D
어떻게 사용하는건가요~?
제가 만든 open_url 함수를 추가하시고 호출하시면 됩니다.
반환값은 긁어오기에 성공하면 header와 body를 인덱스로 갖는 배열이 반환되고, 실패시엔 아무것도 반환되지 않습니다.
header 에는 http 헤더가, body에는 http 내용이 들어갑니다
때론 유용하게 사용되겠네요 ^^
소스만 가지고오는
네 웹소스 긁어오는 프로그램입니다 ^^
파싱이..스누피도 있고..^^;;
중요한건 소스를 어떻게 컨트롤하느냐겠지요ㅎㅎㅎ
태그 날리는것도 한몫할것이고..
한마디로 정규식을 배워야 요것을 매우 유용하게 사용할수있을것이다..이런거지요
맞는 말씀이지요 ㅎㅎ
좋은 소스네요 ㅋㅋ
유용한 정보 감사합니다
댓글을 작성하시려면 로그인이 필요합니다.

프로그램

8,187건
+
제목 글쓴이 날짜 조회
12-08-02 조회 3,885
12-08-02 조회 3,802
12-08-01 조회 4,769
12-08-01 조회 4,663
12-07-31 조회 9,564
12-07-31 조회 3,811
12-07-31 조회 3,358
12-07-31 조회 3,145
12-07-31 조회 3,418
12-07-30 조회 3,606
12-07-30 조회 3,644
12-07-30 조회 3,301
12-07-30 조회 3,762
12-07-30 조회 4,197
12-07-29 조회 3,520
12-07-29 조회 3,259
12-07-29 조회 3,604
12-07-29 조회 4,196
12-07-27 조회 3,301
12-07-26 조회 4,857
12-07-26 조회 3,766
12-07-26 조회 3,368
12-07-26 조회 3,629
12-07-26 조회 4,049
12-07-25 조회 4,146
12-07-25 조회 3,298
12-07-24 조회 4,180
12-07-24 조회 3,666
12-07-23 조회 5,140
12-07-22 조회 3,653
12-07-22 조회 3,551
12-07-21 조회 3,454
12-07-21 조회 4,208
12-07-21 조회 3,175
12-07-20 조회 4,423
12-07-20 조회 3,727
12-07-20 조회 3,467
12-07-20 조회 3,377
12-07-20 조회 1만
12-07-19 조회 3,561
12-07-19 조회 3,391
12-07-19 조회 4,764
12-07-19 조회 4,245
12-07-19 조회 3,255
12-07-19 조회 3,060
12-07-19 조회 3,994
12-07-19 조회 3,513
12-07-19 조회 3,951
12-07-19 조회 5,606
12-07-19 조회 3,537
12-07-18 조회 3,340
12-07-18 조회 5,244
12-07-18 조회 3,536
12-07-18 조회 3,645
12-07-17 조회 4,370
12-07-17 조회 4,381
12-07-17 조회 3,579
12-07-17 조회 3,261
12-07-17 조회 4,128
12-07-17 조회 3,618
12-07-16 조회 3,959
12-07-16 조회 3,623
12-07-16 조회 3,815
12-07-16 조회 3,286
12-07-16 조회 3,287
12-07-16 조회 3,187
12-07-16 조회 4,537
12-07-15 조회 3,594
12-07-15 조회 4,317
12-07-15 조회 3,540
12-07-15 조회 3,519
12-07-15 조회 3,330
12-07-15 조회 3,796
12-07-15 조회 3,677
12-07-15 조회 3,533
12-07-15 조회 3,633
12-07-15 조회 4,223
12-07-15 조회 3,819
12-07-15 조회 4,162
12-07-15 조회 7,097
12-07-15 조회 3,734
12-07-15 조회 5,231
12-07-14 조회 3,883
12-07-14 조회 4,384
12-07-14 조회 3,435
12-07-14 조회 3,288
12-07-13 조회 8,482
12-07-13 조회 3,715
12-07-13 조회 3,679
12-07-12 조회 7,435
12-07-12 조회 4,414
12-07-12 조회 5,082
12-07-12 조회 4,552
12-07-11 조회 3,846
12-07-11 조회 3,562
12-07-11 조회 3,521
12-07-11 조회 3,130
12-07-11 조회 3,568
12-07-10 조회 1만
12-07-10 조회 5,735