웹 소스 긁어오기
<?
function open_url($url)
{
if (preg_match('/^(https?)\:\/\/([^\/]+)(.*)/', $url, $pregs))
{
$host = $pregs[2];
$port = ($pregs[1] == 'http' ? 80 : 443);
$suburl = $pregs[3];
if (!$suburl) $suburl = '/';
if ($fp = fsockopen($host, $port, $errno, $errstr, 10))
{
fputs($fp, "GET {$suburl} HTTP/1.0\r\n");
fputs($fp, "Host: {$host}\r\n");
fputs($fp, "User-Agnet: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1)\r\n");
fputs($fp, "\r\n");
while (!feof($fp))
{
// $temp .= iconv('UTF-8', 'CP949', fgets($fp, 512)); // UTF-8
$temp .= fgets($fp, 512);
}
fclose($fp);
$arr = explode("\r\n\r\n", $temp, 2);
if (count($arr) < 2) return;
return array(
'header'=>$arr[0],
'body'=>$arr[1]
);
}
}
}
print_r(open_url('http://sir.co.kr/'));
?>
첨부파일
|
댓글을 작성하시려면 로그인이 필요합니다.
프로그램
태그 필터 (최대 3개)
전체
개발자
소스
기타
mysql
팁자료실
javascript
php
linux
flash
정규표현식
jquery
node.js
mobile
웹서버
os
프로그램
강좌
썸네일
이미지관련
도로명주소
그누보드5
기획자
견적서
계약서
기획서
마케팅
제안서
seo
통계
서식
통계자료
퍼블리셔
html
css
반응형
웹접근성
퍼블리싱
표준화
반응형웹
홈페이지기초
부트스트랩
angularjs
포럼
스크린리더
센스리더
개발자톡
개발자팁
퍼블리셔톡
퍼블리셔팁
기획자톡
기획자팁
프로그램강좌
퍼블리싱강좌
댓글 14개
구글에서 크롤러를 검색해보세요 :)
기능이 비슷한지 해서 물어본 내용입니다.
이 코드를 수정해서 크롤러로 사용이 가능할수도 있겠지만, 저는 그런 의도로 올린건 아닙니다.
그리고 '크롤러'라고 하셔서 '크롤링 하는 사람'을 지칭하셨던 것인지
'크롤러 기능'을 지칭한 것인지를 여쭌것이지요 :D
반환값은 긁어오기에 성공하면 header와 body를 인덱스로 갖는 배열이 반환되고, 실패시엔 아무것도 반환되지 않습니다.
header 에는 http 헤더가, body에는 http 내용이 들어갑니다
중요한건 소스를 어떻게 컨트롤하느냐겠지요ㅎㅎㅎ
태그 날리는것도 한몫할것이고..
한마디로 정규식을 배워야 요것을 매우 유용하게 사용할수있을것이다..이런거지요