COMING SOON 🚀

PHP 웹 스크래퍼 만들기 : guzzle + dom-crawler

PHP 웹 크롤러 또는 스크래퍼를 만들 때 guzzle 과 dom-crawler 조합으로 구현할 수 있습니다.

 

설치는 컴포저를 이용하는 것이 좋겠죠?

[code]

composer require guzzlehttp/guzzle
composer require symfony/dom-crawler

[/code]

 

잘 되는지 간단히 테스트해 볼까요?

[code]

<?php

require 'vendor/autoload.php';

use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;

$client = new Client();
$response = $client->request('GET', 'http://example.com');

$html = (string) $response->getBody();

$crawler = new Crawler($html);

$links = $crawler->filter('a')->each(function (Crawler $node, $i) {
    return $node->attr('href');
});

var_dump($links);

 

[/code]

 

궁금하신 부분이 있으시면 댓글로 남여 주세요.

오늘도 즐거운 코딩 하세요~~^^

|

댓글 1개

요새 크롤링 쓸만한게 많은가요? 크롤링 너무 안한지 오래 되어서요

댓글을 작성하시려면 로그인이 필요합니다.

개발자팁

개발과 관련된 유용한 정보를 공유하세요. 질문은 QA에서 해주시기 바랍니다.

+
분류 제목 글쓴이 날짜 조회
JavaScript 1년 전 조회 1,173
JavaScript 1년 전 조회 1,144
PHP 1년 전 조회 1,579
PHP 1년 전 조회 1,797
기타 1년 전 조회 1,692
기타 1년 전 조회 1,521
PHP 1년 전 조회 1,126
JavaScript 1년 전 조회 814
JavaScript 1년 전 조회 1,332
1년 전 조회 1,735
JavaScript 1년 전 조회 1,562
1년 전 조회 1,066
1년 전 조회 1,438
1년 전 조회 1,433
1년 전 조회 1,155
1년 전 조회 688
1년 전 조회 813
1년 전 조회 1,432
1년 전 조회 1,065
1년 전 조회 955
PHP 1년 전 조회 1,129
PHP 1년 전 조회 914
OS 1년 전 조회 957
기타 1년 전 조회 757
기타 1년 전 조회 967
기타 1년 전 조회 760
기타 1년 전 조회 632
JavaScript 1년 전 조회 772
PHP 1년 전 조회 842
jQuery 1년 전 조회 873