PHP 웹 스크래퍼 만들기 : guzzle + dom-crawler 정보
PHP 웹 스크래퍼 만들기 : guzzle + dom-crawler
본문
PHP 웹 크롤러 또는 스크래퍼를 만들 때 guzzle 과 dom-crawler 조합으로 구현할 수 있습니다.
설치는 컴포저를 이용하는 것이 좋겠죠?
composer require guzzlehttp/guzzle
composer require symfony/dom-crawler
잘 되는지 간단히 테스트해 볼까요?
<?php
require 'vendor/autoload.php';
use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;
$client = new Client();
$response = $client->request('GET', 'http://example.com');
$html = (string) $response->getBody();
$crawler = new Crawler($html);
$links = $crawler->filter('a')->each(function (Crawler $node, $i) {
return $node->attr('href');
});
var_dump($links);
궁금하신 부분이 있으시면 댓글로 남여 주세요.
오늘도 즐거운 코딩 하세요~~^^
추천
1
1
댓글 1개
요새 크롤링 쓸만한게 많은가요? 크롤링 너무 안한지 오래 되어서요
