2026, 새로운 도약을 시작합니다.

PHP 웹 스크래퍼 만들기 : guzzle + dom-crawler

PHP 웹 크롤러 또는 스크래퍼를 만들 때 guzzle 과 dom-crawler 조합으로 구현할 수 있습니다.

설치는 컴포저를 이용하는 것이 좋겠죠?

[code]

composer require guzzlehttp/guzzle
composer require symfony/dom-crawler

[/code]

잘 되는지 간단히 테스트해 볼까요?

[code]

<?php

require 'vendor/autoload.php';

use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;

$client = new Client();
$response = $client->request('GET', 'http://example.com');

$html = (string) $response->getBody();

$crawler = new Crawler($html);

$links = $crawler->filter('a')->each(function (Crawler $node, $i) {
    return $node->attr('href');
});

var_dump($links);

[/code]

궁금하신 부분이 있으시면 댓글로 남여 주세요.

오늘도 즐거운 코딩 하세요~~^^

|

댓글 1개

요새 크롤링 쓸만한게 많은가요? 크롤링 너무 안한지 오래 되어서요

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

개발자팁

개발과 관련된 유용한 정보를 공유하세요.
질문은 QA에서 해주시기 바랍니다.
번호 분류 제목 글쓴이 날짜 조회
5402 MySQL 6일 전 조회 21
5401 JavaScript 3주 전 조회 116
5400 MySQL 1개월 전 조회 222
5399 PHP 2개월 전 조회 468
5398 PHP 2개월 전 조회 353
5397 PHP 2개월 전 조회 284
5396 기타 5개월 전 조회 559
5395 PHP 6개월 전 조회 1,196
5394 MySQL 7개월 전 조회 790
5393 웹서버 9개월 전 조회 985
5392 1년 전 조회 1,310
5391 11개월 전 조회 1,319
5390 11개월 전 조회 1,114
5389 10개월 전 조회 1,030
5388 10개월 전 조회 1,170
5387 9개월 전 조회 962
5386 JavaScript 9개월 전 조회 1,148
5385 웹서버 9개월 전 조회 1,169
5384 JavaScript 10개월 전 조회 991
5383 기타 11개월 전 조회 1,415
5382 기타 11개월 전 조회 660
5381 JavaScript 11개월 전 조회 1,075
5380 기타 11개월 전 조회 833
5379 JavaScript 11개월 전 조회 831
5378 1년 전 조회 1,396
5377 기타 1년 전 조회 941
5376 jQuery 1년 전 조회 639
5375 jQuery 1년 전 조회 871
5374 기타 1년 전 조회 948
5373 MySQL 1년 전 조회 980
🐛 버그신고