크롤링 하다보면 로그인을 해야만 하는 페이지가 꼭 있습니다.

이럴때는 snoopy를 이용하시고 정상적으로 id와 passwd값을 request해도 안된다면 보통 쿠키에 문제가 있는거 같습니다. 로그인 하면서 session도 저장해주시고 다시 페이지에 접근을 하면 해당페이지를 크롤링하실 수 있습니다.

$snoopy = new Snoopy;

$uri = '로그인 페이지 주소';

$snoopy->httpmethod = "POST";

$auth['loginId'] = 'id';

$auth['password'] = 'passwd';

$snoopy->submit($uri,$auth);

$snoopy->setcookies();

$temp_cookie = $snoopy->cookies; // 쿠키 가져오기

이후 헤더에 쿠키값 넣고 다시 크롤링 요청을 하시면 됩니다~