로그인페이지 크롤링 TIP > 그누보드5 팁자료실

그누보드5 팁자료실

로그인페이지 크롤링 TIP 정보

로그인페이지 크롤링 TIP

본문

크롤링 하다보면 로그인을 해야만 하는 페이지가 꼭 있습니다.

이럴때는 snoopy를 이용하시고 정상적으로 id와 passwd값을 request해도 안된다면 보통 쿠키에 문제가 있는거 같습니다. 로그인 하면서 session도 저장해주시고 다시 페이지에 접근을 하면 해당페이지를 크롤링하실 수 있습니다.

 

$snoopy = new Snoopy;

 

$uri = '로그인 페이지 주소';

$snoopy->httpmethod = "POST";

$auth['loginId'] = 'id';

$auth['password'] = 'passwd';

 

$snoopy->submit($uri,$auth);

$snoopy->setcookies();

$temp_cookie = $snoopy->cookies; // 쿠키 가져오기

 

이후 헤더에 쿠키값 넣고 다시 크롤링 요청을 하시면 됩니다~

추천
4

댓글 4개

전체 2 |RSS

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT