이전 목록 다음
채택완료

curl 로 파싱이 안되는사이트

에에이밍
프로필 보기작성한 질문작성한 답변전체 작성글 보기전체 댓글 보기
 2020-07-19 (일) 19:59:51 3,899

쿠팡 사이트 상품들을 크롤링 할려는데요. file_get_contents로는 안긁어 지더라구요.

그래서 curl을 사용해서 해봤는데.curl도 내용이 안긁어 져요.

혹시 php로 할수있는 방법중에 다른 파싱 방법이 있을까요?

쿠팡파싱 curl
|

답변 2개 / 댓글 1개

채택된 답변
+20 포인트
위버
프로필 보기작성한 질문작성한 답변전체 작성글 보기전체 댓글 보기
 2020-07-19 (일) 20:02:06

curl 보낼떄 user-agent 값을 바꿔보세요.

curl_setopt($ch, CURLOPT_USERAGENT,'Googlebot-Image/1.0 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)');

답변에 대한 댓글 1개

에이밍
프로필 보기작성한 질문작성한 답변전체 작성글 보기전체 댓글 보기
 2020-07-19 (일) 21:49:18
agent 가 문제였군요..감사합니다
진서기
프로필 보기작성한 질문작성한 답변전체 작성글 보기전체 댓글 보기
 2020-07-20 (월) 08:55:36

쿠팡은 그냥 파싱하면 안됩니다. 

쿠팡 파싱을 막는 용도의 쿠키를 사용합니다.

답변을 작성하려면 로그인이 필요합니다.