euc-kr 사이트 curl 파싱때
본문
euc-kr 사이트 curl 파싱때
데이터를 다 못가져 오고 중간에 짤리는데...
혹시 같은 증상 겪으신분 있으신가요? 조언 점 부탁드립니다.
답변 3
제가 답변을 잘못 드린것 같네요. 테스트해보니 request Language요청에 따라 응답하는 데이타가 다르네요.
데이타가 끊기는건 아니지만, 결과가 다르게 적용되는걸로 봐서 서버에서 http 요청에 대한 언어처리가 문제가 있는것 같습니다.
이를 해결하기 위해서는 curl 요청시에
$headers = array(
"Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Encoding: gzip, deflate",
"Accept-Language:ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7",
"Connection: keep-alive",
);
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
와 같이 코드를 추가하시면 됩니다.
"Accept-Language:ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7", 와 같이 명시적으로 인코딩을 헤더값에 포함하여 전송하면 문제가 해결됩니다.
정말 감사합니다^^ 덕분에 해결 했네요.
언어셋과 통신중에 끊기는건 별개문제입니다. 사이트를 알려주세요.
여러가지 경우의 수가 있는데...버퍼 문제도 있을수 있고..
중간에 보시면 문자셋이 혼합되어 있을경우에 가져오다 짤리수도 있다고 생각됩니다...
요즘에는 파싱 못하도록 암호화 되어서 화면을 뿌려주는경우도 있습니다.
여러 케이스가 있기때문에 정확하게 사이트를 보고 진단을 해봐야할듯 합니다.
답변을 작성하시기 전에 로그인 해주세요.