크롤링 관련 자바나 제이쿼리 코딩
본문
크롤링 도움받아서 만들어봤는데
문제는 위에 크롤링할 주소창에 url 주소 하나 밖에 못 넣고, (크롤링 시작하기) 버튼을 url
하나 넣을때마다 매번 눌러야 하는 겁니다. url 주소가 워낙 많아서 매번 불편하고 노가다네요.
원하는것은
이렇게 여러 url 을 한번에 넣고
(크롤링 시작하기) 즉 submit 버튼을 실행하면
http://google.com/1000231 (크롤링 시작하기)
`
`
30초후
http://google.com/1000232 (크롤링 시작하기)
`
`
30초후
http://google.com/1000233 (크롤링 시작하기)
이렇게 시간간격을 두고 url이 넘어가면서 submit 버튼이 실행되게 만들고 싶은데
자바나 제이쿼리 등 대략적인 찾아볼만한 소스나 자료 있을가요?
간만하게 코드좀 만들어서 알려주시면 더더욱 감사하고 채택해드릴게요.
답변 2
<textarea name="url"></textarea>
값이 넘어 오는 부분
if($url){
$ex_url = explode("\n", trim($url));
$counter=count($ex_url);
for($i=0;$i<$counter;$i++){
if($ex_url[$i]){
//크롤링 처리
sleep(30);//30초간 지연
}
}
}
적용해서 url 개수는 잘 파악하는데 정작 크롤링을 못해오네요.
한개만 넣으면 잘 퍼오는데 url 여러개 (예를 들어 2개 이상 넣으면 못 퍼오네요 ㅠㅠ
url 한개 넣으면 잘 퍼오는데
2개 url 넣으면 처음꺼도 아예 못퍼오고 올 스탑이네요
$ex_url = explode("\n", trim($url)); 이분이 정확히 분류가 안되셨을수있습니다
if($ex_url[$i]){
echo $ex_url[$i]; 형식으로 테스트해보시고
분류가 안되셧으면
$ex_url = preg_split('/\r\n|[\r\n]/', $url); 로 변경해 보세요
echo $ex_url[$i]; 적용했는데 첫째 url 분류 잘 되었습니다.
카카오톡 silverhub99
잠깐 소스좀 검토해주실수 있나요? 수정비용은 드리겠습니다
$ex_url = preg_split('/\r\n|[\r\n]/', $url);
적용하니 url 3개 넣으면 첫번째는 돌아가네요.
전에는 3개 넣으면 아예 첫번쨰는 안 돌아갔는데요.
한단계 발전은 한듯요... 문제는 이제 2번째 이상 부터 크롤링이 돌아야 하는데요
크롤링할 주소를 입력 받을때 주소와 주소구분을 항상 엔터키로 입력받으시고
엔터키로 구분하여 총 주소가 몇개인지 추출하여
입력한 주소갯수에 맞게 크롤링을 하면 되겠네요.
구현소스까지 필요하면 제작의뢰 게시판에 문의 하시면 됩니다.
Jqeury와 Ajax를 활용하면 될듯 합니다.
