채택완료

크롤링 관련 자바나 제이쿼리 코딩

2018-11-25 (일) 13:35:23 3,845

2015196407_1543119982.8017.png

크롤링 도움받아서 만들어봤는데

문제는 위에 크롤링할 주소창에 url 주소 하나 밖에 못 넣고, (크롤링 시작하기) 버튼을 url 

하나 넣을때마다 매번 눌러야 하는 겁니다. url 주소가 워낙 많아서 매번 불편하고 노가다네요.

원하는것은 

http://google.com/1000231

http://google.com/1000232

http://google.com/1000233

http://google.com/1000234

http://google.com/1000235

이렇게 여러 url 을 한번에 넣고 

(크롤링 시작하기) 즉 submit 버튼을 실행하면

http://google.com/1000231 (크롤링 시작하기) 

          `

          `

        30초후

http://google.com/1000232 (크롤링 시작하기)

          `

          `

        30초후

http://google.com/1000233 (크롤링 시작하기)

이렇게 시간간격을 두고 url이 넘어가면서 submit 버튼이 실행되게 만들고 싶은데 

자바나 제이쿼리 등 대략적인 찾아볼만한 소스나 자료 있을가요?

간만하게 코드좀 만들어서 알려주시면 더더욱 감사하고 채택해드릴게요.

|

답변 2개 / 댓글 6개

채택된 답변
+20 포인트

<textarea name="url"></textarea>

값이 넘어 오는 부분 

if($url){

  $ex_url = explode("\n", trim($url));

  $counter=count($ex_url);

  for($i=0;$i<$counter;$i++){

     if($ex_url[$i]){

     //크롤링 처리

     sleep(30);//30초간 지연

     }

  }

}

답변에 대한 댓글 6개

2018-11-26 (월) 16:28:01
적용해서 url 개수는 잘 파악하는데 정작 크롤링을 못해오네요.

한개만 넣으면 잘 퍼오는데 url 여러개 (예를 들어 2개 이상 넣으면 못 퍼오네요 ㅠㅠ
2018-11-26 (월) 16:39:51
url 한개 넣으면 잘 퍼오는데

2개 url 넣으면 처음꺼도 아예 못퍼오고 올 스탑이네요
$ex_url = explode("\n", trim($url)); 이분이 정확히 분류가 안되셨을수있습니다

if($ex_url[$i]){
echo $ex_url[$i]; 형식으로 테스트해보시고
분류가 안되셧으면

$ex_url = preg_split('/\r\n|[\r\n]/', $url); 로 변경해 보세요
2018-11-29 (목) 18:31:56
echo $ex_url[$i]; 적용했는데 첫째 url 분류 잘 되었습니다.
2018-11-29 (목) 18:42:47
카카오톡 silverhub99

잠깐 소스좀 검토해주실수 있나요? 수정비용은 드리겠습니다
2018-11-30 (금) 05:19:21
$ex_url = preg_split('/\r\n|[\r\n]/', $url);
적용하니 url 3개 넣으면 첫번째는 돌아가네요.

전에는 3개 넣으면 아예 첫번쨰는 안 돌아갔는데요.

한단계 발전은 한듯요... 문제는 이제 2번째 이상 부터 크롤링이 돌아야 하는데요

크롤링할 주소를 입력 받을때 주소와 주소구분을 항상 엔터키로 입력받으시고

엔터키로 구분하여 총 주소가 몇개인지 추출하여

입력한 주소갯수에 맞게 크롤링을 하면 되겠네요.


구현소스까지 필요하면 제작의뢰 게시판에 문의 하시면 됩니다.

Jqeury와 Ajax를 활용하면 될듯 합니다.

답변을 작성하려면 로그인이 필요합니다.