크롤링 하려면 서버 호스팅을 써야 하나요?
본문
안녕하세요.
개인서버 nginx+php7+mariadb로 사이트 json을 받아 DB에 입력하고 있습니다.
이를 호스팅으로 이전해서 하고 싶은데 한가지 걸리는 것이 있습니다.
while true
do
#크롤링
/usr/bin/wget -O /dev/null -q --tries=1 http://주소/crawling/sitename.php
sleep 5
done
주기적으로 php를 실행하는데 crontab으로 초 단위 설정이 어려워서 쉘 스크립트(sh)로 만들어서 썼는데 호스팅에선 안되는 걸로 알고 있습니다.
웹 호스팅?? 서버 호스팅?? 아/마/존??
어떤 것을 써야 할까요? php+mysql도 되야 하거든요.
답변 2
크론을 돌려 자동작업을 하려고하시는거 같은데 지원해주는 웹사이트들이 있습니다.
웹호스팅에서도 사용가능합니다.
초 단위로 주기적으로 php 실행이 가능한가요? 웹호스팅에서도..?
네 내사이트에서 실행하는게 아니라 크론을 시켜주는 대행사이트같은 원리입니다.
정해진 초마다 내사이트도메인/test.php 파일을 실행시켜주는거죠
안녕하세요. 시간이 좀 지나긴 했지만 "내사이트에서 실행하는게 아니라 크론을 시켜주는 대행사이트같은 원리" 라고 말씀하셨는데 웹호스팅에서 정해진 초마다 도메인/test.php를 접속하게 하는 방법을 알고 싶습니다. 감사합니다.
어짜피 크롤링이라는게 통신을 기반으로 하는거니 사용 목적에 따라 웹서버를 사용할 수도 있고, 응용프로그램으로 개발하여 사무실내에서 사용할 수 있습니다.
답변을 작성하시기 전에 로그인 해주세요.
