꾸

자동으로 글 퍼오는 것은 어떤 방식으로 구동되는 건가요?

· 2013-12-08 (일) 06:19:11 · 1445 · 3
가끔 어떤 사이트들을 보면 자동으로 글이 올라오더라구요. 
예를 들면 관련 뉴스라던가, 자동으로 꾸준히 생성되더라구요. 

어떻게 구현하는 건지 궁금하네요. 원리가 어떤건지..


|

댓글 3개

snoopy 나 curl 를 이용한 파싱 입니다.
2013-12-08 (일) 21:33:28
원리는 대충 이렇습니다.
우선 먼저 file_get_contents() , curl 등 통해서 페이지를 불러 옵니다. 그다음 정규식 통해서 정리하여 디비에 올립니다.
한번 간단한거 만들어보면 재미있습니다.
하지만 우선 알아두셔야할것은 다른사람의 사이트에 정보을 동의 없이 수집하는 것은 도독에 어긋나는 일입니다.^^
2013-12-09 (월) 17:28:47
xml 또는 json 같은 형태로 해당 서비스 업체에서 제공하기도 합니다.
댓글을 작성하시려면 로그인이 필요합니다.

토크

3,606건

오픈소스 관련 다양한 이야기를 자유롭게 나눠요

+
제목 글쓴이 날짜 조회
13-12-27 조회 2,036
13-12-27 조회 956
13-12-27 조회 1,006
13-12-26 조회 1,448
13-12-26 조회 1,439
13-12-23 조회 1,240
13-12-23 조회 1,298
13-12-20 조회 1,163
13-12-20 조회 1,755
13-12-20 조회 854
13-12-18 조회 1,614
13-12-18 조회 1,180
13-12-18 조회 5,293
13-12-18 조회 1,130
13-12-17 조회 1,124
13-12-13 조회 1,071
13-12-12 조회 1,205
13-12-11 조회 1,602
13-12-10 조회 1,276
13-12-09 조회 1,357
13-12-09 조회 1,414
13-12-09 조회 1,083
13-12-09 조회 1,293
13-12-08 조회 1,372
13-12-08 조회 1,446
13-12-07 조회 1,142
13-12-06 조회 1,073
13-12-06 조회 1,034
13-12-06 조회 1,048
13-12-06 조회 895