꾸

자동으로 글 퍼오는 것은 어떤 방식으로 구동되는 건가요?

· 2013-12-08 (일) 06:19:11 · 1446 · 3
가끔 어떤 사이트들을 보면 자동으로 글이 올라오더라구요. 
예를 들면 관련 뉴스라던가, 자동으로 꾸준히 생성되더라구요. 

어떻게 구현하는 건지 궁금하네요. 원리가 어떤건지..


|

댓글 3개

snoopy 나 curl 를 이용한 파싱 입니다.
2013-12-08 (일) 21:33:28
원리는 대충 이렇습니다.
우선 먼저 file_get_contents() , curl 등 통해서 페이지를 불러 옵니다. 그다음 정규식 통해서 정리하여 디비에 올립니다.
한번 간단한거 만들어보면 재미있습니다.
하지만 우선 알아두셔야할것은 다른사람의 사이트에 정보을 동의 없이 수집하는 것은 도독에 어긋나는 일입니다.^^
2013-12-09 (월) 17:28:47
xml 또는 json 같은 형태로 해당 서비스 업체에서 제공하기도 합니다.
댓글을 작성하시려면 로그인이 필요합니다.

토크

3,606건

오픈소스 관련 다양한 이야기를 자유롭게 나눠요

+
제목 글쓴이 날짜 조회
13-12-27 조회 2,038
13-12-27 조회 958
13-12-27 조회 1,007
13-12-26 조회 1,449
13-12-26 조회 1,442
13-12-23 조회 1,242
13-12-23 조회 1,298
13-12-20 조회 1,163
13-12-20 조회 1,755
13-12-20 조회 856
13-12-18 조회 1,615
13-12-18 조회 1,180
13-12-18 조회 5,295
13-12-18 조회 1,131
13-12-17 조회 1,124
13-12-13 조회 1,072
13-12-12 조회 1,206
13-12-11 조회 1,603
13-12-10 조회 1,276
13-12-09 조회 1,357
13-12-09 조회 1,417
13-12-09 조회 1,085
13-12-09 조회 1,294
13-12-08 조회 1,373
13-12-08 조회 1,447
13-12-07 조회 1,143
13-12-06 조회 1,076
13-12-06 조회 1,035
13-12-06 조회 1,049
13-12-06 조회 895