꾸

자동으로 글 퍼오는 것은 어떤 방식으로 구동되는 건가요?

가끔 어떤 사이트들을 보면 자동으로 글이 올라오더라구요. 
예를 들면 관련 뉴스라던가, 자동으로 꾸준히 생성되더라구요. 

어떻게 구현하는 건지 궁금하네요. 원리가 어떤건지..


댓글 3개

snoopy 나 curl 를 이용한 파싱 입니다.
원리는 대충 이렇습니다.
우선 먼저 file_get_contents() , curl 등 통해서 페이지를 불러 옵니다. 그다음 정규식 통해서 정리하여 디비에 올립니다.
한번 간단한거 만들어보면 재미있습니다.
하지만 우선 알아두셔야할것은 다른사람의 사이트에 정보을 동의 없이 수집하는 것은 도독에 어긋나는 일입니다.^^
xml 또는 json 같은 형태로 해당 서비스 업체에서 제공하기도 합니다.
댓글을 작성하시려면 로그인이 필요합니다.

프로그램

8,188건
+
제목 글쓴이 날짜 조회
12-08-29 조회 4,213
12-08-07 조회 3,874
12-08-03 조회 3,686
12-07-31 조회 3,786
12-07-30 조회 3,731
12-07-16 조회 3,932
12-07-15 조회 3,772
12-07-07 조회 3,632
12-07-06 조회 3,827
12-07-03 조회 3,783
12-06-29 조회 3,412
12-06-22 조회 3,783
12-06-17 조회 4,045
12-05-21 조회 3,963
12-05-02 조회 3,476
12-05-02 조회 4,264
12-05-02 조회 3,386
12-04-30 조회 3,593
12-04-30 조회 3,269
12-03-17 조회 4,148
12-03-10 조회 3,466
12-03-08 조회 4,007
12-03-03 조회 3,705
12-02-27 조회 5,124
12-02-17 조회 4,421
12-02-16 조회 4,701
12-02-03 조회 3,367
12-01-31 조회 3,280
12-01-24 조회 3,274
12-01-17 조회 3,980
12-01-05 조회 3,522
11-12-30 조회 3,246
11-12-23 조회 4,818
11-12-08 조회 3,575
11-12-07 조회 4,534
11-11-27 조회 3,971
11-11-25 조회 4,295
11-11-23 조회 3,727
11-11-22 조회 3,586
11-11-09 조회 3,301
11-10-23 조회 3,237
11-10-19 조회 3,207
11-10-08 조회 2,878
11-10-04 조회 2,880
11-10-04 조회 5,338
11-09-01 조회 4,416
11-08-13 조회 2,609
11-08-06 조회 3,281
11-07-11 조회 3,661
11-06-27 조회 3,021
11-06-21 조회 2,689
11-06-13 조회 2,494
11-06-07 조회 2,514
11-05-26 조회 2,455
11-04-20 조회 2,792
11-03-21 조회 2,887
11-03-18 조회 2,588
11-03-11 조회 2,594
11-02-07 조회 2,434
11-01-18 조회 2,751
11-01-12 조회 2,474
11-01-06 조회 2,557
10-12-10 조회 2,820
10-12-09 조회 2,672
10-12-08 조회 5,103
10-11-29 조회 2,932
10-11-28 조회 2,841
10-11-28 조회 2,674
10-11-19 조회 2,867
10-11-04 조회 2,745
10-10-21 조회 2,468
10-10-19 조회 3,439
10-10-12 조회 2,753
10-10-07 조회 2,589
10-09-30 조회 3,550
10-09-17 조회 3,965
10-09-17 조회 3,900
10-05-31 조회 3,627
09-12-31 조회 3,750
09-07-23 조회 5,072
08-09-16 조회 3,272
08-09-06 조회 3,016
08-09-04 조회 3,443
08-08-16 조회 4,471
08-08-15 조회 3,335
08-08-14 조회 4,552
08-08-12 조회 4,020
08-07-23 조회 2,827
08-07-10 조회 3,786
08-07-04 조회 3,009
08-06-27 조회 7,644
08-06-19 조회 4,957
08-05-27 조회 5,572
08-05-25 조회 5,403
08-05-23 조회 3,479
08-05-23 조회 4,644
08-05-21 조회 4,993
08-05-20 조회 4,107
08-05-20 조회 3,331
08-04-18 조회 4,412