고랭지농업

크롤러 만들기 (2)

· 2021-10-10 (일) 23:23:39 · 1442

여지껏 URL, Builder, Post 세팅 부분을 만졌습니다.

이러한 세팅은 프로그램을 처음 실행할 때 원하는 부분에서 초기화를 하고 설정할 수 있겠죠.

 

/*
   gnuCrawler
   GNUBoard Crawler
   By sir.kr @GolangKR

   그누보드 크롤러
*/

package main

import (
   "fmt"
   "gnuCrawler/Setting"
)

func main() {
   URL, err := Setting.NewSettingURL("https://demo.sir.kr/gnuboard5/bbs/board.php?bo_table=free", "&page=")
   if err != nil {
      fmt.Println(err)
   }
   fmt.Println(URL.URL, URL.PageNumber)

   Builder := Setting.NewSettingBuilder("Gnu")
   fmt.Println(Builder)

   p := map[string]bool{
      "Title": true,
      "Hit": true,
      "Content": true,
   }
   Post := Setting.NewSettingPost(p)
   fmt.Println(Post)
}

 

가 그런 소스입니다.

main 함수에서 URL 구조체를 초기화하고 Builder 부분은 초기화하고 Post를 초기화하는 코드입니다.

fmt.Println() 부분은 출력하는 부분으로 무시해도 됩니다.

일단은 이렇게 코드를 짜면 출력은

 

https://demo.sir.kr/gnuboard5/bbs/board.php?bo_table=free &page=
&{Gnu}
&{true false false false true false false true false false}

 

라고 출력이 됩니다.

&부분은 무시하셔도 됩니다.

이는 코드를 보시면 이해가 되실껍니다.

 

앞으로 할 부분은 이러한 초기화를 한 뒤 중요한 부분 크롤링을 하는 코드를 짜는거겠네요.

 

|
댓글을 작성하시려면 로그인이 필요합니다.

Golang

39건
+
제목 글쓴이 날짜 조회
23-12-06 조회 645
23-03-15 조회 1,322
23-03-15 조회 639
23-03-03 조회 865
23-03-03 조회 736
23-02-06 조회 1,029
23-02-05 조회 689
23-02-05 조회 747
23-01-07 조회 730
22-12-23 조회 1,036
22-12-11 조회 1,155
22-12-02 조회 724
22-04-08 조회 1,044
22-02-22 조회 1,102
22-02-22 조회 1,258
22-02-05 조회 1,169
21-10-17 조회 1,776
21-10-10 조회 1,443
21-10-10 조회 1,347
21-10-10 조회 1,417
21-10-08 조회 1,344
21-10-04 조회 1,286
21-05-22 조회 1,334
21-04-22 조회 1,968
20-09-01 조회 1,408
20-02-23 조회 2,405
20-02-16 조회 1,780
20-02-16 조회 1,397
19-12-23 조회 1,628
19-12-11 조회 1,372