크롤러 만들기 (2) 정보
크롤러 만들기 (2)본문
여지껏 URL, Builder, Post 세팅 부분을 만졌습니다.
이러한 세팅은 프로그램을 처음 실행할 때 원하는 부분에서 초기화를 하고 설정할 수 있겠죠.
/* gnuCrawler GNUBoard Crawler By sir.kr @GolangKR 그누보드 크롤러 */ package main import ( "fmt" "gnuCrawler/Setting" ) func main() { URL, err := Setting.NewSettingURL("https://demo.sir.kr/gnuboard5/bbs/board.php?bo_table=free", "&page=") if err != nil { fmt.Println(err) } fmt.Println(URL.URL, URL.PageNumber) Builder := Setting.NewSettingBuilder("Gnu") fmt.Println(Builder) p := map[string]bool{ "Title": true, "Hit": true, "Content": true, } Post := Setting.NewSettingPost(p) fmt.Println(Post) }
가 그런 소스입니다.
main 함수에서 URL 구조체를 초기화하고 Builder 부분은 초기화하고 Post를 초기화하는 코드입니다.
fmt.Println() 부분은 출력하는 부분으로 무시해도 됩니다.
일단은 이렇게 코드를 짜면 출력은
https://demo.sir.kr/gnuboard5/bbs/board.php?bo_table=free &page=
&{Gnu}
&{true false false false true false false true false false}
라고 출력이 됩니다.
&부분은 무시하셔도 됩니다.
이는 코드를 보시면 이해가 되실껍니다.
앞으로 할 부분은 이러한 초기화를 한 뒤 중요한 부분 크롤링을 하는 코드를 짜는거겠네요.
추천
0
0
댓글 0개