고랭지농업

처음부터 다시하는 크롤러 만들기[1] - 프로젝트 구조

· 2023-02-05 (일) 22:21:19 · 758

안녕하세요. 오랜만에 글을 쓰네요.

전에 크롤러 만들기를 쓰다가 너무 큰 구조를 생각해서 중간에 도망쳤는데

이번에는 끝을 맺는 걸 목표로 써볼까 합니다.

 

미리보는 결과물

 

1030332716_1675603007.1597.png

 

1030332716_1675603036.1961.png

1030332716_1675603043.0172.png

약 177개의 데이터를 12초에 수집

 

터미널 ->

[code]

$ mkdir crawler

$ cd crawler

$ go mod init example/crawler

[/code]

 

프로젝트 구조

/

  go.mod -> 자동 생성

  go.sum -> 자동 생성

  app.go

  /app

    /controllers

      web_controller.go

      crawl_controller.go

  /internal

    /configs

      fiber_config.go

    /middlewares

      fiber_middleware.go

    /routes

      public_route.go

      status_route.go

  /public

    crawl.html

 

/app - 비지니스 로직이 있는 폴더

  /controllers - 기능 컨트롤러(라우트에서 사용)

/internal - 개인적인 애플리케이션 코드 및 라이브러리 코드가 있는 폴더

  /configs - 설정

  /middlewares - 웹 미들웨어

  /routes - 라우트

/public - 웹 페이지가 있는 폴더

 

목표는 수집한 데이터를 JSON으로 반환하기입니다.

댓글을 작성하시려면 로그인이 필요합니다.

Golang

39건
+
제목 글쓴이 날짜 조회
23-12-06 조회 654
23-03-15 조회 1,332
23-03-15 조회 653
23-03-03 조회 879
23-03-03 조회 750
23-02-06 조회 1,040
23-02-05 조회 698
23-02-05 조회 759
23-01-07 조회 742
22-12-23 조회 1,047
22-12-11 조회 1,171
22-12-02 조회 734
22-04-08 조회 1,059
22-02-22 조회 1,116
22-02-22 조회 1,270
22-02-05 조회 1,180
21-10-17 조회 1,799
21-10-10 조회 1,453
21-10-10 조회 1,357
21-10-10 조회 1,422
21-10-08 조회 1,355
21-10-04 조회 1,304
21-05-22 조회 1,341
21-04-22 조회 1,983
20-09-01 조회 1,422
20-02-23 조회 2,416
20-02-16 조회 1,795
20-02-16 조회 1,415
19-12-23 조회 1,644
19-12-11 조회 1,383