안녕하세요. 오랜만에 글을 쓰네요.

전에 크롤러 만들기를 쓰다가 너무 큰 구조를 생각해서 중간에 도망쳤는데

이번에는 끝을 맺는 걸 목표로 써볼까 합니다.

미리보는 결과물

약 177개의 데이터를 12초에 수집

터미널 ->

$ mkdir crawler
$ cd crawler
$ go mod init example/crawler

프로젝트 구조

/

  go.mod -> 자동 생성

  go.sum -> 자동 생성

  app.go

  /app

    /controllers

      web_controller.go

      crawl_controller.go

  /internal

    /configs

      fiber_config.go

    /middlewares

      fiber_middleware.go

    /routes

      public_route.go

      status_route.go

  /public

    crawl.html

/app - 비지니스 로직이 있는 폴더

  /controllers - 기능 컨트롤러(라우트에서 사용)

/internal - 개인적인 애플리케이션 코드 및 라이브러리 코드가 있는 폴더

  /configs - 설정

  /middlewares - 웹 미들웨어

  /routes - 라우트

/public - 웹 페이지가 있는 폴더

목표는 수집한 데이터를 JSON으로 반환하기입니다.