AI 비슷한 거, 발전기 하나 준비하자
이전 글에서 AI 사용 한도 이야기를 하다가 이런 이야기가 있었다.
AI도 전기처럼 없으면 일을 못 하는 시대가 오는 것 아닐까.
지금도 사용량이나 한도가 개발 생산성에 영향을 준다.
잘 쓰던 모델의 한도가 끝나면 다른 모델을 써야 하고, 익숙하지 않은 모델을 쓰면 오히려 검토에 시간이 더 들기도 한다.
AI 도구 의존도가 높아질수록 사용료나 사용량 정책의 영향도 커질 것이다.
요즘 AI 사용 인프라가 구상되고 구축돼 간다는 느낌이다.
Web Host + GPU/NPU + Local LLM + RAG + MCP/도구 실행
클라우드 AI를 로컬에서 완전히 대체하려는 것은 아니다.
어려운 설계나 판단은 성능 좋은 클라우드 AI에 맡기고, 반복적인 작업은 가능한 한 로컬에서 처리하는 구조다.
코드와 문서를 찾고, 로그를 분석하고, 자료를 정리하고, 간단한 코드를 검토하는 일.
RAG로 내가 가진 자료를 활용하고 MCP와 도구 실행을 연결하면 서버나 개발 환경의 작업도 맡길 수 있다.
이런 일을 로컬에서 먼저 처리하고 어려운 문제만 외부 클라우드 AI에 맡긴다면 비용과 외부 서비스 의존도를 줄일 수 있다.
Web Host에 GPU나 NPU가 붙고 로컬 LLM이 돌아간다면 웹서버가 개인용 AI 인프라 역할까지 할 수 있을 것이다.
현재 로컬 LLM이 클라우드의 상위 모델을 대신하기는 어렵다.
하지만 꼭 대신할 필요는 없다.
클라우드 AI를 대체하는 것이 아니라, 클라우드 AI를 호출하지 않아도 되는 일을 늘리는 것.
그것만으로도 충분히 쓸모가 있다.
Cloud AI + Local AI
아직은 이것저것 붙여보는 단계다.
여러 웹 프로젝트가 공통으로 사용할 수 있는 작은 AI 서버까지 만들어질지는 모르겠지만 천천히 가보려 한다.
AI가 정말 전기 같은 생산수단이 된다면 그 비용(?)이 얼마가 될지는 상상하기 싫다.
그래서 ~
발전기 비슷한 거 준비해 가자. ㅎㅎ
- 💫Glitter Gim
AI도 전기처럼 없으면 일을 못 하는 시대가 오는 것 아닐까.
지금도 사용량이나 한도가 개발 생산성에 영향을 준다.
잘 쓰던 모델의 한도가 끝나면 다른 모델을 써야 하고, 익숙하지 않은 모델을 쓰면 오히려 검토에 시간이 더 들기도 한다.
AI 도구 의존도가 높아질수록 사용료나 사용량 정책의 영향도 커질 것이다.
요즘 AI 사용 인프라가 구상되고 구축돼 간다는 느낌이다.
Web Host + GPU/NPU + Local LLM + RAG + MCP/도구 실행
클라우드 AI를 로컬에서 완전히 대체하려는 것은 아니다.
어려운 설계나 판단은 성능 좋은 클라우드 AI에 맡기고, 반복적인 작업은 가능한 한 로컬에서 처리하는 구조다.
코드와 문서를 찾고, 로그를 분석하고, 자료를 정리하고, 간단한 코드를 검토하는 일.
RAG로 내가 가진 자료를 활용하고 MCP와 도구 실행을 연결하면 서버나 개발 환경의 작업도 맡길 수 있다.
이런 일을 로컬에서 먼저 처리하고 어려운 문제만 외부 클라우드 AI에 맡긴다면 비용과 외부 서비스 의존도를 줄일 수 있다.
Web Host에 GPU나 NPU가 붙고 로컬 LLM이 돌아간다면 웹서버가 개인용 AI 인프라 역할까지 할 수 있을 것이다.
현재 로컬 LLM이 클라우드의 상위 모델을 대신하기는 어렵다.
하지만 꼭 대신할 필요는 없다.
클라우드 AI를 대체하는 것이 아니라, 클라우드 AI를 호출하지 않아도 되는 일을 늘리는 것.
그것만으로도 충분히 쓸모가 있다.
Cloud AI + Local AI
아직은 이것저것 붙여보는 단계다.
여러 웹 프로젝트가 공통으로 사용할 수 있는 작은 AI 서버까지 만들어질지는 모르겠지만 천천히 가보려 한다.
AI가 정말 전기 같은 생산수단이 된다면 그 비용(?)이 얼마가 될지는 상상하기 싫다.
그래서 ~
발전기 비슷한 거 준비해 가자. ㅎㅎ
- 💫Glitter Gim
총 3명이 반응했습니다
|
댓글을 작성하시려면 로그인이 필요합니다.
댓글 9개
ㅡ AI 발전 자립 실패 ㅡ ㅋㅋ
그런데 경제 모델은?
수렵? 농경? 자본주의? 공산주의? 어떤 방식을 채택해야 하나요? ㅜㅜ
일단 수렵채집으로 시작한다능
남는 GPU 주워오고, 안 쓰는 NPU 캐고,
오픈소스 모델 사냥해서 먹고살다가 . . .
GPU가 충분히 모이면 농경사회로 전환한다능
자본주의는 요금 고지서 나온 다음에 생각한다요. ㅎㅎ
로컬 AI 인프라 환경 구축! ㅠㅠ;
. . .
가격표를 보니 아직 농경사회로 가면 안 되겠다능. ㅋㅋ
일단 수렵채집 계속해야겠습니다.
남는 장비 주워다가 작은 모델 돌려보고,
RAG 붙이고 MCP/도구 연결해서
“클라우드 AI 안 불러도 되는 일이 얼마나 되나”부터 확인해 봐야겠다능.
그게 제법 쓸 만하다 싶을 때 GPU 농사 시작하는 걸로~ ㅎㅎ
5090 -> DGX Spark -> Mac Studio 512GB
이 트리는 잘못 타면 AI 사용료 아끼려다가
AI 발전소 건설비로 집안 경제가 먼저 망할 것 같다능. ㅠㅠ
발전기는 일단 중고 부품으로 시동부터 걸어봐야겠습니다. ㅋㅋ
그래서 저는 AI Slop 재활용으로 방향을 돌렸습니다
한달 후 정도 배에 태울 것 같습니다 :)
나중에 실제로 해보신 경험도 공유해 주시면 좋겠습니다.
경험 공유글 볼 수 있기를 바랍니다. 👀
네.. 모든 아이템이 그렇듯 산전수전 공중전의 서사가 ... ㅋㅋ
정확히는 AI Slop 이 아니라 AI "생성물" 재활용 입니다.
산전수전 공중전의 서사와 함께 한 달 후 베타를 기대합니다. :)