로컬 LLM 돌려본 결과.
집에 PC가 5대(맥 2대, 윈도우 3대)있는데, 그 중 윈도우피씨 한 대에서 테스트해 보았습니다.
GPU: GeForce RTX 4070 Ti SUPER (현재 150만원정도 함)
RAM: 64GB
Model: Qwen3-Coder-30B-A3B-Instruct-Q3_K_L
후기 :
파일명과 할일을 요청해서 처리하는, chat 모드는 낮은 성능의 모델에서도 잘 동작하지만,
요즘은 워크스페이스 폴더만 열어두면, AI가 그냥 다 알아서 해주는 agent mode 시대이기 때문에, agent mode 가능한 도구만 테스트 하였습니다.
로컬 LLM 쓰시려면, VRAM 높은 맥미니 사용하시는걸 추천합니다. (저 그래픽카드 살 돈 이면 고사양 맥미니 구입 가능합니다.)
본인이, AI를 24시간 구동하거나, AI 서비스를 만들 것이 아니라면, 유료 구독 도구를 사용하는 것이 나아보입니다.
GPU: GeForce RTX 4070 Ti SUPER (현재 150만원정도 함)
RAM: 64GB
Model: Qwen3-Coder-30B-A3B-Instruct-Q3_K_L
후기 :
파일명과 할일을 요청해서 처리하는, chat 모드는 낮은 성능의 모델에서도 잘 동작하지만,
요즘은 워크스페이스 폴더만 열어두면, AI가 그냥 다 알아서 해주는 agent mode 시대이기 때문에, agent mode 가능한 도구만 테스트 하였습니다.
로컬 LLM 쓰시려면, VRAM 높은 맥미니 사용하시는걸 추천합니다. (저 그래픽카드 살 돈 이면 고사양 맥미니 구입 가능합니다.)
본인이, AI를 24시간 구동하거나, AI 서비스를 만들 것이 아니라면, 유료 구독 도구를 사용하는 것이 나아보입니다.
첨부파일
resized.20260206_025820.mp4
(7.4 MB)
0회 다운로드
2026-02-06 03:00
총 1명이 반응했습니다
|
댓글을 작성하시려면 로그인이 필요합니다.
댓글 2개
'로컬 LLM 실험이 개발자에게 필요치는 않다'라는
기존 담론을 정리해 풀어쓴 글로 읽었습니다.
로컬 LLM 세팅/추론/최적화 경험이
실무 필수 역량과 직접 연결되지 않는 요즘의 추세로 볼 때,
실제로 필요한 경우와 그렇지 않은 경우를 구분해,
개발자들이 '의미 있는 시간 소비'를 선택하는 데 참고할 내용이라 생각합니다.
잼민이가 개입하면 로컬이 아닌데...