로컬 LLM 일주일 돌려본 결과.
최근 AI 에 관심이 많아져서 매일 돈만 쳐먹는 클로드를 보며
로컬 LLM 을 한번 구현해볼까?? 라는 호기심으로 일주일 삽질을 했습니다.
PC사양
라이젠 7500f
64g 램
rtx 4070 ti super 16g vram
ssd 1tb
이더넷 1g bit
os 는 리눅스 24.04
llm 정보
Ollama
Auto-approve 비활성화(파일 무단 수정 방지)
응답 언어: 한국어 고정 설정 완료
모델 상태
qwen2.5-coder:32b - (128gb 정도되야 리프레시 없이 사용가능)
qwen2.5-coder:14b
llama3.1:8b (보조)
결론부터 말하자면 현재 웹AI 처럼 한글로 서로 주고받아서 커뮤니케이션 할수 없습니다.
좀더 하드웨어 스펙이 높아서 30b 40b 급 로컬 LLM 을 구동시키면 모르겠지만 저정도 스팩으로는 힘들었습니다.
특히 제일 실망했던게 추론 부분인데
20kb js 파일에 펑션이 대략 30개 정도 있는데
펑션명 앞에 adp_ 접두어를 붙여줘.
이렇게 단순하게 말해봤는데.
굉음을 내며 장장 3시간 동안 5번의 검수와 cpu 평군 사용량 80% 의 풀 로드를 거치더니
접두어를 붙이는데는 성공했는데 <script> 내부의 펑션에만 넣고
실제 실행하는 부분은 접두어를 넣지 않더군요.
좀더 상세하게
<script> 내부의 펑션함수명에 접두어 adp_ 를 넣어줘.
<html> 안에서 onclick 으로 실행하는 함수에 adp_ 접두어를 넣어줘.
이렇게 말했더니
이것도 총 3번의 검수를 거쳐서 1시간만에 모두 완벽하게 바꾸더라구요.
그래도 단순 치환작업에 시간이 너무 걸리다보니 실사용이 거의 불가능했습니다.
프롬프트 꼼꼼하게 할바에 그냥 내가 수정하는게 더 빠르겠다.. 였고.
문법오류는 검증기 없이 AI 자체적인 추론으로 잡기는 어려웠습니다.
그래서 LLM 단독으로는 힘들것 같아서..
VSCODE 내에 cline 에이전트를 두고 해당 에이전트에서 llm 모델군을 선택하여 셋팅했고
실행 -> 문법오류 -> 로그작성 -> 해당로그를 보고 코드수정 -> 문법오류가 없을때까지 반복.
이렇게 하니 5시간동인 지들끼리 싸우면서 끝없는 반복과 수정을 하더라구요..
아직까지는 개인 llm 활용은 무리.. 인것 같습니다.
프롬프트를 명확하게 하면 좀더 단축시킬수 있지만.. 그거 할바에 그냥 내가 수정하는게 더 빠르니..
그냥 200 주고 일주일 체험하고 다시 당근행으로 해야할것 같네요..
로컬 LLM 을 한번 구현해볼까?? 라는 호기심으로 일주일 삽질을 했습니다.
PC사양
라이젠 7500f
64g 램
rtx 4070 ti super 16g vram
ssd 1tb
이더넷 1g bit
os 는 리눅스 24.04
llm 정보
Ollama
Auto-approve 비활성화(파일 무단 수정 방지)
응답 언어: 한국어 고정 설정 완료
모델 상태
qwen2.5-coder:32b - (128gb 정도되야 리프레시 없이 사용가능)
qwen2.5-coder:14b
llama3.1:8b (보조)
결론부터 말하자면 현재 웹AI 처럼 한글로 서로 주고받아서 커뮤니케이션 할수 없습니다.
좀더 하드웨어 스펙이 높아서 30b 40b 급 로컬 LLM 을 구동시키면 모르겠지만 저정도 스팩으로는 힘들었습니다.
특히 제일 실망했던게 추론 부분인데
20kb js 파일에 펑션이 대략 30개 정도 있는데
펑션명 앞에 adp_ 접두어를 붙여줘.
이렇게 단순하게 말해봤는데.
굉음을 내며 장장 3시간 동안 5번의 검수와 cpu 평군 사용량 80% 의 풀 로드를 거치더니
접두어를 붙이는데는 성공했는데 <script> 내부의 펑션에만 넣고
실제 실행하는 부분은 접두어를 넣지 않더군요.
좀더 상세하게
<script> 내부의 펑션함수명에 접두어 adp_ 를 넣어줘.
<html> 안에서 onclick 으로 실행하는 함수에 adp_ 접두어를 넣어줘.
이렇게 말했더니
이것도 총 3번의 검수를 거쳐서 1시간만에 모두 완벽하게 바꾸더라구요.
그래도 단순 치환작업에 시간이 너무 걸리다보니 실사용이 거의 불가능했습니다.
프롬프트 꼼꼼하게 할바에 그냥 내가 수정하는게 더 빠르겠다.. 였고.
문법오류는 검증기 없이 AI 자체적인 추론으로 잡기는 어려웠습니다.
그래서 LLM 단독으로는 힘들것 같아서..
VSCODE 내에 cline 에이전트를 두고 해당 에이전트에서 llm 모델군을 선택하여 셋팅했고
실행 -> 문법오류 -> 로그작성 -> 해당로그를 보고 코드수정 -> 문법오류가 없을때까지 반복.
이렇게 하니 5시간동인 지들끼리 싸우면서 끝없는 반복과 수정을 하더라구요..
아직까지는 개인 llm 활용은 무리.. 인것 같습니다.
프롬프트를 명확하게 하면 좀더 단축시킬수 있지만.. 그거 할바에 그냥 내가 수정하는게 더 빠르니..
그냥 200 주고 일주일 체험하고 다시 당근행으로 해야할것 같네요..
|
댓글을 작성하시려면 로그인이 필요합니다.
댓글 8개
이상하게 로컬llm은 cline 이나 roocode에 연결하면 엄청나게 오래걸리더라구요.
생각중이 너무 많이 나와요 ㅠㅠ
cline 내부 권한으로는 서버에 접근할수 없으니 전체 채크만 3회 이상 진행하더라구요..
그렇게 느리게 나온 결과도 장담할수 없는 수준이였습니다..
보안이나 서버접근 이런걸 외부 AI 에게 접속권한을 주면 해킹의 우려도 있어서요.
그래서 한번 구축해본거였습니다.
결론 : RTX 5090 급 아니면 그냥 GPT 나 다른 AI 쓰는게 낫다.