ㅎㅎ 고사양의 모델을 다운받아서 돌려보니

메모리가 장난 없네요 ㅎㅎ

48기가 메모리 풀로 쓰고 스왑되면서 엄청나게 느려지네요^^

안타깝게도 맥에서는 GPU 가 잘 동작하지 않아 CPU 로만 돌아가네요 ㅋㅋㅋ

역시 장비빨이 답입니다 ㅋㅋ

@미니님a 네 ㅋㅋ

떠서 한번 시도해봤는데

실제 사용해보니 ㅎㅎ 그냥 돈주고 써야 겠네요 ㅎㅎ

이리저리 타협해서 14b 모델로 사용해 보았는데

리팩토링을 해보라고 한페이지 짜리 코드를 주니

로그인 버튼 하나만 덜렁 놔두고 그냥 다 지워버리네요

이건 뭐 바보 수준이네요 ㅎㅎㅎ

돈주고 써야겠다는 생각만 듭니다 ㅎㅎ

DeepSeek은 써보니 거의 못쓰는 수준이고
그나마 OpenAI에서 공개한 Phi4 모델이 쓸만하네요

Phi4 는 채감 결과 GPT-4 정도 수준인것 같습니다.
한 1년전 AI 수준 정도

jetbrains 에디터와 통합하여 사용해본 결과 꽤 괜찮은 결과가 나오네요

최신 모델 정도로 완벽하게 분석하고 리팩토링 해 주진 않지만

어느정도 잘 분석은 해 주네요^^

VSCode는 에디터 직접 수정 지원이 될지 모르겠지만

jetbrains 에디터는 AI 가 직접 수정해주진 못하네요

아마 jetbrains 에서 제공하는 AI Assistant 때문인듯 보입니다.

jetbrains에서 제공하는걸 얼마전에 써봤는데 완전 신세계 이긴 했습니다.

에디터에 코드를 바로 수정해주고 수정 미리보기 하여 컨펌하면 바로 적용 이런식이었거든요 ㅎㅎ

자기들 제품 팔기위해서 막아놓은것 같은 느낌?? ㅎㅎ

AI 모델만  코딩용으로 잘 만들어서 적용하면 코딩 어시스턴트로서 무료로 사용하기에는 꽤 괜찮을것 같네요

codellama:34b 모델을 다운받고 있습니다.

이게 코드용이라 괜찮을것 같네요

VSCode에서는 직접 수정도 해주는것 같아

에디터를 갈아 타는것도 고려해봐야 겠네요 ㅋㅋ

codellama 는 메모리가 많이 필요하네요 ㅎㅎ

답변은 좀 더 괜찮은것 같습니다.

Nvidia 그래픽카드에 메모리 100기가 정도 PC 세팅해서 사용하면 잘 돌아 갈것 같은데..
그 돈이면 AI 보조도구 결제해서 사용해도 30년은 쓸것 같네요 ㅎㅎ

@Gothrock 체감상 메모리는 무조건 넉넉해야 합니다.

메모리가 부족하면 부족한 부분을 자꾸 하드와 스왑하면서 딜레이 시간이 어마무시하게 걸립니다.

128기가 나 256기가 정도 세팅되면 넉넉할것 같습니다.

모델 파일 용량 기준 2배 정도는 확보해야 합니다.

codellama:34b 모델이 20기가 인데

48기가 메모리에서 메모리 풀로 사용하면서 버벅이네요

그래픽 카드는 NVidia 4천번대도 잘 돌아갈것 같아요

클라우드에서 사용하는게 월 2~3만원씩 받는 이유가 있네요 ㅎㅎ

저정도만 세팅해도 PC 1대당 천만원은 세팅해야 될것 같네요

@Gothrock 조만간 양자 컴퓨팅 시대가 열리면

좀 더 컴팩트하고 저 비용의 쓸만한 AI 가 나올거라 생각이 듭니다

@Tak2 제 맥북도 생전 팬이 안돌다가 돌기 시작하더라구요 ㅋㅋ