라마 3.1 405B 에 맞는 컴퓨터 스펙? 정보
라마 3.1 405B 에 맞는 컴퓨터 스펙?
본문
원례 데탑을 한 1년 더 쓸 계획이었는데 이번 메타 라마 3.1 발표로 업그레이드가 아닌 새로운 대탑 하나가 필요하다 싶어 찾아보고 있습니다.
라마 3.1 405B(파라미터가 4천 50억개)를 부드럽게 돌릴만한 컴퓨터를 조립을 위한 하드웨어 구성을 알고 싶은데 관련 전문가님이 계실까요?
참 대략적 가격도요~!
1
댓글 12개
https://youtu.be/Cd0f1DermRo?si=VnmZXg7MySgr7bBu 여기 보니까 팔천만원이라는데요? ㅠㅠ
@쪼각조각 헉...ㅠㅠ
Max 1천 까지는 생각 놀라지 않기로 했는데 8천이면...음...일단 이혼 도장 찍고....ㅠㅠ
@Gothrock 아니... 뭘 하시려고요 ㅠㅠ 혹시 스카이넷이라도 만드시는 건가요? ㅠㅠ
@쪼각조각 특정업무에 특화된 AI를 따로 만들고 싶은데 아직은 힘든 이야기 같네요.
8비트 양자화 기술이 들어갔다던 405B !!!
8B 버전만 해도 라즈베리 파이에서 돌아간다는 이야기를 듣고 신기해 했었는데
70B 넘어가면서 부터는 입이 떡!
405B은 입이 떠~억떡!!
이거 메모리가 810GB 정도를 필요할 건데...
이런 걸 개인용으로 쓰시려는 건가요? 부럽습니다. ㅠ.ㅠ
@키스 어제 오늘 제 컴에 돌리다 보니 신기방기해서 업무에 적용해 볼까....했는데 가격이 무려 8천..이라네요. 그냥 8b를 두대에 담아 연결해서 해봐야겠습니다. 이 경우 현존 gpt보다 더 성능이 좋다네요.
@Gothrock 외국 얘들이 말하는건 다 영어기준입니다.
한국어까지 잘 하는건 llama3.1 다음 버전이나, 언어별로 모델링한걸 다시 만들어줘야 돼요.
@솔그루 8b도 한글지원이 힘들군요. 저도 이렇게 힘든데 라마는 일반인 사용이 아직은 힘들어보이네요.
최소한으로 대충 3080~3090 그래픽카드 8장이 필요합니다...(아마도요?) vram이 230기가 넘게 필요하다던데
@Tak2 라마는 아직 시기상조같습니다.
스카이넷이 1개가 아니라 몇백개였군요.
@techstar 저는 아직 공유기 수준입니다.
