블로그 글을 보던 도중 ChatGPT4o-mini급의 llama3.1 70B api를 무료로 사용할 수 있다는 글이 있어 공유합니다.

블로그:

https://vtoon.net/blog/라즈베리파이5에-라마3-1-로-채팅-서버-구현하기-ollama-3-1-70b/

api 발급:

https://console.groq.com/keys

참고로 groq를 아실지 잘 모르겠으나 1년 전? 엔비디아인가 오픈ai에서 퇴사하고 나온 사람이 만든 ai용 하드웨어 회사입니다.

특징이 그래픽카드 같은 부품이 기존의 방식은 처리하다보니 여기까지 컴퓨팅 파워가 필요하네요~ 하는 것이었다면, 그록의 방식은 처음부터 필요한 컴퓨팅 파워를 계산해서 딱딱 떨어지게 계산한다고 합니다. 속도도 기존 그래픽카드에 비해서 아주 빠르다고 하네요.

(기억나는 사항을 적은것이라 부정확할 수도 있습니다)