라마 ai와 연동
라마 ai를 보다 쉽게 다룰 수 있는 ollama라는 프로그램이 있는데 리눅스(우분투)에서 잘돌아 갑니다.
ollama와 그누보드를 연동하는 것은 어떨까요?
검색어 제안/단순 일치하는 검색어만 찾는 것이 아닌 ai를 활용한 관련 검색어 포함 검색 기능 등을 만들면 좋을 것 같아요. 그리고 이를 기반으로 각각의 ip에 컨텐츠 알고리즘을 형성하는 기능을 유료컨텐츠로 제공하면 좋을 것 같아요
|
댓글을 작성하시려면 로그인이 필요합니다.
댓글 1개
글 자체를 백터화시키고, 그거랑 맞는 추천 score를 알고리즘으로 구해야하는데 단순 llm 으로 생성이 가능할까요?
gpt api 사용해서 관련 검색어에 대한 추천 검색어를 캐싱혹은 디비에 저장해서 서빙하는게 더 싸게먹힐것같습니다.
라마 모델 작은거 서빙한다고가정했을때 일반 웹서버로는 tps 가 안나올거구요.