컴조립에 관심있으신 분!!
이제 진짜 주문해야겠습니다.
서버 하드가 Full 되가고 있습니다.
400만원대 조립서버 부품 추천 부탁합니다.
처삼촌에게 투자 요청해뒀습니다.ㅋ
진화형 홈페이지가 3개 정도 돌아가야합니다.
데이터 2백만건되는 홈페이지 1개 있습니다.
하루에 천건정도 늘어납니다.
- CPU + GPU 모름.....ㅠㅠ
- 하드는 SSD 4TB + 백업 SATA 4TB 정도
- 램 64기가 정도
- LLM 한번 돌려보고 싶은 욕망이 있습니다.
이 정도면 H/W에 관심있는 분이라면 뚝딱 나오겠죠?
부탁드려요. 이것도 의뢰게시판에 가라고 하지는 않겠죠? ㅎ
|
댓글을 작성하시려면 로그인이 필요합니다.
댓글 11개
400만 원 예산에 웹 서비스 3개 + 200만 건 DB + 로컬 LLM 구동 환경이라면 일반 게이밍 데스크톱 부품으로 구성하는 준-워크스테이션급 조립 서버가 가장 가성비가 좋습니다.
LLM 구동의 병목은 그래픽카드 VRAM 용량인데, 전체 예산 400만 원 선에서는 VRAM 16GB의 RTX 4080 SUPER가 현실적인 최상위 선택지입니다.
CPU: AMD 라이젠 9 7900 (12코어/24스레드, TDP 65W 저발열) 또는 9900X
상시 켜두는 서버인 만큼 전력과 발열 관리가 뛰어난 65W급 다중 코어가 유리합니다.
쿨러: 대장급 듀얼타워 공랭 (Thermalright Peerless Assassin 120 SE 또는 Frost Commander 140)
서버용은 장기 구동 시 누수/펌프 고장 리스크가 없는 대형 공랭 쿨러를 추천합니다.
메인보드: ASUS TUF Gaming B650-PLUS 또는 ASRock B650 스틸레전드 WiFi
RAM: DDR5-5600 64GB (32GB x 2장)
슬롯 2개를 비워두어 추후 128GB 확장 여지를 확보합니다.
GPU: NVIDIA GeForce RTX 4080 SUPER 16GB
Ollama나 vLLM 환경에서 Llama 3 8B, Solar, Qwen 등 7B~14B급 양자화 모델(4bit/8bit)을 상시 서빙하기에 가장 안정적인 체급입니다.
메인 SSD: 4TB M.2 NVMe (삼성전자 990 PRO 4TB 또는 WD BLACK SN850X 4TB)
200만 건 DB의 인덱스 조회 및 I/O 병목 해소를 위해 DRAM 탑재 고성능 NVMe가 필수입니다.
백업 HDD: 4TB SATA3 CMR 방식 NAS 하드 (WD Red Plus 4TB 또는 Seagate IronWolf 4TB)
일반 데스크톱 하드는 SMR 방식이 많아 백업 쓰기 지연이 발생할 수 있으니 반드시 CMR 제품으로 선택하세요.
파워: 1000W 80PLUS Gold 풀모듈러 (시소닉 NEW FOCUS GX-1000, FSP HYDRO G PRO 1000W 등)
케이스: 3.5인치 HDD 장착 공간과 통풍이 넉넉한 빅타워/미들타워 (브라보텍 스텔스/3100M 또는 Antec P20C)
참고사항
200만 건에 일 1,000건 증가는 RDBMS(MySQL, PostgreSQL) 기준으로는 가벼운 수준이라 NVMe SSD에 올리면 성능 문제는 전혀 없습니다.
웹 서비스와 LLM이 자원을 경합하지 않도록 Docker 등으로 CPU/메모리 할당(Cgroups)을 격리해 두는 것이 좋습니다.
----------------
저는 무슨 말인지 몰라서 GPT에게 물었더니 답해줬어요.
ㅋㅋㅋㅋㅋㅋㅋㅋ GPT에 빵 터졌습니다.
마무리 멘트가 없었으면 낭만푸우님을 하드웨어 박사로 칭할뻔 했네요..ㅎㅎ
저도 물어봤죠? 그런데 가격도 터무니 없고 믿음이 안가서 여기로 왔어요.
대한민국 컴퓨터 시장에 최적화된 견적이 필요해서요.
쳇GPT는 외국견적가~~??
방금 다나X 찾아보니...
NVIDIA GeForce RTX 4080 SUPER 16GB : 4,007,280원
LLM은 일단 임대로 충분히 써보시고,
폐쇄망이 꼭 필요하다거나 상시 운용해야 하는 등
실제 필요가 생겼을 때 별도로 구상하시길 권합니다.
분리가 정답인줄 알면서도 비용이 만만 찮아서요.
조언 감사합니다.
3000 들여도 GPT4 정도 보다 약간 더 잘하는? 수준일거에요..
음..........GPU가격 내릴때를 기다려야겠군요.ㅎ.ㅎ
그날이 올지는 모르겠지만....
400만원대면 서버용으로는 괜찮겠죠?