📌 PC_Shopping
💨 剛冒煙
Re: [菜單] 80K 超輕度AI+遊戲機 -本地佈署LLM的需求
▲ 1 推
▼ 0 噓
→ 8 回應
🔔 追這個瓜，別錯過後續
挑下面的關鍵字追蹤——只要 爆了、有後續 或 延燒，第一時間通知你
最近看很多人想玩本地LLM，稍微聊一下10萬預算顯卡怎麼組比較好
前提條件先設在部署 FP8 格式、體積較大的 27B 級稠密模型。基本上真要有
生產力的模型都大於這個起跑線，低於這個規模先不談。
十萬玩LLM 答案很明顯就只有統一記憶體架構阿..
128GB 統一記憶體架構的miniPC 現在大概就是十萬多
FP8 > Vulcan api> llama cpp 直接可以硬幹200B左右的模型 雖然速度大概會想睡覺
但是這個範圍有新千問這種密度超高的好模型 高智商的
真的DIY靈魂爆發 爆改一下散熱
(雖然大部分瓦數被鎖死根本拉不上去 但是可以變安靜一點 還是有點樂趣的)
這都是今年LLM的標準答案了 可是這個版很少人玩 可以參考一下
--