🍵 八卦
💨 剛冒煙
❓
16GB顯卡能跑的本地大模型到底實用否?
▲ 2 推
▼ 0 噓
→ 11 回應
🔔 追這個瓜，別錯過後續
挑下面的關鍵字追蹤——只要 爆了、有後續 或 延燒，第一時間通知你
我大約一年多前問過如果買M3 Ultra 96GB來跑本地大模型
被回答說洗洗睡，乖乖花錢訂閱雲端服務比較好
不過AI世界一個月如同一年，想要問問大家的意見
主要是我最近用 M5 16GB 載入 qwen 3.5 9B 模型，加上老外鄉民推薦的參數後
竟然可以分析數千行的 python code 再提出不錯的建議
但 MBA M5 跑起來一秒鐘只有 13 token ，真是等到天荒地老
請問板上的30CM AI專家們，如果我搞一張5系列16GB中階顯卡，加上撿來的3080 10GB兩個可以跑一個很不錯的模型了嗎?
我的用途是幫忙輔助撰寫單個 python 腳本，或是總結 5MB 之內的技術文件
--