洋垃圾低價雙卡AI主機跑Qwen3.6笑能分享
2026年堪稱 迴光返照 文藝復興 的重大紀元
只因為AI讓大家都快買不起新電腦
導致什麼奇形怪狀的舊3C零件都能被挖出來重新上架還賣得嚇嚇叫
俗話說 AI主機沒撇步 鈔票砸下去就有
在這個砸大錢就有高效能的時代
來分享一下買不起新零件的窮人AI機笑能供各位板友參考
本次用前陣子特價的 RX9060XT 16G 搭配舊硬體進行測試
********固定設備********
顯示卡: 2張 RX9060XT 16G
LLM: qwen3.6:27b-q4_K_M
Docker: Ollama
KV-Cache量化: q_8
Context Window: 64K
Parallelism: Pipeline Parallelism 流水線並行
********設備1********
CPU: E5-2673 V3
RAM: DDR3-1600L 32GB Dual-CH
MB: HUANANZHI X99 CD3
NAME ID SIZE PROCESSOR CONTEXT UNTIL qwen3.6:27b-q4_K_M a50eda8ed977 19 GB 100% GPU 65536 Forever total duration: 1m14.1222733s
load duration: 530.1327ms
prompt eval count: 12 token(s)
prompt eval duration: 368.881ms
prompt eval rate: 32.53 tokens/s
eval count: 965 token(s)
eval duration: 1m13.191813s
eval rate: 13.18 tokens/s
********比較設備2********
CPU: E5-2690 V4
RAM: DDR4-2400 32GB Quad-CH
MB: 白牌山寨 X99
NAME ID SIZE PROCESSOR CONTEXT UNTIL qwen3.6:27b-q4_K_M a50eda8ed977 19 GB 100% GPU 65536 Forever total duration: 1m26.1562391s
load duration: 463.7373ms
prompt eval count: 12 token(s)
prompt eval duration: 349.873ms
prompt eval rate: 34.30 tokens/s
eval count: 1128 token(s)
eval duration: 1m25.335511s
eval rate: 13.22 tokens/s
********比較設備3********
CPU: R9-5900X
RAM: DDR4-3200 64GB Dual-CH
MB: ASRock B550M-ITX/AC + PCI-E通道分割設備
NAME ID SIZE PROCESSOR CONTEXT UNTIL qwen3.6:27b-q4_K_M a50eda8ed977 19 GB 100% GPU 65536 Forever total duration: 41.5421257s
load duration: 225.8911ms
prompt eval count: 12 token(s)
prompt eval duration: 323.544ms
prompt eval rate: 37.09 tokens/s
eval count: 565 token(s)
eval duration: 40.97805s
eval rate: 13.79 tokens/s
********小結********
https://www.reddit.com/r/LocalLLM/comments/1sz… [ R9-7950X, 64GB DDR5, RX9060XT 16G, ROCm, llama.cpp ]跑qwen3.6:27b-q3_K_S, 12288 context, Full GPU offload, KV-Cache q_4, 14.8GB VRAM Used
<<速度大概是 14 tok/s>>
本次測試用 [ E5-2673V3, 32GB DDR3, RX9060XT 16G X2, Ollama(llama.cpp核心)]跑qwen3.6:27b-q4_K_M, 65536 context, Full GPU offload, KV-Cache q_8, 19GB VRAM Used
<<速度大概是 13~14 tok/s>>
<比較點>
1.跑q4_K_M理論上較q3_K_S慢
2.跑64K q8-KV理論上較12K q4-KV慢
3.雙卡跑Pipeline Parallelism (流水線並行)只會比單卡慢不會更快
令人欣慰的是實際跑出來速度沒有慢很多。
但對於RX9060XT這種記憶體頻寬只有320.0 GB/s的顯示卡來說，在Full GPU offload情況下，換好的CPU或記憶體效能提升似乎有限?
********個人心得********
雖然13~14 tok/s的"笑能"對5070Ti或是5090的卡來說就是個笑話，
但用手邊現有的DDR3記憶體&舊SSD，整套設備大概花1015出頭USD(國內買會更便宜)，且9成預算的零件是能直接挪用到其他電腦，
就能有一台有32G VRAM的AI主機，算是頗划算的了，雖然速度真的有點慢就是了~
CPU: 15 USD
MB: 65 USD
RAM: 0 (現有)
GPU: 850 USD
SSD: 0 (現有)
POWER: 35 USD
CASE: 50 USD
Total: 1015 USD
分享給手邊已有大容量舊記憶體、不想花大錢又想玩AI的板友~
********預算充足能買整台DDR5新電腦的請不要用這種零件折磨自己********
****本篇內容僅為個人測試心得，若論點或觀點有誤還請各位多幫忙指正或分享資訊****
順便分享一下本月剛發布的 LM Studio Bionic 引擎，
用這台設備已能在地端用開源權重模型直接運行自動化AI任務，
它能自己調用工具讀取檔案，分析後自動產製一份Word報告文件(雖然整個要花12分鐘有點慢就是了)。
感謝您的收看~
--