RTX3060 12G復產兩個月 漲比5050更貴且慢
推 kimisawa: AI那段不對，12G可以放比5050大的模型 08/26 10:16這句話只對30%
當你模型大到8G塞不下，12G以下可以塞的情況是成立
但是超過12G的時候又反過來，
另外8G塞的下的輕模型也是5050快得多
而且3060不支援FP8 E4M3/E4M2還有INT 4，遇到這種量化模型會被5050按在地上擦..推 GenShoku: 這張是買來多卡AI的，你用遊戲性能來看肯定不值 08/26 10:23推 sleep30hours: 有什麼模型是剛好8GB塞不下而12GB塞得下的嗎? 08/26 10:44→ sleep30hours: 這年頭不就三個等級:8~9B以下，30B左右，數百B以上 08/26 10:44→ sleep30hours: 以前還有不少12B~14B的量化後8GB很緊繃，但現在也只 08/26 10:45推 laeva75: Gemma 12B 08/26 10:46→ sleep30hours: 剩一個量化的Gemma4 12B僅此一家了。 08/26 10:46→ laeva75: 單純跑minimax h3擴容買DRAM比買3060划算簡單.... 08/26 10:48→ laeva75: VRAM大一點同一模型可以用更高精度的量化減少能力損失 08/26 10:50→ gbcg9725: 9060xt 跑llm沒壓力，minimax所需時間大概是n卡6倍 08/26 10:55→ gbcg9725: 所以我也看不懂在3060在貴什麼 08/26 10:56→ gbcg9725: 實測llama-cpp用rocm版跟4070速度差不多 08/26 10:57→ gbcg9725: 我是指9060xt 16g 08/26 10:58→ tsunamimk2: 光12G vram就無敵了 08/26 11:14→ tsunamimk2: 問題不只是權重本身 context長度差非常多 08/26 11:15→ kimisawa: 3060貴因為被拿來AI多卡啊 08/26 11:15→ tsunamimk2: 很多benchmark只看模型是不準的 08/26 11:15→ tsunamimk2: 3060貴什麼喔 cuda啊 08/26 11:16→ kimisawa: 你手上有一張24G N卡，插一張3060變成36G不香嗎？ 08/26 11:16→ tsunamimk2: 還有可以裝很多張 08/26 11:16→ kimisawa: 或是一張16G的 再插一張3060變成30G 08/26 11:17→ kimisawa: 50XX+3060雖然說頻寬損失一些但便宜就可以增加大VRAM 08/26 11:18
這邊就有實測了 5060TI 16G 加插一張 3060 12G
用Gemma3 27B
5060TI 16G x 2 = 22 tok/s
5060TI 16G單卡 + CPU offload = 5 tok/s
5060TI+3060 可以跑到 17 tok/s，價格卻低很多
國外很多都把3060拿來插多卡，所以這波才漲上去
用一張50系當主輸出處理FP8 E4M3/E4M2/INT 4這些，然後offload到 3060去
你可以3060插四張弄個48G，也才1500鎂
所以3060在國外才會被炒，因為太萬用了
--