Re: [標的] AAPL M5 Ultra對企業端產生的影響 多
近期mac的模型也算有突破
自從mtplx (MTP技術移植到MAC)出來後
本機跑
m4_max_36g
Qwen 3.6 35BA3B_6 bit(30g)_
prefill :860, TG:90~100 token
m5_pro_64g
Qwen 3.6 35BA3B_6 bit(30g)_
prefill :400~500, TG:80~90 token
Qweb 3.8 27b_8bit
prefill : 150 ,TG:25~30 token
整個幾乎到可以幹活的階段,實際測試了一週也沒什麼大問題
裝了harness做tool calling,對財務報表準度也非常夠
一台m5 max 輕度大概3~5人小型辦公室使用沒什麼問題
打NV 80系列以下沒什麼問題,對5080,5090的優勢大概就是容易養吧
5090需要一堆環境設備支持,小辦公室可能做不到
我倒覺得Apple是有錢的個人玩家才是大宗
企業應對需求RTX pro 6000才是正解
Mac Studio最大最大的優勢是
安靜與省電
除非有人想在家裡搞個熱烘烘
風扇聲大的要死的機器
企業來說推論速度要夠快
甚至是可以應付多人推論使用
以Mac的速度處理不來
企業需求是重複性且量大不出錯的需求
譬如大量讀取PDF文件
大量讀取圖片影片
消化速度遠低於業務進來速度
這就達不到企業要的效果
而加上資安或法規問題
更是沒辦法使用雲端API的狀況
本地高速推論對企業來說就是硬需求
Mac的速度遠遠無法支撐
※ 引述《seemoon2000 (no cash)》之銘言：
: 標的：(AAPL)
: 分類：多 (請選擇並刪除無關分類)
: 分析/正文：
: 蘋果今天公布了M5 Ultra和M6
: M5 Ultra試點了一下
: M5 Ultra+256gb ram+8TB硬碟 50.8萬台幣
: 乍看之下這價格好像不便宜
: 有在玩本地LLM的都會知道
: 現在瓶頸是記憶體頻寬，顯卡算力在本地端很多是過剩的
: 我比較一下現在主流的產品
: 記憶體頻寬:
: Apple M5 Ultra(完整的一台Mac電腦)
: 售價50萬 統一記憶體256GB:1200GB/s
: RTX 5090
: 市價17萬 Vram32GB:1792GB/s
: RTX PRO 6000:(純顯卡)
: 市價57萬 Vram96GB:1792GB/s
: RTX5080:純顯卡)
: 市價5.2萬 Vram16GB:960GB/s
: RTX5070ti:純顯卡)
: 市價4.9萬 Vram16GB:896GB/s
: NVIDIA DGX:(完整的一台Linux電腦)
: 市價15~20萬 統一記憶體128GB:273GB/s
: AMD Ryzen AI Max+ 395:(完整的一台Win/Linux電腦)
: 市價9萬 統一記憶體128GB:256GB/s
: 這陣子顯卡和DGX漲價，除了記憶體價格上漲，我個人觀點
: 主要也有一部分小型企業有開始買多卡佈署較低成本的方案
: 但這波上面所有價位段的競品，"沒有一個"能跟M5 Ultra比較，唯一稍微能比的只有RT X
: PRO 6000，記憶體頻寬更高，但96GBVram也輸M5 Ultra的256/512GB，而且M5是整台電腦
: ，賣得還比純顯卡PRO 6000便宜
: 至於這陣子買到溢價DGX，基本上現在可以安慰自己說
: 生圖生影片用Cuda跑很快，很開心
: M5 Ultra這個方案，應該會有不少中型企業開始採用
: 因為可以直接安裝Deepseek v4 flash或Qwen 3.8 27b，複雜高級任務在調再API模型: 這些T2等級的本地模型，對要自己部屬的企業，實用性遠比Kimi K3高多了
: M5 Ultra加上Deepseek v4 flash和Qwen 3.8 27b就是現在完全破壞中型2B市場的組合。
: NV老黃現在不可能貿然放生DGX和RTX Pro用戶
: 等於在中型企業端的市場會變成無法競爭
: NV應該會開始努力把產品賣給模型公司。
: 進退場機制：
: 進場時機 最低305左右 退場時機 NV想出解方後
--