Kimi算力告急,暫停新用戶訂閱
Dean Ball:他在美國白宮的AI決策圈有很大的影響力.但本質上他就是歷史學士,其實沒有任何的技術底與理工背景,目前剛去歐噴醬策略部門。
因為是歷史系,我們把底下的內容換句話說
- 這玩意兒的性能在寫程式上幾乎和Q1最好的模型不相上下
- 不認為這樣的結果可以單純用蒸餾來解釋
- 但這東西非常的消耗Token,他認為實際運作上成本比預期高很多
- 很訝異中國政府會同意這種優秀的開源模型,他認為75%是無知25%是沒算力
很訝異中國不想賺錢,開源這麼好的模型,75%無知不知道該怎麼賺錢25%沒算力賺錢
- 另一個狀況就是中國出口積極策略就是擾亂市場,因為沒人會為中國模型付錢
來打壞我們歐噴醬市場,因為大家都會用中國模型來自己賺錢(因為開源)
- 開放權重模型從他的觀點來看會影響整個AI infra的CAPEX減緩
原本只有我們幾個巨頭要AI Infra,你現在開源大家都搞,我們就沒資源可以用了
- 開放權重模型會給AI產業帶來更多不確定性
閉源權重會帶給AI產業很多確定性,因為只有幾個巨頭能搞,其他人不行
- 開放權重模型非常的共產主義,讓AI走向公共財由國家提供
閉源權重非常資本主義,讓AI走向私人財團化
- 美國應該開始主導某種監管機制去抑制這些開放權重的開源模型
美國應該要限制大家不能用中國的開源模型,因為會打壞歐噴醬的上市計畫
其實開源權重與模型這點一開始是Meta開始的,只是後來落後太多,現在都是中國在做開源,中國大廠的決策也很清楚,不開源沒辦法激活各種需求應用人才培養等,美國這幾個大廠為了維持自身優勢,只能持續封閉。
然後關於蒸餾,其實這也是大家通用的技術之一,但目前K3版本的很多狀況是比Fable與sol來的更好,更別說這幾個模型也是最近才上線,因此單純用蒸餾無法解釋。
更多的是用更好的架構跟更好的算法來訓練模型優化架構,在資料層面其實在大廠上應該差不多了,網路資源能挖的資料都挖完了。
個人是認為開源模型會增快在各領域的開發速度,已經將開源模型蒸餾成更小更快的模型,所以在前期CAPEX上,可能就會是原本幾個巨頭再投入,改成更多的公司會投入,因為很多服務不在是自己無法掌握核心,更長遠來看,NV的成長會更高,以及帶動更多的邊緣計算硬體
。
--
那片有座高塔哭著朝北方奔去的天空,是我此刻片尋不著的風景
--