為什麼開源模型對硬體的要求可以降低

本宅理解是這樣:

1. 模型越大越聰明 模型越小運行越快

但隨著技術進步 小模型也會變聰明

2. "量化"是指把大模型刪減為小模型 仍盡量維持模型智能的技術

量化技術也不斷改善

3. 這兩年有一個新技術叫MOE 他原始的意義

其實主要是為了讓大模型運算加速 (讓大模型跟小模型一樣快)

但因為其特性(稀疏) 讓很多採用MOE架構的模型

在"量化"時也可以更保留模型智能 (這段關聯我也不是太懂)

所以結果小模型更快 效果更好

4. 但量化其實也會讓模型運行變慢（有點像是要unzip)

5. 然後其實是開源和閉源模型一起進步

只是我們一般用戶只能看到閉源模型尺寸變小

發現首篇好像沒點 補一下

所以結論就是像2樓說的 以後每個人手機都可以養chobits

--