9月30日，DeepSeek發(fā)新版本了。

大家都注意到了吧，這個3.2-Exp跟上一版本（v3.1-terminus）相比，模型跑分不但不升，反而略有下降。

但是卻擋不住一眾MaaS服務(wù)商第一時間把這個模型上架了。

為啥，只因這個版本可以讓推理成本暴降！

降成本的核心奧秘就是該版本采用了「DeepSeek 稀疏注意力機制」。

下面這個圖很直觀，3.1版本成本隨著token長度是線性上升的，而3.2版則是陡升之后迅速折平，成本隨著token長度變化極小。

尤其Decode，幾乎是平的。

憑借這種巨大的成本優(yōu)化，DeepSeek也有了降價的底氣，官方API價格直接砍半。

那么，這個叫做“稀疏注意力機制”的成本優(yōu)化利器，究竟是個啥？

1分鐘帶你簡單了解「稀疏注意力機制」

在Transformer架構(gòu)的大模型世界里，「注意力機制」是最重要的一環(huán)。

它就像人類大腦的“專注力”，決了定模型在處理一段話時，應(yīng)該把腦力花在哪兒。

1、什么是注意力機制？

想象一下你是個售前，正在開Q3季度總結(jié)會，這場會有30個人發(fā)言（老板、產(chǎn)品經(jīng)理、售前、研發(fā)、銷售），會議討論的核心議題是——如何提升Q4業(yè)績。

但有些人可能是AD/HD患者，他沒法專注在會議任務(wù)上，容易被外界刺激分散注意力，比如開著會，刷到微信群里有人閑聊，他也要回一句。

甚至看到窗外有美女走過，他就心馳神往，這就是缺乏”注意力“。

而正常人會全程關(guān)注所有與會者的發(fā)言，并找到跟會議主題相關(guān)的重點內(nèi)容，寫出會議總結(jié)，這就是“注意力”。

在Transformer大模型里，注意力機制也是類似的：每一個token在處理時都會去“關(guān)注”上下文中所有其他詞，計算它們之間的關(guān)系，從而理解語義、推斷含義。

2、傳統(tǒng)注意力機制：人人都要聽，太費力！

傳統(tǒng)的注意力機制屬于 “全量注意力（Dense Attention）”。

就像開會時，必須認真聽每個人說的話，哪怕是坐在角落里點外賣的小王、正在咬耳朵閑聊的小李和小張，你也要分析他的話對你有沒有用。

注意力是夠集中了，但是太累、太慢、太費神。

放到大模型推理上，就意味著更多的算力消耗。

稀疏注意力：只聽重要的人！

稀疏注意力（Sparse Attention）就機靈多了：

它讓模型不再對所有詞都關(guān)注，而是有選擇地跳過不重要的詞。

就好比開會的時候，你不需要記住每個人的每句話，于是你會有選擇地聽：重點關(guān)注老板、產(chǎn)品經(jīng)理和研發(fā)骨干說的話，至于銷售的畫餅?zāi)阃耆魂P(guān)注。

這樣一來↓

不用每個詞都計算關(guān)系，計算量大幅減少；顯存、算力消耗顯著降低；

效率自然就飆升。

DeepSeek的獨家妙招：更聰明地「選人」

稀疏注意力機制不是DeepSeek首創(chuàng)的，但是很多早期的稀疏注意力方法只是盲目地跳過一部分計算，可能會漏掉重要信息。

就好比開會的時候，售前就是對銷售們有成見，不管銷售的發(fā)言有沒有道理，一律”左耳進右耳出“，結(jié)果，可能錯失了一個大單。

而DeepSeek這次的DSA就比較聰明了：它使用特殊的策略，讓模型自己學會哪些詞值得關(guān)注、哪些詞可以忽略。

比如：

對長文本，優(yōu)先關(guān)注關(guān)鍵詞、句首、句尾等信息密集的部分；
對結(jié)構(gòu)化數(shù)據(jù)，優(yōu)先關(guān)注核心字段；
對代碼、推理等任務(wù)，則關(guān)注邏輯節(jié)點之間的聯(lián)系。

好比售前開會，聽銷售發(fā)言時，優(yōu)先關(guān)注那些“歷史業(yè)績好的、“有個方案明天就要”次數(shù)少的、“客戶已搞定”兌現(xiàn)多的。

這種「有策略的稀疏」，讓模型既保留了理解力，又大大減少了無用計算。

正因為跳過了大量不必要的計算，DSA帶來了三個立竿見影的好處：

訓練更快：少算90%的“廢話”，大模型可以更快迭代；

推理更便宜：同樣的GPU，能跑更多請求、處理更長文本；

可擴展性更強：支持更長的上下文、更大的模型規(guī)模。

所以，優(yōu)秀的售前，用“稀疏注意力機制”支持一部分靠譜銷售，既能高效產(chǎn)出方案、完成技術(shù)支持工作，又不會過得很卷，還少背鍋。

but，這種機制，對大模型有效，但對售前來講，可操作性就有限了，就在昨天，還有一個售前兄弟吐槽說：

現(xiàn)在因為項目少，售前的話語權(quán)進一步被削弱了

公司要求→銷售拿過來的機會，售前不能說不靠譜、研發(fā)不能說不靠譜，如果要說不靠譜、拒絕銷售，必須開會討論……

好吧，大家都加油。

關(guān)于DeepSeek稀疏注意力機制的詳細正經(jīng)解讀，大家可以去看論文↓

https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf

最后祝?大家雙節(jié)快樂！