眾所周知，過去一年間，大語言模型(LLM)領(lǐng)域經(jīng)歷了翻天覆地的變化...

回望2023年底，OpenAI的GPT-4還是一座難以逾越的高峰，其他AI實(shí)驗(yàn)室都在思考同一個(gè)問題：OpenAI究竟掌握了哪些獨(dú)特的技術(shù)秘密？
一年后的今天，形勢已發(fā)生根本性轉(zhuǎn)變，據(jù)Chatbot Arena排行榜顯示，原始版本的GPT-4（GPT-4-0314）已跌至第70位左右。目前，已有18家機(jī)構(gòu)的70個(gè)模型在性能上超越了這個(gè)曾經(jīng)的標(biāo)桿。

隨著2025年的嶄新啟航，是否意味著AI圈的一顆“王炸”已悄然“引爆”？

近日，國產(chǎn)大模型DeepSeek推出DeepSeek-V3，一個(gè)強(qiáng)大的混合專家（Mixture-of-Experts, MoE）語言模型，DeepSeek-V3擁有高達(dá)6710億的參數(shù)規(guī)模，但每次推理僅激活370億參數(shù)。
尤其，當(dāng)o1、Claude、Gemini和Llama 3等模型還在為數(shù)億美元的訓(xùn)練成本苦惱時(shí)， DeepSeek-V3用557.6萬美元的預(yù)算，在2048個(gè)H800 GPU集群上僅花費(fèi)3.7天/萬億tokens的訓(xùn)練時(shí)間，就達(dá)到了足以與它們比肩的性能 。

與此同時(shí)，DeepSeek-V3相比其他前沿大模型，性能卻足以比肩乃至更優(yōu)。

其中，這種設(shè)計(jì)使得模型在性能和效率上實(shí)現(xiàn)了完美平衡，在多項(xiàng)模型測評中，DeepSeek-V3不僅超越了Llama 3.1 405B等頂級開源模型，更在代碼、數(shù)學(xué)、長文本處理等領(lǐng)域，與GPT-4o和Claude 3.5 Sonnet等閉源模型分庭抗禮。
其次，通過671B的總參數(shù)量，在每個(gè)token激活37B參數(shù)的精準(zhǔn)控制下，DeepSeek-V3用14.8萬億高質(zhì)量多樣化token，構(gòu)建出了一個(gè)能夠超越所有開源模型，直逼GPT-4和Claude-3.5的AI巨人。
另外，在基礎(chǔ)理解能力測試中，DeepSeek-V3與Claude-3.5模型面對中文腦筋急轉(zhuǎn)彎“小明的媽媽有三個(gè)孩子”的問題，DeepSeek V3表現(xiàn)出色，不僅答對還進(jìn)行了自我驗(yàn)證。但在英文雙關(guān)語“April Fool's Day”的測試中則略顯不足，未能理解其中的語言巧思，而Claude3.5Sonnet則輕松應(yīng)對。

除此之外，DeepSeek自言，這得益于采用了Multi-head Latent Attention (MLA)和DeepSeek MoE架構(gòu)，實(shí)現(xiàn)了高效的推理和經(jīng)濟(jì)高效的訓(xùn)練。

Multi-head Latent Attention (MLA)：MLA 通過對注意力鍵和值進(jìn)行低秩聯(lián)合壓縮，減少了推理時(shí)的 KV 緩存，同時(shí)保持了與標(biāo)準(zhǔn)多頭注意力（MHA）相當(dāng)?shù)男阅堋?br/>

DeepSeekMoE：DeepSeekMoE 采用了更細(xì)粒度的專家分配策略，每個(gè) MoE 層包含 1 個(gè)共享專家和 256 個(gè)路由專家，每個(gè)令牌激活 8 個(gè)專家，確保了計(jì)算的高效性。

因此，在系統(tǒng)架構(gòu)層面，DeepSeek就使用了專家并行訓(xùn)練技術(shù)，通過將不同的專家模塊分配到不同的計(jì)算設(shè)備上同時(shí)進(jìn)行訓(xùn)練，提升了訓(xùn)練過程中的計(jì)算效率。

DeepSeek探索出一個(gè)精妙的解決策略，不等到最后再算總和，而是每加128個(gè)數(shù)就把當(dāng)前結(jié)果轉(zhuǎn)移到科學(xué)計(jì)算器上繼續(xù)計(jì)算。其過程不影響速度，此技術(shù)利用了H800 GPU的特點(diǎn)：就像有兩個(gè)收銀員，當(dāng)一個(gè)在結(jié)算購物籃的同時(shí)，另一個(gè)便可繼續(xù)掃描新商品。
這一策略使得模型訓(xùn)練速度大幅提升，畢竟核心計(jì)算能提升100%的速度，而顯存使用減少也非常明顯，并且模型最終的效果精度損失能做到小于0.25%，幾乎無損。

但由于DeepSeek“大方”開源，Open AI水靈靈地被網(wǎng)友cue進(jìn)行橫向?qū)Ρ?，有一種被push的支配感。

Scale AI創(chuàng)始人亞歷山大·王 (Alexander Wang)更表示，DeepSeek-V3帶來的辛酸教訓(xùn)是：當(dāng)美國休息時(shí)，中國在工作，以更低的成本、更快的速度迎頭趕上，變得更強(qiáng)。

簡言之，這種劇變深刻折射出AI領(lǐng)域的變革。在2023年，超越GPT-4還是一個(gè)值得載入史冊的重大突破，轉(zhuǎn)眼至2024年，這一成就已然演變?yōu)楹饬宽敿堿I模型的基準(zhǔn)線。

而剛到來的2025年，DeepSeek用行動(dòng)說明，中國大模型創(chuàng)業(yè)者，共同參與這場全球創(chuàng)新AI競賽中。

由于篇幅受限，本次的DeepSeek V3就先介紹這么多......

想了解更多半導(dǎo)體行業(yè)動(dòng)態(tài)，請您持續(xù)關(guān)注我們。

奇普樂將在每周，不定時(shí)更新~

最后的最后，借由彼得·德魯克的一句名言：

預(yù)測未來的最好方法就是創(chuàng)造未來。

愿每一位半導(dǎo)體從業(yè)者可以——

化危為機(jī)，開創(chuàng)未來！