【文/觀察者網(wǎng) 熊超然】1月12日晚間，中國人工智能（AI）初創(chuàng)公司DeepSeek創(chuàng)始人梁文鋒與北京大學(xué)研究人員共同署名發(fā)表了一篇技術(shù)論文，提出了一種新的模型訓(xùn)練技術(shù)。他們表示，該技術(shù)可以通過繞過圖形處理單元（GPU）內(nèi)存限制，實現(xiàn)“參數(shù)的積極擴展”。

香港《南華早報》1月13日報道指出，此舉凸顯了DeepSeek在算力相對美國行業(yè)領(lǐng)先企業(yè)存在差距的情況下，持續(xù)專注于最大限度地提高成本效率。與此同時，外界猜測該公司將在今年春節(jié)之前發(fā)布一款重要的新模型。

報道稱，這篇技術(shù)含量極高的論文將受到中國和美國業(yè)內(nèi)人士的廣泛關(guān)注，他們希望從中了解DeepSeek所取得的最新進展。在過去一年中，DeepSeek一直是中國AI領(lǐng)域創(chuàng)新的典范。

DeepSeek與北京大學(xué)研究人員合作發(fā)表論文，梁文鋒在列論文截圖

據(jù)報道，在這篇題為《基于可擴展查找的條件記憶：大語言模型稀疏性的新維度》（Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models）的最新論文中，介紹了一種名為“Engram”（記憶痕跡）的“條件記憶”（conditional memory）技術(shù)。

該技術(shù)用以解決擴大AI模型規(guī)模時的一個關(guān)鍵瓶頸——GPU高帶寬內(nèi)存（HBM）容量有限的問題。

現(xiàn)有的大型語言模型（LLM）通過計算來檢索基礎(chǔ)信息，而這一過程需要大量的計算能力。然而，研究人員表示，這種方式浪費了寶貴的“序列深度”（sequential depth），這些“序列深度”本可以被分配用于更高層次推理的瑣碎操作。

《南華早報》指出，HBM是中國在AI硬件方面與美國之間最大的差距之一。韓國半導(dǎo)體行業(yè)分析機構(gòu)SemiAnalysis的分析師Ray Wang表示，盡管近年來取得了穩(wěn)步進展，但中國存儲芯片巨頭長鑫存儲（CXMT）仍然比韓國的三星電子和SK海力士以及美國的美光科技等行業(yè)領(lǐng)軍者落后數(shù)年。

在論文中，DeepSeek和北京大學(xué)的研究人員表示，通過將計算與存儲“解耦”，Engram可以讓模型更高效地“查找”這些基礎(chǔ)信息。

他們提到的新技術(shù)，還能夠提升模型在處理長上下文（即較長輸入）時的效率，而這正是將AI聊天機器人轉(zhuǎn)變?yōu)楝F(xiàn)實世界中有用的AI代理所面臨的最大挑戰(zhàn)之一。

研究人員在一個擁有270億個參數(shù)的模型中驗證了這一技術(shù)，發(fā)現(xiàn)它使主要行業(yè)基準測試的表現(xiàn)提升了幾個百分點。關(guān)鍵在于，這也為模型執(zhí)行計算需求更高的復(fù)雜推理保留了更多容量。

他們寫道：“我們認為條件記憶將成為下一代稀疏模型中不可或缺的建模原語?！毖芯咳藛T將Engram的潛在影響比作他們自己開發(fā)的一種“混合專家”（MoE）技術(shù)，該技術(shù)使模型規(guī)模的擴大無需按比例增加計算量，并且此后已被其他中國競爭對手采用。

DeepSeek創(chuàng)始人梁文鋒 視頻截圖

目前，行業(yè)中最大的模型擁有數(shù)萬億個參數(shù)。開源開發(fā)者平臺Hugging Face的研究工程師埃利·巴庫奇（Elie Bakouch）在社交媒體上對這篇論文大加稱贊，稱其“在推理和訓(xùn)練時用硬件上驗證了這一技術(shù)”。

據(jù)報道，這篇論文列出了14位共同作者，除了梁文鋒之外，還包括北京大學(xué)王選計算機研究所助理教授、前微軟亞洲研究院首席研究員張輝帥。

去年年初，DeepSeek發(fā)布的大模型DeepSeek-R1，使用由英偉達H800 GPU驅(qū)動的數(shù)據(jù)中心進行訓(xùn)練，僅用兩個月就完成了訓(xùn)練，成本為550萬美元，僅為OpenAI等美國公司所花費金額的一小部分。卻實現(xiàn)了足以匹敵美國頂尖AI模型的效果，震撼業(yè)界的同時引發(fā)多國關(guān)注，尤其是美國。

當?shù)貢r間1月12日，據(jù)英國《金融時報》報道，微軟總裁布拉德·史密斯（Brad Smith）警告稱，在爭奪西方以外用戶的競爭中，美國AI公司正被中國競爭對手超越，中國低成本的“開源”模型是一大優(yōu)勢所在。

他表示，中國AI初創(chuàng)公司DeepSeek的技術(shù)在非洲等新興市場快速普及，凸顯了美國公司在全球面臨的競爭?！拔覀儽仨氄J識到，與一年前不同，現(xiàn)在中國擁有一個，而且越來越多地擁有不止一個具有競爭力的開源模型?！?/p>

報道指出，史密斯發(fā)表這番言論之際，微軟的一項新研究發(fā)現(xiàn)，DeepSeek一年前發(fā)布的R1大型語言模型，因其“易用性和低成本”，幫助加速了AI在全球范圍內(nèi)的普及，尤其是在全球南方國家。這也讓中國在“開源”AI模型的全球市場份額方面超越了美國，這些模型通?？梢悦赓M供開發(fā)人員使用、修改和集成。

《南華早報》指出，在DeepSeek發(fā)布其R1模型一周年之際，外界對其即將推出一款新的重要模型的期待正在升溫。美國硅谷的新興科技媒體“The Information”當?shù)貢r間1月9日報道稱，DeepSeek預(yù)計將在今年2月中旬推出一款具備強大編程能力的新V4模型。

本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。