設(shè)置星標(biāo) 關(guān)注，從此你的世界多點(diǎn)科學(xué)~

今年1月，來(lái)自杭州的深度求索公司攜開(kāi)源推理模型DeepSeek-R1火爆全網(wǎng)。

AI專(zhuān)家盛贊其“純強(qiáng)化學(xué)習(xí)”的創(chuàng)新范式讓模型自我進(jìn)化、擺脫對(duì)人工標(biāo)注文本的依賴(lài)，業(yè)內(nèi)同行驚嘆于其超高性能背后的超低投入，金融市場(chǎng)則以股價(jià)巨震向這位物美價(jià)廉的數(shù)學(xué)大師、編程高手、推理王者致敬。

DeepSeek-R1是開(kāi)放權(quán)重模型(訓(xùn)練參數(shù)對(duì)公眾公開(kāi))，可供任何人下載使用。時(shí)至今日，它在AI開(kāi)源社區(qū)Hugging Face上的下載量已超過(guò)1090萬(wàn)次，是目前同類(lèi)模型里最受歡迎的。此外，它還剛剛成為全球第一款經(jīng)過(guò)完整同行評(píng)審的大語(yǔ)言模型(LLM)。

9月17日，深度求索創(chuàng)始人梁文鋒及其團(tuán)隊(duì)正式于《自然》雜志發(fā)表封面文章，詳細(xì)闡述了他們強(qiáng)化標(biāo)準(zhǔn)LLM、升級(jí)推理策略的方式和過(guò)程。

DeepSeek的核心創(chuàng)新在于采用純強(qiáng)化學(xué)習(xí)(pure reinforcement learning)這一自動(dòng)化試錯(cuò)方法構(gòu)建R1：通過(guò)獎(jiǎng)勵(lì)機(jī)制驅(qū)動(dòng)模型自己得出正確答案，而非教它遵循人類(lèi)選擇的推理示例。因此，DeepSeek-R1能在“獨(dú)立思考”中學(xué)習(xí)形成自己的推理策略，例如“怎樣不受人類(lèi)思維影響地驗(yàn)證自己的結(jié)果”。

為提升效率，模型選擇估計(jì)值(而非獨(dú)立算法)來(lái)給自己的工作評(píng)分——此項(xiàng)技術(shù)被稱(chēng)為“群體相對(duì)策略?xún)?yōu)化”(GRPO)，屬于強(qiáng)化學(xué)習(xí)中的一種優(yōu)化方法，允許模型在訓(xùn)練時(shí)通過(guò)自我評(píng)估和群體比較以求增效。

有同行表示，DeepSeek-R1已對(duì)人工智能學(xué)界產(chǎn)生“相當(dāng)顯著的影響”，2025年幾乎所有給大語(yǔ)言模型上強(qiáng)化學(xué)習(xí)的研究都“或多或少受到R1啟發(fā)”。

另一方面，新論文在補(bǔ)充材料中首次披露了R1模型的訓(xùn)練成本——區(qū)區(qū)29.4萬(wàn)美元。構(gòu)建基礎(chǔ)LLM的投入則為600萬(wàn)美元。這是什么概念呢？OpenAI、谷歌DeepMind、Meta等AI巨頭的模型訓(xùn)練成本都是幾千萬(wàn)起步的。

值得一提的是，R1主要采用英偉達(dá)H800芯片進(jìn)行訓(xùn)練，而該芯片在2023年因美國(guó)出口管制禁令而被禁止對(duì)華銷(xiāo)售。

此外，梁文鋒等人根據(jù)評(píng)審意見(jiàn)減少了擬人化表述，并補(bǔ)充了技術(shù)細(xì)節(jié)說(shuō)明，包括模型訓(xùn)練數(shù)據(jù)類(lèi)型和安全性方面的內(nèi)容。

Hugging Face的機(jī)器學(xué)習(xí)工程師劉易斯·坦斯托爾(Lewis Tunstall)是這篇《自然》新作的評(píng)審者之一。在他看來(lái)，如果不樹(shù)立“將模型的大部分開(kāi)發(fā)過(guò)程與學(xué)界共享”的規(guī)范，同行就沒(méi)法評(píng)估系統(tǒng)是否存在風(fēng)險(xiǎn)。

俄亥俄州立大學(xué)的人工智能研究員孫歡則指出，嚴(yán)格的同行評(píng)審過(guò)程確實(shí)有助于驗(yàn)證模型的有效性和實(shí)用性，其他公司應(yīng)當(dāng)效仿DeepSeek。

此前有媒體報(bào)道OpenAI方面對(duì)DeepSeek-R1的質(zhì)疑：深度求索團(tuán)隊(duì)可能使用了OpenAI模型的輸出數(shù)據(jù)來(lái)訓(xùn)練R1，這幫助他們以更少資源取得更高性能。

梁文鋒等人未通過(guò)論文公開(kāi)訓(xùn)練數(shù)據(jù)，但根據(jù)他們與評(píng)審人員的交流內(nèi)容，R1并未復(fù)制OpenAI模型生成的推理示例以開(kāi)展學(xué)習(xí)。不過(guò)他們也承認(rèn)，與大多數(shù)大語(yǔ)言模型一樣，R1的基礎(chǔ)模型確實(shí)“上網(wǎng)”練過(guò)，因此必然吸收互聯(lián)網(wǎng)上既有的AI生成內(nèi)容。

坦斯托爾認(rèn)為，雖無(wú)法百分百確定R1未使用OpenAI的示例進(jìn)行訓(xùn)練，但其他實(shí)驗(yàn)室的復(fù)現(xiàn)結(jié)果已證明，DeepSeek的推理方案可能足夠優(yōu)秀了，優(yōu)秀到不必做那種事?！皟H靠純強(qiáng)化學(xué)習(xí)就可實(shí)現(xiàn)極高性能！”

他還表示，目前很多同行正嘗試運(yùn)用R1的開(kāi)發(fā)方法，既增強(qiáng)現(xiàn)有LLM的類(lèi)推理能力，又將其應(yīng)用領(lǐng)域拓展至數(shù)學(xué)和編程之外?！癛1成功引領(lǐng)了一場(chǎng)變革。”

孫歡指出，對(duì)研究者來(lái)說(shuō)，R1很強(qiáng)很好用。在做數(shù)據(jù)分析和可視化等科學(xué)任務(wù)時(shí)，R1的準(zhǔn)確率并未遙遙領(lǐng)先，但它最好地平衡了性能與成本。

資料來(lái)源：

《世界科學(xué)》雜志版在售中 歡迎訂閱

月刊定價(jià)

15元/期

全年訂閱價(jià)

180元

點(diǎn)擊左側(cè)圖片或以下方訂閱方式選購(gòu)

方式一：

掃描二維碼，“雜志鋪”訂閱有折扣～

方式二：

全國(guó)各地郵局訂閱 郵發(fā)代號(hào)：4-263

方式三：

機(jī)構(gòu)訂閱，請(qǐng)撥打

021-53300839；

021-53300838