↑閱讀之前記得關(guān)注+星標(biāo)??，，每天才能第一時(shí)間接收到更新

AK的年終總結(jié)來(lái)了，這是不可錯(cuò)過(guò)的好文，全文分享給大家

2025 年是大型語(yǔ)言模型（LLM）領(lǐng)域蓬勃發(fā)展、大事頻發(fā)的一年。以下是我個(gè)人認(rèn)為最值得關(guān)注且略感意外的“范式轉(zhuǎn)變”清單——這些變化改變了行業(yè)格局，并在理念上讓我深受觸動(dòng)

1. 基于可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RLVR）

在 2025 年初，各大實(shí)驗(yàn)室的 LLM 生產(chǎn)流程大體如下：

預(yù)訓(xùn)練（Pretraining，約 2020 年的 GPT-2/3）

指令微調(diào)（Supervised Finetuning，約 2022 年的 InstructGPT）

基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF，約 2022 年）

長(zhǎng)期以來(lái)，這一直是訓(xùn)練生產(chǎn)級(jí) LLM 的成熟穩(wěn)定配方。而到了 2025 年，基于可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RLVR） 成了這一組合中事實(shí)上的新成員。通過(guò)針對(duì)一系列可自動(dòng)驗(yàn)證獎(jiǎng)勵(lì)的環(huán)境（例如數(shù)學(xué)題或代碼謎題）進(jìn)行訓(xùn)練，LLM 會(huì)自發(fā)地演化出在人類看來(lái)類似于“推理”的策略——它們學(xué)會(huì)了將問(wèn)題拆解為中間計(jì)算步驟，并學(xué)會(huì)了多種來(lái)回嘗試、推導(dǎo)解決問(wèn)題的策略（參見(jiàn) DeepSeek R1 論文中的示例）。在之前的范式中，這些策略很難實(shí)現(xiàn)，因?yàn)槿祟惒⒉磺宄?LLM 最優(yōu)的推理路徑和糾錯(cuò)過(guò)程應(yīng)該是怎樣的——模型必須通過(guò)針對(duì)獎(jiǎng)勵(lì)的優(yōu)化，自己找到行之有效的方法。

與 SFT 和 RLHF 這類計(jì)算量較小的“輕量級(jí)”微調(diào)階段不同，RLVR 針對(duì)的是客觀（不可作弊）的獎(jiǎng)勵(lì)函數(shù)，這使得進(jìn)行更長(zhǎng)周期的優(yōu)化成為可能。事實(shí)證明，運(yùn)行 RLVR 具有極高的“能力/成本比”，它吞噬了原本計(jì)劃用于預(yù)訓(xùn)練的算力。因此，2025 年的大部分能力提升，都源于各大實(shí)驗(yàn)室在消化這一新階段帶來(lái)的“算力積壓”，總體上我們看到的模型參數(shù)規(guī)模變動(dòng)不大，但 RL 運(yùn)行的時(shí)間要長(zhǎng)得多。同樣，這一新階段還帶了一個(gè)全新的調(diào)節(jié)旋鈕（以及相關(guān)的縮放定律）：我們可以通過(guò)生成更長(zhǎng)的推理路徑、增加“思考時(shí)間”，來(lái)控制模型在推理時(shí)的能力表現(xiàn)。OpenAI 的 o1（2024 年底）是 RLVR 模型的首次展示，但 o3 的發(fā)布（2025 年初）才是明顯的拐點(diǎn)，讓你能直觀感受到這種差異。

2. 幽靈 vs. 動(dòng)物 / 鋸齒狀智能

2025 年，我（以及我認(rèn)為整個(gè)行業(yè)也是如此）開(kāi)始從直覺(jué)上內(nèi)化 LLM 智能的“形態(tài)”。我們并不是在“進(jìn)化或培養(yǎng)動(dòng)物”，而是在“召喚幽靈”。LLM 技術(shù)棧的一切（神經(jīng)架構(gòu)、訓(xùn)練數(shù)據(jù)、訓(xùn)練算法，尤其是優(yōu)化壓力）都完全不同，因此產(chǎn)生出完全不同于生物智能的實(shí)體也就不足為奇了，用觀察動(dòng)物的視角來(lái)看待它們是不恰當(dāng)?shù)摹?/p>

從監(jiān)督信息的比特位來(lái)看，人類神經(jīng)網(wǎng)絡(luò)是為了在叢林部落中生存而優(yōu)化的；而 LLM 神經(jīng)網(wǎng)絡(luò)是為了模仿人類文本、在數(shù)學(xué)題中獲取獎(jiǎng)勵(lì)、以及在 LM Arena 榜單上獲得人類點(diǎn)贊而優(yōu)化的。隨著可驗(yàn)證領(lǐng)域的出現(xiàn)，RLVR 使得 LLM 在這些領(lǐng)域附近的能力出現(xiàn)“激增”，整體表現(xiàn)出一種有趣的**“鋸齒狀”性能特征**：它們既是博學(xué)的天才，又像是個(gè)思維混亂、有認(rèn)知障礙的小學(xué)生，前一秒還在解難題，后一秒就可能被簡(jiǎn)單的提示詞破解（Jailbreak）從而泄露你的數(shù)據(jù)。

與此相關(guān)的是，我在 2025 年對(duì)各種基準(zhǔn)測(cè)試（Benchmarks）產(chǎn)生了普遍的審美疲勞和信任危機(jī)。核心問(wèn)題在于，基準(zhǔn)測(cè)試從定義上幾乎就是“可驗(yàn)證環(huán)境”，因此極易受到 RLVR 或更弱形式的合成數(shù)據(jù)生成的攻擊。在典型的“刷榜（benchmaxxing）”過(guò)程中，實(shí)驗(yàn)室團(tuán)隊(duì)不可避免地在測(cè)試集周圍構(gòu)建環(huán)境，長(zhǎng)出“鋸齒”來(lái)覆蓋這些區(qū)域。“面向測(cè)試集訓(xùn)練”已經(jīng)成了一種新的藝術(shù)形式。

如果一個(gè)模型刷爆了所有榜單，卻依然沒(méi)能實(shí)現(xiàn)通用人工智能（AGI），那會(huì)是怎樣的景象？

3. Cursor / 新一代 LLM 應(yīng)用層

關(guān)于 Cursor，最令我觸目的（除了它今年的彗星般崛起）是它令人信服地揭示了“LLM 應(yīng)用”的新層級(jí)——人們開(kāi)始討論各行各業(yè)的“Cursor 版”。正如我在今年的 Y Combinator 演講中所強(qiáng)調(diào)的，像 Cursor 這樣的 LLM 應(yīng)用為特定垂直領(lǐng)域封裝并編排了 LLM 調(diào)用：

它們處理“上下文工程”

它們?cè)诘讓泳幣哦鄠€(gè) LLM 調(diào)用，將其串聯(lián)成日益復(fù)雜的有向無(wú)環(huán)圖（DAG），精細(xì)平衡性能和成本

它們?yōu)槿祟悈⑴c提供特定應(yīng)用的圖形界面（GUI）。

它們提供了一個(gè)“自主程度調(diào)節(jié)滑塊”

2025 年有很多關(guān)于這個(gè)新應(yīng)用層究竟會(huì)有多“厚”的討論。LLM 實(shí)驗(yàn)室會(huì)通吃所有應(yīng)用，還是會(huì)給垂直應(yīng)用留下肥沃的草原？我個(gè)人懷疑，LLM 實(shí)驗(yàn)室傾向于培養(yǎng)出能力全面的“大學(xué)生”，而 LLM 應(yīng)用則會(huì)通過(guò)提供私有數(shù)據(jù)、傳感器、執(zhí)行器和反饋閉環(huán)，來(lái)組織、微調(diào)并真正驅(qū)動(dòng)這些“大學(xué)生”團(tuán)隊(duì)，使之成為特定領(lǐng)域的專業(yè)從業(yè)者。

4. Claude Code / 住在你電腦里的 AI

Claude Code (CC) 的出現(xiàn)，是 LLM 智能體（Agent）的第一次令人信服的展示——它能以循環(huán)往復(fù)的方式串聯(lián)工具調(diào)用和推理，進(jìn)行長(zhǎng)時(shí)間的問(wèn)題解決。此外，CC 令我關(guān)注的一點(diǎn)是，它運(yùn)行在你的電腦上，使用你的私有環(huán)境、數(shù)據(jù)和上下文。我認(rèn)為 OpenAI 在這方面走偏了，因?yàn)樗麄儼?Codex/智能體的重心放在了云端容器，通過(guò) ChatGPT 編排，而不是放在 localhost（本地）。雖然云端運(yùn)行的智能體集群感覺(jué)像是“AGI 的終局”，但我們生活在一個(gè)能力參差不齊、技術(shù)緩慢起步的過(guò)渡世界，直接在電腦上運(yùn)行智能體，與開(kāi)發(fā)者及其具體配置手拉手工作，反而更有意義。CC 抓住了這個(gè)優(yōu)先順序，并將其打包成一個(gè)精美、極簡(jiǎn)、令人信服的命令行（CLI）形態(tài)，改變了 AI 的樣貌——它不再是一個(gè)像 Google 那樣你主動(dòng)訪問(wèn)的網(wǎng)站，而是一個(gè)“住”在你電腦里的靈體/幽靈。這是一種全新的、獨(dú)特的 AI 交互范式

5. Vibe coding

2025 年，AI 跨越了一個(gè)能力閾值，使得人們僅憑英語(yǔ)就能構(gòu)建各種令人驚嘆的程序，甚至完全忘記了代碼的存在。有趣的是，“Vibe coding”這個(gè)詞是我在一條淋浴時(shí)的胡思亂想推文里偶然創(chuàng)造的，完全沒(méi)料到它會(huì)流傳這么廣。

有了Vibe coding，編程不再是受過(guò)高度訓(xùn)練的專業(yè)人士的專利，而是任何人都能做的事。在這方面，它再次印證了我之前在《權(quán)力歸于人民》中所寫的：LLM 如何反轉(zhuǎn)了技術(shù)擴(kuò)散的腳本——與以往所有技術(shù)不同，普通人從 LLM 中獲益遠(yuǎn)多于專業(yè)人士、企業(yè)和政府。不僅普通人能嘗試編程，受過(guò)訓(xùn)練的專業(yè)人士也能寫出更多（氛圍編碼產(chǎn)生的）原本根本不會(huì)去寫的軟件。在開(kāi)發(fā) nanochat 時(shí)，我用 Rust 氛圍編碼了我自己的高效 BPE 分詞器，而不需要去尋找現(xiàn)有庫(kù)或在那個(gè)深度學(xué)習(xí) Rust。今年我氛圍編碼了許多項(xiàng)目，作為我想要存在的東西的快速 Demo。我甚至為了找一個(gè) Bug 氛圍編碼了整個(gè)臨時(shí)應(yīng)用——因?yàn)榇a突然變得免費(fèi)、瞬時(shí)、可塑，用完即棄。氛圍編碼將重塑軟件生態(tài)，并改變職業(yè)定義。

6. Nano Banana / LLM 圖形界面

Google Gemini Nano Banana 是 2025 年最令人震撼、最具范式轉(zhuǎn)移意義的模型之一。在我的世界觀里，LLM 是繼 1970、80 年代計(jì)算機(jī)之后的下一次重大計(jì)算范式。因此，我們將看到基于類似邏輯的類似創(chuàng)新：我們將看到個(gè)人計(jì)算的等價(jià)物、微控制器的等價(jià)物（認(rèn)知核心）、互聯(lián)網(wǎng)的等價(jià)物（智能體網(wǎng)絡(luò)）等等。

特別是在 UI/UX 方面，與 LLM 對(duì)話有點(diǎn)像在 80 年代向電腦控制臺(tái)輸入命令。文本是計(jì)算機(jī)（和 LLM）偏好的原始數(shù)據(jù)表示，但它并不是人類偏好的格式，尤其是在輸入端。人類其實(shí)不喜歡讀長(zhǎng)篇大論——這很慢且費(fèi)勁。相反，人類喜歡以視覺(jué)和空間方式消耗信息，這就是傳統(tǒng)計(jì)算中 GUI 被發(fā)明的原因。同理，LLM 也應(yīng)該以我們偏好的格式與我們交流——通過(guò)圖像、信息圖、幻燈片、白板、動(dòng)畫/視頻、網(wǎng)頁(yè)應(yīng)用等。

這種模式的早期和現(xiàn)狀當(dāng)然是 Emoji 和 Markdown，它們是裝飾和排版文本的方式。但誰(shuí)來(lái)真正構(gòu)建“LLM GUI”呢？在這種視角下，Nano Banana 是這種可能性的早期雛形。重要的是，它的顯著特征不僅在于圖像生成本身，而在于由文本生成、圖像生成和世界知識(shí)在模型權(quán)重中交織而成的聯(lián)合能力。

簡(jiǎn)而言之： 2025 年是 LLM 領(lǐng)域激動(dòng)人心且略帶意外的一年。LLM 正在演變成一種新型智能，它比我預(yù)期的要聰明得多，同時(shí)也比我預(yù)期的要笨得多。無(wú)論如何，它們都極其有用，我認(rèn)為即便以目前的能力，整個(gè)行業(yè)實(shí)現(xiàn)出的潛力還不到 10%。與此同時(shí)，還有太多的想法值得嘗試，從概念上講，這個(gè)領(lǐng)域依然大有可為。正如我今年早些時(shí)候在 Dwarkesh 的播客中所說(shuō)：我同時(shí)相信（表面上看似矛盾）我們會(huì)看到持續(xù)且飛速的進(jìn)展，但依然有大量艱苦的工作等待完成。

坐穩(wěn)了，好戲才剛開(kāi)始。

source：

https://x.com/karpathy/status/2002118205729562949

--end--

最后記得??我，每天都在更新：歡迎點(diǎn)贊轉(zhuǎn)發(fā)推薦評(píng)論，別忘了關(guān)注我