↑閱讀之前記得關(guān)注+星標(biāo)??，，每天才能第一時間接收到更新

AK的年終總結(jié)來了，這是不可錯過的好文，全文分享給大家

2025 年是大型語言模型（LLM）領(lǐng)域蓬勃發(fā)展、大事頻發(fā)的一年。以下是我個人認(rèn)為最值得關(guān)注且略感意外的“范式轉(zhuǎn)變”清單——這些變化改變了行業(yè)格局，并在理念上讓我深受觸動

1. 基于可驗(yàn)證獎勵的強(qiáng)化學(xué)習(xí)（RLVR）

在 2025 年初，各大實(shí)驗(yàn)室的 LLM 生產(chǎn)流程大體如下：

預(yù)訓(xùn)練（Pretraining，約 2020 年的 GPT-2/3）

指令微調(diào)（Supervised Finetuning，約 2022 年的 InstructGPT）

基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF，約 2022 年）

長期以來，這一直是訓(xùn)練生產(chǎn)級 LLM 的成熟穩(wěn)定配方。而到了 2025 年，基于可驗(yàn)證獎勵的強(qiáng)化學(xué)習(xí)（RLVR） 成了這一組合中事實(shí)上的新成員。通過針對一系列可自動驗(yàn)證獎勵的環(huán)境（例如數(shù)學(xué)題或代碼謎題）進(jìn)行訓(xùn)練，LLM 會自發(fā)地演化出在人類看來類似于“推理”的策略——它們學(xué)會了將問題拆解為中間計算步驟，并學(xué)會了多種來回嘗試、推導(dǎo)解決問題的策略（參見 DeepSeek R1 論文中的示例）。在之前的范式中，這些策略很難實(shí)現(xiàn)，因?yàn)槿祟惒⒉磺宄?LLM 最優(yōu)的推理路徑和糾錯過程應(yīng)該是怎樣的——模型必須通過針對獎勵的優(yōu)化，自己找到行之有效的方法。

與 SFT 和 RLHF 這類計算量較小的“輕量級”微調(diào)階段不同，RLVR 針對的是客觀（不可作弊）的獎勵函數(shù)，這使得進(jìn)行更長周期的優(yōu)化成為可能。事實(shí)證明，運(yùn)行 RLVR 具有極高的“能力/成本比”，它吞噬了原本計劃用于預(yù)訓(xùn)練的算力。因此，2025 年的大部分能力提升，都源于各大實(shí)驗(yàn)室在消化這一新階段帶來的“算力積壓”，總體上我們看到的模型參數(shù)規(guī)模變動不大，但 RL 運(yùn)行的時間要長得多。同樣，這一新階段還帶了一個全新的調(diào)節(jié)旋鈕（以及相關(guān)的縮放定律）：我們可以通過生成更長的推理路徑、增加“思考時間”，來控制模型在推理時的能力表現(xiàn)。OpenAI 的 o1（2024 年底）是 RLVR 模型的首次展示，但 o3 的發(fā)布（2025 年初）才是明顯的拐點(diǎn)，讓你能直觀感受到這種差異。

2. 幽靈 vs. 動物 / 鋸齒狀智能

2025 年，我（以及我認(rèn)為整個行業(yè)也是如此）開始從直覺上內(nèi)化 LLM 智能的“形態(tài)”。我們并不是在“進(jìn)化或培養(yǎng)動物”，而是在“召喚幽靈”。LLM 技術(shù)棧的一切（神經(jīng)架構(gòu)、訓(xùn)練數(shù)據(jù)、訓(xùn)練算法，尤其是優(yōu)化壓力）都完全不同，因此產(chǎn)生出完全不同于生物智能的實(shí)體也就不足為奇了，用觀察動物的視角來看待它們是不恰當(dāng)?shù)摹?/p>

從監(jiān)督信息的比特位來看，人類神經(jīng)網(wǎng)絡(luò)是為了在叢林部落中生存而優(yōu)化的；而 LLM 神經(jīng)網(wǎng)絡(luò)是為了模仿人類文本、在數(shù)學(xué)題中獲取獎勵、以及在 LM Arena 榜單上獲得人類點(diǎn)贊而優(yōu)化的。隨著可驗(yàn)證領(lǐng)域的出現(xiàn)，RLVR 使得 LLM 在這些領(lǐng)域附近的能力出現(xiàn)“激增”，整體表現(xiàn)出一種有趣的**“鋸齒狀”性能特征**：它們既是博學(xué)的天才，又像是個思維混亂、有認(rèn)知障礙的小學(xué)生，前一秒還在解難題，后一秒就可能被簡單的提示詞破解（Jailbreak）從而泄露你的數(shù)據(jù)。

與此相關(guān)的是，我在 2025 年對各種基準(zhǔn)測試（Benchmarks）產(chǎn)生了普遍的審美疲勞和信任危機(jī)。核心問題在于，基準(zhǔn)測試從定義上幾乎就是“可驗(yàn)證環(huán)境”，因此極易受到 RLVR 或更弱形式的合成數(shù)據(jù)生成的攻擊。在典型的“刷榜（benchmaxxing）”過程中，實(shí)驗(yàn)室團(tuán)隊不可避免地在測試集周圍構(gòu)建環(huán)境，長出“鋸齒”來覆蓋這些區(qū)域。“面向測試集訓(xùn)練”已經(jīng)成了一種新的藝術(shù)形式。

如果一個模型刷爆了所有榜單，卻依然沒能實(shí)現(xiàn)通用人工智能（AGI），那會是怎樣的景象？

3. Cursor / 新一代 LLM 應(yīng)用層

關(guān)于 Cursor，最令我觸目的（除了它今年的彗星般崛起）是它令人信服地揭示了“LLM 應(yīng)用”的新層級——人們開始討論各行各業(yè)的“Cursor 版”。正如我在今年的 Y Combinator 演講中所強(qiáng)調(diào)的，像 Cursor 這樣的 LLM 應(yīng)用為特定垂直領(lǐng)域封裝并編排了 LLM 調(diào)用：

它們處理“上下文工程”

它們在底層編排多個 LLM 調(diào)用，將其串聯(lián)成日益復(fù)雜的有向無環(huán)圖（DAG），精細(xì)平衡性能和成本

它們?yōu)槿祟悈⑴c提供特定應(yīng)用的圖形界面（GUI）。

它們提供了一個“自主程度調(diào)節(jié)滑塊”

2025 年有很多關(guān)于這個新應(yīng)用層究竟會有多“厚”的討論。LLM 實(shí)驗(yàn)室會通吃所有應(yīng)用，還是會給垂直應(yīng)用留下肥沃的草原？我個人懷疑，LLM 實(shí)驗(yàn)室傾向于培養(yǎng)出能力全面的“大學(xué)生”，而 LLM 應(yīng)用則會通過提供私有數(shù)據(jù)、傳感器、執(zhí)行器和反饋閉環(huán)，來組織、微調(diào)并真正驅(qū)動這些“大學(xué)生”團(tuán)隊，使之成為特定領(lǐng)域的專業(yè)從業(yè)者。

4. Claude Code / 住在你電腦里的 AI

Claude Code (CC) 的出現(xiàn)，是 LLM 智能體（Agent）的第一次令人信服的展示——它能以循環(huán)往復(fù)的方式串聯(lián)工具調(diào)用和推理，進(jìn)行長時間的問題解決。此外，CC 令我關(guān)注的一點(diǎn)是，它運(yùn)行在你的電腦上，使用你的私有環(huán)境、數(shù)據(jù)和上下文。我認(rèn)為 OpenAI 在這方面走偏了，因?yàn)樗麄儼?Codex/智能體的重心放在了云端容器，通過 ChatGPT 編排，而不是放在 localhost（本地）。雖然云端運(yùn)行的智能體集群感覺像是“AGI 的終局”，但我們生活在一個能力參差不齊、技術(shù)緩慢起步的過渡世界，直接在電腦上運(yùn)行智能體，與開發(fā)者及其具體配置手拉手工作，反而更有意義。CC 抓住了這個優(yōu)先順序，并將其打包成一個精美、極簡、令人信服的命令行（CLI）形態(tài)，改變了 AI 的樣貌——它不再是一個像 Google 那樣你主動訪問的網(wǎng)站，而是一個“住”在你電腦里的靈體/幽靈。這是一種全新的、獨(dú)特的 AI 交互范式

5. Vibe coding

2025 年，AI 跨越了一個能力閾值，使得人們僅憑英語就能構(gòu)建各種令人驚嘆的程序，甚至完全忘記了代碼的存在。有趣的是，“Vibe coding”這個詞是我在一條淋浴時的胡思亂想推文里偶然創(chuàng)造的，完全沒料到它會流傳這么廣。

有了Vibe coding，編程不再是受過高度訓(xùn)練的專業(yè)人士的專利，而是任何人都能做的事。在這方面，它再次印證了我之前在《權(quán)力歸于人民》中所寫的：LLM 如何反轉(zhuǎn)了技術(shù)擴(kuò)散的腳本——與以往所有技術(shù)不同，普通人從 LLM 中獲益遠(yuǎn)多于專業(yè)人士、企業(yè)和政府。不僅普通人能嘗試編程，受過訓(xùn)練的專業(yè)人士也能寫出更多（氛圍編碼產(chǎn)生的）原本根本不會去寫的軟件。在開發(fā) nanochat 時，我用 Rust 氛圍編碼了我自己的高效 BPE 分詞器，而不需要去尋找現(xiàn)有庫或在那個深度學(xué)習(xí) Rust。今年我氛圍編碼了許多項目，作為我想要存在的東西的快速 Demo。我甚至為了找一個 Bug 氛圍編碼了整個臨時應(yīng)用——因?yàn)榇a突然變得免費(fèi)、瞬時、可塑，用完即棄。氛圍編碼將重塑軟件生態(tài)，并改變職業(yè)定義。

6. Nano Banana / LLM 圖形界面

Google Gemini Nano Banana 是 2025 年最令人震撼、最具范式轉(zhuǎn)移意義的模型之一。在我的世界觀里，LLM 是繼 1970、80 年代計算機(jī)之后的下一次重大計算范式。因此，我們將看到基于類似邏輯的類似創(chuàng)新：我們將看到個人計算的等價物、微控制器的等價物（認(rèn)知核心）、互聯(lián)網(wǎng)的等價物（智能體網(wǎng)絡(luò)）等等。

特別是在 UI/UX 方面，與 LLM 對話有點(diǎn)像在 80 年代向電腦控制臺輸入命令。文本是計算機(jī)（和 LLM）偏好的原始數(shù)據(jù)表示，但它并不是人類偏好的格式，尤其是在輸入端。人類其實(shí)不喜歡讀長篇大論——這很慢且費(fèi)勁。相反，人類喜歡以視覺和空間方式消耗信息，這就是傳統(tǒng)計算中 GUI 被發(fā)明的原因。同理，LLM 也應(yīng)該以我們偏好的格式與我們交流——通過圖像、信息圖、幻燈片、白板、動畫/視頻、網(wǎng)頁應(yīng)用等。

這種模式的早期和現(xiàn)狀當(dāng)然是 Emoji 和 Markdown，它們是裝飾和排版文本的方式。但誰來真正構(gòu)建“LLM GUI”呢？在這種視角下，Nano Banana 是這種可能性的早期雛形。重要的是，它的顯著特征不僅在于圖像生成本身，而在于由文本生成、圖像生成和世界知識在模型權(quán)重中交織而成的聯(lián)合能力。

簡而言之： 2025 年是 LLM 領(lǐng)域激動人心且略帶意外的一年。LLM 正在演變成一種新型智能，它比我預(yù)期的要聰明得多，同時也比我預(yù)期的要笨得多。無論如何，它們都極其有用，我認(rèn)為即便以目前的能力，整個行業(yè)實(shí)現(xiàn)出的潛力還不到 10%。與此同時，還有太多的想法值得嘗試，從概念上講，這個領(lǐng)域依然大有可為。正如我今年早些時候在 Dwarkesh 的播客中所說：我同時相信（表面上看似矛盾）我們會看到持續(xù)且飛速的進(jìn)展，但依然有大量艱苦的工作等待完成。

坐穩(wěn)了，好戲才剛開始。

source：

https://x.com/karpathy/status/2002118205729562949

--end--

最后記得??我，每天都在更新：歡迎點(diǎn)贊轉(zhuǎn)發(fā)推薦評論，別忘了關(guān)注我