国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

近兩百萬(wàn)人圍觀的Karpathy年終大語(yǔ)言模型清單,主角是它們

0
分享至



編輯|杜偉

2025 年還有 10 天就要結(jié)束,這意味著是時(shí)候進(jìn)行一波年終總結(jié)了。

對(duì)于人工智能領(lǐng)域而言,2025 年是大語(yǔ)言模型(LLM)快速演進(jìn)、重磅事件密集出現(xiàn)的一年。

就在昨天,知名 AI 學(xué)者 Karpathy 列出了一份清單,記錄了他個(gè)人認(rèn)為最重要、也多少有些出乎意料的「范式轉(zhuǎn)變」。



這些真正改變了行業(yè)格局、并在概念層面讓 Karpathy 印象深刻的變化會(huì)落在哪些領(lǐng)域呢?我們接下來(lái)一一來(lái)看(以第一人稱)。

可驗(yàn)證獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)(RLVR)

2025 年初,幾乎所有實(shí)驗(yàn)室的 LLM 生產(chǎn)訓(xùn)練流程都像下面這樣:

  • 預(yù)訓(xùn)練(類似 2020 年的 GPT-2/3);
  • 監(jiān)督微調(diào)(SFT,類似 2022 年的 InstructGPT)
  • 基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF,約 2022 年)

這套流程穩(wěn)定、可靠,曾長(zhǎng)期被視為「工業(yè)級(jí) LLM」的標(biāo)準(zhǔn)做法。

但在 2025 年,一種新的階段浮出水面,并迅速成為事實(shí)上的標(biāo)配:可驗(yàn)證獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)(Reinforcement Learning from Verifiable Rewards,RLVR)

RLVR 的核心做法是,讓模型在可自動(dòng)驗(yàn)證的環(huán)境中接受強(qiáng)化學(xué)習(xí)訓(xùn)練,比如數(shù)學(xué)題、代碼題、邏輯謎題等。在這些環(huán)境中,模型自發(fā)學(xué)會(huì)一些在人類看來(lái)非常像「推理」的策略:它會(huì)把復(fù)雜問(wèn)題拆解成中間步驟,并反復(fù)試探、修正路徑,逐步逼近答案(DeepSeek R1 的論文中有不少很好的例子)。

在以往的 SFT 或 RLHF 框架下,這類「推理軌跡」是極難人為設(shè)計(jì)出來(lái)的。這是因?yàn)槲覀儾⒉恢缹?duì)模型而言,什么才是「最優(yōu)的思考過(guò)程」。而在 RLVR 中,模型可以通過(guò)優(yōu)化獎(jiǎng)勵(lì)函數(shù),自行摸索出對(duì)自己最有效的解題方式。

此外,與 SFT 和 RLHF 這種「計(jì)算量相對(duì)較小的薄層微調(diào)」不同,RLVR 使用的是客觀、難以被投機(jī)取巧的獎(jiǎng)勵(lì)函數(shù),這使得訓(xùn)練可以跑得非常久。結(jié)果就是:RLVR 提供了極高的能力 / 成本比,大量吞噬了原本準(zhǔn)備用于預(yù)訓(xùn)練的算力。

因此,2025 年的大部分能力提升,并不是來(lái)自模型規(guī)模的暴漲,而是來(lái)自相似規(guī)模模型 + 更長(zhǎng)時(shí)間的 RL 訓(xùn)練。這個(gè)階段還帶來(lái)了一個(gè)全新的「旋鈕」:通過(guò)在推理時(shí)生成更長(zhǎng)的思考鏈條、投入更多測(cè)試時(shí)算力,模型能力可以繼續(xù)提升,并呈現(xiàn)出新的 scaling law。

OpenAI 的 o1(2024 年底)是第一個(gè)明確展示 RLVR 思路的模型,而 2025 年初的 o3,則是那個(gè)讓人直觀感受到質(zhì)變拐點(diǎn)的版本。

幽靈 vs 動(dòng)物:鋸齒狀智能

2025 年,是我(以及我認(rèn)為整個(gè)行業(yè))第一次真正直覺(jué)性地理解了 LLM 智能的「形狀」。我們并不是在「培育或進(jìn)化動(dòng)物」,而是在「召喚幽靈」。

LLM 的一切都和人類不同:神經(jīng)結(jié)構(gòu)不同、訓(xùn)練數(shù)據(jù)不同、訓(xùn)練算法不同,最關(guān)鍵的是優(yōu)化目標(biāo)完全不同。人類神經(jīng)系統(tǒng),是為叢林生存、部落協(xié)作而優(yōu)化的;而 LLM 是為模仿人類文本、在數(shù)學(xué)謎題中拿分、在 LM Arena 里獲得點(diǎn)贊而優(yōu)化的。

一旦某些領(lǐng)域具備可驗(yàn)證性,RLVR 就會(huì)在這些區(qū)域「長(zhǎng)出尖刺」。于是我們看到的,是一種鋸齒化(jagged)明顯的能力分布:它們可以在某些領(lǐng)域表現(xiàn)得像博學(xué)的天才,同時(shí)又在另一些地方像困惑的小學(xué)生,甚至輕易被 jailbreak 套走隱私數(shù)據(jù)。



我很喜歡一張 meme:人類智能是藍(lán)色曲線,AI 是紅色曲線。它也提醒我們:人類智能本身,同樣是鋸齒狀的,只是形狀不同。

這也解釋了我在 2025 年對(duì)基準(zhǔn)普遍不當(dāng)回事與不信任。問(wèn)題在于:基準(zhǔn)測(cè)試本質(zhì)上就是可驗(yàn)證環(huán)境,因此天然容易被 RLVR 或弱化版本的「合成數(shù)據(jù)訓(xùn)練」所攻破。

在現(xiàn)實(shí)中,模型團(tuán)隊(duì)往往會(huì)在基準(zhǔn)所在的嵌入空間附近「培育能力突起」,把 jaggies 精準(zhǔn)地長(zhǎng)到測(cè)試點(diǎn)上。「在測(cè)試集上訓(xùn)練」已經(jīng)演變成了一門藝術(shù)

那么問(wèn)題來(lái)了:如果一個(gè)模型碾壓了所有基準(zhǔn),卻依然不是 AGI,那意味著什么?

Cursor:LLM 應(yīng)用的新一層

Cursor 在 2025 年的爆發(fā)本身就很驚人,但對(duì)我而言,更重要的是:它清晰地揭示了一種全新的 LLM 應(yīng)用層

人們開(kāi)始說(shuō),「這是某某領(lǐng)域的 Cursor」。在我今年 YC 演講中提到過(guò):像 Cursor 這樣的 LLM 應(yīng)用,本質(zhì)是在為特定垂直領(lǐng)域打包和編排 LLM 能力:

  • 上下文工程(context engineering);
  • 在后臺(tái)編排多次 LLM 調(diào)用,形成越來(lái)越復(fù)雜的 DAG,同時(shí)平衡成本與性能;
  • 提供面向人的、領(lǐng)域?qū)S玫?GUI;
  • 提供「自主性滑塊」(autonomy slider)。

2025 年圍繞著一個(gè)問(wèn)題出現(xiàn)了大量討論:這一層會(huì)有多厚?LLM 實(shí)驗(yàn)室會(huì)不會(huì)吞掉所有應(yīng)用?還是說(shuō),LLM 應(yīng)用層依然有廣闊空間?

我個(gè)人的判斷是:基礎(chǔ)模型會(huì)趨向于「一個(gè)通用能力很強(qiáng)的大學(xué)畢業(yè)生」,而真正把他們組織成專業(yè)團(tuán)隊(duì)、在具體行業(yè)中落地的會(huì)是應(yīng)用層,通過(guò)私有數(shù)據(jù)、傳感器、執(zhí)行器和反饋回路將模型組織并投入實(shí)際工作流程」。

Claude Code:住在你電腦里的 AI

Claude Code(CC)是我第一次覺(jué)得:「這才像一個(gè)真正的 LLM Agent。」它以循環(huán)方式將推理與工具調(diào)用串聯(lián)起來(lái),能持續(xù)解決長(zhǎng)任務(wù)。

更重要的是:它運(yùn)行在你的本地電腦上,直接使用你的環(huán)境、數(shù)據(jù)和上下文。

我認(rèn)為 OpenAI 在這里判斷失誤了:他們把 agent /codex 的重心放在云端容器、由 ChatGPT 統(tǒng)一調(diào)度;而在一個(gè)能力鋸齒、起飛緩慢的世界里,更合理的順序其實(shí)是先讓 agent 成為開(kāi)發(fā)者身邊的伙伴。

Claude Code 在這點(diǎn)上做對(duì)了,并且用一個(gè)極其優(yōu)雅、極簡(jiǎn)、極具說(shuō)服力的 CLI 形態(tài)呈現(xiàn)出來(lái)。

AI 不再只是一個(gè)你訪問(wèn)的網(wǎng)站,而是一個(gè)住在你電腦里的小幽靈。

這是一次全新的交互范式轉(zhuǎn)變。

Vibe Coding(氛圍編程)

2025 年,是 AI 跨過(guò)某個(gè)關(guān)鍵門檻的一年:人們可以只用英語(yǔ)構(gòu)建復(fù)雜程序,甚至忘記代碼本身的存在。

有趣的是,「vibe coding」這個(gè)詞,最早只是我一條隨手寫的推文,完全沒(méi)想到會(huì)流傳這么廣。

Vibe coding 讓編程不再只是專業(yè)工程師的專利,任何人都可以上手;但同時(shí),它也讓專業(yè)工程師可以寫出大量原本永遠(yuǎn)不會(huì)被寫出來(lái)的軟件。

在 nanochat 項(xiàng)目中,我直接用 vibe coding 寫了一個(gè)高效的 Rust BPE tokenizer;我用它快速寫了很多 demo 項(xiàng)目(比如 menugen、llm-council、reader3、HN time capsule);甚至為了定位一個(gè) bug,我會(huì) vibe coding 一個(gè)臨時(shí)應(yīng)用,用完即棄。

代碼變得不值錢、短暫存在、并可隨意改寫與丟棄

Vibe coding 在重塑軟件形態(tài)之外,也會(huì)重塑工作角色。

Nano Banana:LLM 的 GUI

Google Gemini 的「Nano Banana」,是 2025 年最讓我震撼的模型之一。

在我的世界觀里,LLM 是類似 1970–80 年代計(jì)算機(jī)的新一代通用計(jì)算范式,因此我們必然會(huì)看到類似的演化路徑:

  • 個(gè)人計(jì)算
  • 微控制器(認(rèn)知核心)
  • Agent 網(wǎng)絡(luò)(類似互聯(lián)網(wǎng))

而在 UI/UX 層面,「聊天」就像 80 年代的命令行。文本是計(jì)算機(jī)最偏好的表示形式,但并不是人類最喜歡的輸入方式。人們更喜歡視覺(jué)化、空間化的信息 —— 這正是 GUI 出現(xiàn)的原因。

同理,LLM 也應(yīng)該用我們偏好的形式與我們交流:圖片、信息圖、幻燈片、白板、動(dòng)畫(huà)、網(wǎng)頁(yè)應(yīng)用……

Emoji 和 Markdown 只是最早期、最粗糙的嘗試。那么,誰(shuí)會(huì)構(gòu)建真正的 LLM GUI?在我看來(lái),Nano Banana 是一個(gè)非常早期但重要的信號(hào)。

它的意義不只在于圖像生成,而在于:文本、圖像與世界知識(shí)在同一模型中深度糾纏

最后總結(jié)

2025 年,是一個(gè)令人興奮、也充滿意外的大模型之年。

LLM 正在顯現(xiàn)出一種全新的智能形態(tài):它們既比我預(yù)期的聰明得多,又比我預(yù)期的愚蠢得多

但無(wú)論如何,它們已經(jīng)極其有用,而我認(rèn)為行業(yè)甚至還沒(méi)有發(fā)揮出它們 10% 的潛力。

想法太多,空間太大,這個(gè)領(lǐng)域仍然是開(kāi)放的。

正如我今年在 Dwarkesh 播客中說(shuō)過(guò)的那樣:

我一方面相信進(jìn)展會(huì)持續(xù)且迅猛,另一方面也清楚,還有大量艱苦而細(xì)致的工作要做。

「系好安全帶」,接下來(lái)只會(huì)更快。

原推鏈接:https://x.com/karpathy/status/2002118205729562949

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
從南京博物館扒一下文博界的“董小姐”徐鶯:權(quán)貴是如何為子女鋪路的

從南京博物館扒一下文博界的“董小姐”徐鶯:權(quán)貴是如何為子女鋪路的

西虹市閑話
2025-12-22 15:25:49
南博事件升級(jí)!院長(zhǎng)徐湖平商業(yè)版圖扒出,難怪被舉報(bào),一點(diǎn)都不冤

南博事件升級(jí)!院長(zhǎng)徐湖平商業(yè)版圖扒出,難怪被舉報(bào),一點(diǎn)都不冤

娜烏和西卡
2025-12-22 17:42:00
“海底撈小便案”詳情披露:2名17歲男生往火鍋小便,家長(zhǎng)被判賠220萬(wàn)

“海底撈小便案”詳情披露:2名17歲男生往火鍋小便,家長(zhǎng)被判賠220萬(wàn)

瀟湘晨報(bào)
2025-12-22 15:46:12
曾醫(yī)生號(hào)源秒空:是給網(wǎng)上那些滿嘴仁義道德的人一記響亮耳光

曾醫(yī)生號(hào)源秒空:是給網(wǎng)上那些滿嘴仁義道德的人一記響亮耳光

詩(shī)意世界
2025-12-22 11:28:27
野村:中國(guó)經(jīng)濟(jì)兩大支柱的極端分化

野村:中國(guó)經(jīng)濟(jì)兩大支柱的極端分化

紫京講談
2025-12-21 22:53:13
日本自民黨高官竄訪臺(tái)灣,外交部:“媚日謀獨(dú)”令人不齒

日本自民黨高官竄訪臺(tái)灣,外交部:“媚日謀獨(dú)”令人不齒

澎湃新聞
2025-12-22 15:42:29
瞞不住了!南博《江南春》后續(xù):40名職工舉報(bào),前院長(zhǎng)盜竊、走私

瞞不住了!南博《江南春》后續(xù):40名職工舉報(bào),前院長(zhǎng)盜竊、走私

娜烏和西卡
2025-12-22 12:57:40
中美較量開(kāi)始了:世紀(jì)號(hào)油輪事件,是特朗普對(duì)中國(guó)的敲打,中國(guó)硬核回?fù)簦?>
    </a>
        <h3>
      <a href=V記錄號(hào)
2025-12-21 14:58:44
六旬女子做痔瘡手術(shù)9天后突然去世,當(dāng)?shù)匦l(wèi)健委介入調(diào)查

六旬女子做痔瘡手術(shù)9天后突然去世,當(dāng)?shù)匦l(wèi)健委介入調(diào)查

極目新聞
2025-12-22 15:21:19
不公正不接受!龐家后人向新華社提出七點(diǎn)質(zhì)疑,要求南博返還古畫(huà)

不公正不接受!龐家后人向新華社提出七點(diǎn)質(zhì)疑,要求南博返還古畫(huà)

十三級(jí)臺(tái)階
2025-12-22 12:45:28
一場(chǎng)打賭,他從南美開(kāi)始走路回英國(guó)!快6萬(wàn)公里走了27年,終于快到家了....

一場(chǎng)打賭,他從南美開(kāi)始走路回英國(guó)!快6萬(wàn)公里走了27年,終于快到家了....

英國(guó)那些事兒
2025-12-21 23:18:38
中國(guó)內(nèi)地新增70位億萬(wàn)富豪,98%中國(guó)億萬(wàn)富豪都是白手起家,蜜雪冰城張氏兄弟等新上榜

中國(guó)內(nèi)地新增70位億萬(wàn)富豪,98%中國(guó)億萬(wàn)富豪都是白手起家,蜜雪冰城張氏兄弟等新上榜

紅星新聞
2025-12-22 17:26:21
年底還有驚喜!利比亞46億軍購(gòu)大單,巴基斯坦又拿下了

年底還有驚喜!利比亞46億軍購(gòu)大單,巴基斯坦又拿下了

兵國(guó)大事
2025-12-21 17:23:01
男子樓頂露臺(tái)種樹(shù)時(shí)不慎碰下樹(shù)樁,砸中樓下17歲少年致其死亡,一審獲刑6年

男子樓頂露臺(tái)種樹(shù)時(shí)不慎碰下樹(shù)樁,砸中樓下17歲少年致其死亡,一審獲刑6年

極目新聞
2025-12-22 15:01:18
上市三天大跌三天,出不完的貨,接不完的盤,今天虧10萬(wàn)賣了!

上市三天大跌三天,出不完的貨,接不完的盤,今天虧10萬(wàn)賣了!

財(cái)經(jīng)智多星
2025-12-22 15:14:22
南京博物院保管員偷19件文物,被依法處決

南京博物院保管員偷19件文物,被依法處決

智識(shí)漂流
2025-12-21 23:29:54
美國(guó)飛行員報(bào)告看見(jiàn)銀色罐狀不明飛行物,空管回應(yīng):祝你好運(yùn)

美國(guó)飛行員報(bào)告看見(jiàn)銀色罐狀不明飛行物,空管回應(yīng):祝你好運(yùn)

瀟湘晨報(bào)
2025-12-22 11:43:20
回顧“91女神”琪琪:五官出眾,卻因天真讓自己“受傷”

回顧“91女神”琪琪:五官出眾,卻因天真讓自己“受傷”

就一點(diǎn)
2025-11-22 10:36:39
醫(yī)學(xué)博士:腫瘤越來(lái)越高發(fā),我們究竟被隱瞞了什么?

醫(yī)學(xué)博士:腫瘤越來(lái)越高發(fā),我們究竟被隱瞞了什么?

深度報(bào)
2025-12-21 23:01:02
美媒:中國(guó)月底迎來(lái)革命性武器大豐收,殲-36讓美軍航母無(wú)處遁形

美媒:中國(guó)月底迎來(lái)革命性武器大豐收,殲-36讓美軍航母無(wú)處遁形

面包夾知識(shí)
2025-12-22 16:10:48
2025-12-22 19:44:49
機(jī)器之心Pro incentive-icons
機(jī)器之心Pro
專業(yè)的人工智能媒體
11971文章數(shù) 142516關(guān)注度
往期回顧 全部

科技要聞

商湯聯(lián)創(chuàng)親自下場(chǎng) 痛批主流機(jī)器人技術(shù)大錯(cuò)

頭條要聞

東部戰(zhàn)區(qū)司令員楊志斌等2人晉升上將

頭條要聞

東部戰(zhàn)區(qū)司令員楊志斌等2人晉升上將

體育要聞

戴琳,中國(guó)足球的反向代言人

娛樂(lè)要聞

張柏芝不再隱瞞,三胎生父早有答案?

財(cái)經(jīng)要聞

央行信用新政:為失信者提供"糾錯(cuò)"通道

汽車要聞

可享88元抵2000元等多重權(quán)益 昊鉑A800開(kāi)啟盲訂

態(tài)度原創(chuàng)

時(shí)尚
本地
手機(jī)
數(shù)碼
公開(kāi)課

這是陳妍希?新劇開(kāi)播后居然長(zhǎng)這樣

本地新聞

云游安徽|走進(jìn)銅陵,照見(jiàn)三千年不滅的爐火

手機(jī)要聞

麒麟9系回歸!一圖讀懂華為nova 15系列:2699元起

數(shù)碼要聞

ThinkPad黑FUN禮:ThinkPad 2026FIFA世界杯定制款亮相

公開(kāi)課

李玫瑾:為什么性格比能力更重要?

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版