看了 Andrej Karpathy 的播客，信息量巨大

開(kāi)篇潑冷水：
未來(lái)十年沒(méi)有 AGI，只有 Agent

這里說(shuō)一下，Karpathy 是 OpenAI 早期成員，參與過(guò) GPT 背后的技術(shù)路線，在一線干了 15 年
同時(shí)，Karpathy 也是前特斯拉 AI 總監(jiān)

原始視頻在這里

同時(shí)，我制作了一份中文版音頻
使用的工具，是
（我弄了一整個(gè)周日，非常良心）

這里，我還準(zhǔn)備了一份文字實(shí)錄，中英雙語(yǔ)

中英雙語(yǔ)，非常貼心

在 Andrej Karpathy 眼中，當(dāng)前的 AI Agent，核心問(wèn)題有三個(gè)：

• ?continual learning：你告訴它一個(gè)事，它記不住

• ?multimodal：真正的多模態(tài)還沒(méi)做到

• ?computer use：不能像人一樣操作電腦

這三個(gè)問(wèn)題，每一個(gè)都得花好幾年解決

AGI 還要十年

有人說(shuō)今年是 Agent 之年
Karpathy 表示：應(yīng)該叫「agents 的十年」

在他的觀點(diǎn)里
我們未來(lái)十年沒(méi)有 AGI，只有 Agent
業(yè)界有很多 over-prediction
對(duì)于 AGI 大家都太樂(lè)觀了

Andrej Karpathy：AGI 需要十年

他舉了個(gè)例子
你現(xiàn)在有 Claude、有 Codex，對(duì)吧，很厲害
但你會(huì)讓它們替你干活嗎？不會(huì)

為什么？
因?yàn)樗鼈兙褪遣恍?/p>

智能不夠、多模態(tài)不夠、記不住東西、不能操作電腦
這些問(wèn)題，每一個(gè)都是硬骨頭
要花時(shí)間一個(gè)個(gè)啃

continual learning 這個(gè)事，很多人可能沒(méi)意識(shí)到有多重要

現(xiàn)在的 LLM，你跟它聊天
它看起來(lái)「記住」了你說(shuō)的話
但那只是因?yàn)閷?duì)話歷史還在 context window 里
你關(guān)掉窗口，重新開(kāi)一個(gè)對(duì)話，它什么都不記得

這不是 bug，這是設(shè)計(jì)就這樣
要讓它真的「學(xué)習(xí)」新知識(shí)
不只是記住，而是真正理解并融入已有知識(shí)體系

目前沒(méi)有好辦法
你可能會(huì)想，那就擴(kuò)大 context window 不就行了

問(wèn)題是這治標(biāo)不治本，學(xué)習(xí)不能只是把內(nèi)容簡(jiǎn)單地塞進(jìn)上下文
真正的學(xué)習(xí)，是要把新知識(shí)整合到模型的參數(shù)里
這需要重新訓(xùn)練，或者找到新的架構(gòu)，成本高得嚇人

當(dāng)前的AI， 無(wú)法真正學(xué)習(xí)新知識(shí) 強(qiáng)化學(xué)習(xí)：terrible, but everything else is worse

播客里有個(gè)特別有意思的部分

Karpathy 說(shuō)：
強(qiáng)化學(xué)習(xí)是個(gè)糟糕的選擇

但緊接著他又說(shuō)：
但其他方法更糟糕

這話聽(tīng)著矛盾，但其實(shí)是對(duì)現(xiàn)狀最準(zhǔn)確的描述
RL 的問(wèn)題主要是數(shù)據(jù)效率太低
你想讓模型學(xué)會(huì)一個(gè)東西，得讓它試錯(cuò)無(wú)數(shù)次

AlphaGo 下圍棋，self-play 了幾百萬(wàn)局
才達(dá)到世界冠軍水平

這種訓(xùn)練方式，放在真實(shí)世界根本不現(xiàn)實(shí)
你不可能讓自動(dòng)駕駛撞車幾百萬(wàn)次來(lái)學(xué)習(xí)
你也不可能讓醫(yī)療 AI 誤診幾百萬(wàn)次來(lái)進(jìn)步
所以：RL 在真實(shí)世界的應(yīng)用，始終受限于數(shù)據(jù)效率

強(qiáng)化學(xué)習(xí)，需要海量試錯(cuò)

但為什么還要用 RL？

因?yàn)?strong>supervised learning也有問(wèn)題：
需要大量標(biāo)注數(shù)據(jù)
而真正難的任務(wù)，根本標(biāo)注不出來(lái)

比如「寫一個(gè)好的代碼」、「做一個(gè)好的決策」
什么叫「好」
人類自己都說(shuō)不清楚

你讓標(biāo)注員去標(biāo)注什么是「好代碼」
每個(gè)人的標(biāo)準(zhǔn)都不一樣
有人覺(jué)得簡(jiǎn)潔就是好，有人覺(jué)得性能高就是好
這種主觀性太強(qiáng)的任務(wù)，標(biāo)注成本高得離譜
而且質(zhì)量還沒(méi)保證
所以最后還是得回到 RL，讓模型自己在反饋中學(xué)
通過(guò)獎(jiǎng)勵(lì)信號(hào)，而不是人工標(biāo)注，是目前唯一可行的路

Karpathy 的判斷是：
未來(lái)會(huì)是 SL + RL 的混合
先用 supervised learning 學(xué)個(gè)大概，建立基礎(chǔ)能力
再用 RL 精調(diào)，在具體任務(wù)上優(yōu)化

但這條路，還有很長(zhǎng)的路要走
需要解決的技術(shù)問(wèn)題一堆
比如怎么設(shè)計(jì)好的獎(jiǎng)勵(lì)函數(shù)，怎么平衡探索和利用
每一個(gè)都不容易

未來(lái)的訓(xùn)練方式：監(jiān)督學(xué)習(xí) + 強(qiáng)化學(xué)習(xí) 人類怎么學(xué)習(xí)，AI 為什么學(xué)不會(huì)

播客里有一段特別精彩

主持人問(wèn)：
人類是怎么學(xué)習(xí)的，為什么 AI 學(xué)不會(huì)

Karpathy 給了個(gè)很有意思的觀點(diǎn)
人類的學(xué)習(xí)，是多模態(tài) + embodied + continual 的

什么意思？
對(duì)于一個(gè)蘋果，在人類的認(rèn)識(shí)中：

• ? 視覺(jué)上看到紅色、圓形

• ? 觸覺(jué)上感受到光滑、硬度

• ? 味覺(jué)上嘗到甜味

• ? 聽(tīng)覺(jué)上聽(tīng)到咬下去聲音

這些信息是同時(shí)發(fā)生的，互相強(qiáng)化的
而且你一輩子都在學(xué)，不斷更新認(rèn)知

你小時(shí)候?qū)Α柑O果」的理解
和你現(xiàn)在對(duì)「蘋果」的理解
肯定不一樣

正如...
小時(shí)候?qū)Α附j(luò)腮胡」的理解
和你現(xiàn)在對(duì)「絡(luò)腮胡」的理解
也不一樣（霧

這種持續(xù)的、多模態(tài)的學(xué)習(xí)方式，是人類智能的基礎(chǔ)

人的學(xué)習(xí)能力，很牛逼

但 LLM 呢？它只有文本
雖然現(xiàn)在有了 vision model，但那還不是真正的 multimodal
真正的 multimodal，是所有模態(tài)在同一個(gè) latent space 里
信息是融合的，不是翻譯的

現(xiàn)在的做法，更像是把圖片翻譯成文本描述，再喂給 LLM
這不是真正的融合
就像你把一個(gè)視頻的每一幀都寫成文字描述
這個(gè)描述再詳細(xì)，也不等于你真的看了視頻
丟失的信息太多了

而且，LLM 不能 continual learning
你今天告訴它一個(gè)新知識(shí)，明天它就忘了
除非你重新訓(xùn)練整個(gè)模型，但那成本太高

一個(gè)模型訓(xùn)練一次，可能要花幾百萬(wàn)美元
你不可能每次有新知識(shí)就重新訓(xùn)練一遍

Karpathy 說(shuō)：
這是個(gè)根本性的架構(gòu)問(wèn)題
當(dāng)前的 transformer 架構(gòu)，就不是為 continual learning 設(shè)計(jì)的

它的參數(shù)是固定的，訓(xùn)練完就凍結(jié)了
要解決這個(gè)問(wèn)題，可能需要新的架構(gòu)
能夠動(dòng)態(tài)更新參數(shù)，而不影響已有知識(shí)
這是一個(gè)很難的問(wèn)題

學(xué)術(shù)界在研究，但還沒(méi)有成熟的方案

Transformer 架構(gòu)不支持持續(xù)學(xué)習(xí) model collapse：AI 不能吃自己

播客里還提到一個(gè)很有意思的概念：
model collapse

什么意思？
就是 AI 生成的數(shù)據(jù)，不能用來(lái)訓(xùn)練 AI
為什么？
因?yàn)闀?huì)越來(lái)越糟

人類可以從人類寫的東西里學(xué)習(xí)，對(duì)吧
你讀別人寫的書，你變聰明了
代際之間互相學(xué)習(xí)，知識(shí)不斷積累

但 AI 不行
如果你用 AI 生成的文本，再去訓(xùn)練下一代 AI，模型就會(huì)越來(lái)越偏
最后輸出變得越來(lái)越單調(diào)、越來(lái)越重復(fù)

打個(gè)比喻...算了，不解釋了...

這個(gè)問(wèn)題其實(shí)挺嚴(yán)重的
現(xiàn)在網(wǎng)上越來(lái)越多 AI 生成的內(nèi)容
文章、代碼、圖片、視頻
如果下一代 AI 訓(xùn)練的時(shí)候，把這些內(nèi)容也當(dāng)成「真實(shí)數(shù)據(jù)」
那就完了

模型會(huì)學(xué)到 AI 的偏見(jiàn)和錯(cuò)誤
然后放大這些偏見(jiàn)和錯(cuò)誤
循環(huán)往復(fù)，越來(lái)越糟

這就是為什么 AI 不能像人類那樣自我學(xué)習(xí)
人類可以互相學(xué)習(xí)、代際傳承
但 AI 必須依賴人類產(chǎn)生的真實(shí)數(shù)據(jù)
這是個(gè)很大的瓶頸

而且隨著 AI 生成內(nèi)容越來(lái)越多
「干凈」的人類數(shù)據(jù)會(huì)越來(lái)越少
將來(lái)怎么辦？值得思考

有人提出：
可以標(biāo)注 AI 生成的內(nèi)容，訓(xùn)練時(shí)過(guò)濾掉

但這也不容易
AI 生成的內(nèi)容越來(lái)越逼真，很難區(qū)分
而且標(biāo)注成本也很高

這個(gè)問(wèn)題，目前還沒(méi)有好的解決方案

AI 生成內(nèi)容，正在污染整個(gè)互聯(lián)網(wǎng) AGI 會(huì)是什么樣：融入 2% 的 GDP 增長(zhǎng)

很多人對(duì) AGI 有個(gè)幻想
覺(jué)得會(huì)有個(gè)奇點(diǎn)，突然爆炸
某一天，AGI 出現(xiàn)了，然后世界完全變了

Karpathy 說(shuō)：不會(huì)的

他的判斷是：
AGI 會(huì)融入過(guò)去 2.5 個(gè)世紀(jì)的 2% GDP 增長(zhǎng)

什么意思？
過(guò)去 250 年，人類社會(huì)一直在以每年 2% 的速度增長(zhǎng)
蒸汽機(jī)來(lái)了，2%
電力來(lái)了，2%
互聯(lián)網(wǎng)來(lái)了，2%

為什么？
因?yàn)榧夹g(shù)革命不是一瞬間的
它需要時(shí)間擴(kuò)散、需要基礎(chǔ)設(shè)施、需要人適應(yīng)

蒸汽機(jī)發(fā)明了，不是第二天所有工廠都換成蒸汽動(dòng)力
需要幾十年時(shí)間，建鐵路、建工廠、培訓(xùn)工人

互聯(lián)網(wǎng)也一樣
1990 年代就有了，但真正普及到每個(gè)人手機(jī)上，用了 20 多年

windows xp，發(fā)布于 2001 年

AGI 也一樣
它會(huì)逐漸滲透到各行各業(yè)
但不會(huì)在某一天突然改變一切
先是一些簡(jiǎn)單的任務(wù)被自動(dòng)化
然后是復(fù)雜的任務(wù)
一步步來(lái)

期間會(huì)有陣痛，會(huì)有失業(yè)，會(huì)有適應(yīng)期
但不會(huì)是突然的、劇烈的

Karpathy 說(shuō)
他不相信「hard takeoff」

他相信的是：
AGI 會(huì)像之前所有技術(shù)革命一樣，緩慢、漸進(jìn)地改變世界

這個(gè)判斷，其實(shí)挺重要的
如果 AGI 真的是這樣，那我們有時(shí)間準(zhǔn)備
不用擔(dān)心明天醒來(lái)世界就變了
可以慢慢調(diào)整教育體系、社會(huì)保障、法律法規(guī)

這是一個(gè)好消息
當(dāng)然，2% 的增長(zhǎng)也不是絕對(duì)的
可能某些年份會(huì)高一些，某些年份低一些
但長(zhǎng)期來(lái)看，會(huì)是一個(gè)相對(duì)穩(wěn)定的、可預(yù)測(cè)的過(guò)程
而不是指數(shù)爆炸式的奇點(diǎn)

自動(dòng)駕駛：為什么花了這么久

播客里還聊了自動(dòng)駕駛
Karpathy 在特斯拉干了 5 年 Autopilot，他太清楚這里面的坑了

主持人問(wèn)：
為什么自動(dòng)駕駛這么難，為什么花了這么久

Karpathy 給了幾個(gè)理由

第一個(gè)，是 long tail problem

你以為自動(dòng)駕駛就是識(shí)別車道線、識(shí)別紅綠燈
太天真了，真實(shí)世界有無(wú)數(shù)種情況
施工路段、臨時(shí)路牌、突然竄出的小孩、逆行的瘋子、路上的大坑、掉落的貨物

這些「長(zhǎng)尾情況」，占比很小，但每一個(gè)都可能致命
你必須把它們?nèi)拷鉀Q
不能說(shuō)「我 99% 的情況都能處理」，剩下的 1% 就會(huì)是事故

而且這個(gè)長(zhǎng)尾，真的很長(zhǎng)
你以為處理完 100 種情況就夠了
結(jié)果發(fā)現(xiàn)還有 1000 種
處理完 1000 種，還有 10000 種
永遠(yuǎn)有新的邊緣情況
這就是為什么自動(dòng)駕駛這么難

第二個(gè)，是 safety bar

自動(dòng)駕駛不是「比人類平均水平好」就行
它必須遠(yuǎn)好于人類

為什么？
人們對(duì)機(jī)器的容忍度，遠(yuǎn)低于對(duì)人的容忍度

人類司機(jī)每天撞車，大家習(xí)慣了
美國(guó)每年 4 萬(wàn)人死于車禍，大家也接受了
但如果是自動(dòng)駕駛撞了一次
新聞?lì)^條、國(guó)會(huì)聽(tīng)證、股價(jià)暴跌
所以 safety bar 特別高
（所以... AGI Bar 呢？）

不是做到人類水平就行，要做到遠(yuǎn)超人類水平
這個(gè)標(biāo)準(zhǔn)，其實(shí)挺不公平的
但現(xiàn)實(shí)就是這樣
技術(shù)要被接受，必須遠(yuǎn)好于現(xiàn)狀
不能只是「稍微好一點(diǎn)」

第三個(gè)，是 data problem

自動(dòng)駕駛，需要海量的真實(shí)駕駛數(shù)據(jù)
再次劃重點(diǎn)：真實(shí)世界的

這需要時(shí)間積累
特斯拉為什么現(xiàn)在做得好
因?yàn)樗袔装偃f(wàn)輛車在路上跑，每天收集數(shù)據(jù)
這是花錢買不來(lái)的

你可以造一個(gè)很貴的實(shí)驗(yàn)室，雇一堆博士
但你造不出幾百萬(wàn)輛車在路上跑的數(shù)據(jù)
這個(gè)優(yōu)勢(shì)，其他公司很難追上

Karpathy 說(shuō)：
自動(dòng)駕駛花了這么久，其實(shí)是給 AGI 的一個(gè)預(yù)警
AGI 會(huì)遇到同樣的問(wèn)題

long tail、safety、data
每一個(gè)都需要時(shí)間
不是說(shuō)模型做出來(lái)就完事了
還要在真實(shí)世界里打磨，處理各種邊緣情況
這個(gè)過(guò)程，可能比模型訓(xùn)練本身還要長(zhǎng)

教育的未來(lái)：untangling knowledge

播客最后聊了教育

Karpathy 現(xiàn)在在做 Eureka Labs，一個(gè) AI 教育公司
他對(duì)教育有個(gè)很有意思的理解
好的教育，是 untangling knowledge

什么意思？
知識(shí)本身是一團(tuán)亂麻
所有概念互相纏繞、互相依賴
但學(xué)習(xí)需要一個(gè)線性的路徑
你得先學(xué) A，才能學(xué) B

好的老師，就是把這團(tuán)亂麻理清楚
讓學(xué)生按照一個(gè)清晰的順序，一步步往上爬
每一步都只依賴前面學(xué)過(guò)的東西
不會(huì)突然冒出一個(gè)新概念，讓你措手不及

Karpathy 舉了個(gè)例子
他的 transformer 教程，為什么大家覺(jué)得好
因?yàn)樗麖?bigram 開(kāi)始

bigram 是什么？
就是個(gè) lookup table：上一個(gè)詞是 A，下一個(gè)詞是 B
就這么簡(jiǎn)單
一個(gè) 2 維表格，誰(shuí)都能看懂
然后一步步加?xùn)|西
加 embedding、加 attention、加 layer norm

好的教育，每一步都會(huì)解釋：為什么要加?xùn)|西，這是在解決什么問(wèn)題這就是 untangling
比如，把復(fù)雜的 transformer 拆成一步步的演進(jìn)，每一步都有章可循

emmmmm...

他還說(shuō)了個(gè)特別重要的教育原則：
present the pain before you present the solution
別上來(lái)就告訴學(xué)生答案，先讓他們感受到問(wèn)題，然后再給解決方案，這樣學(xué)得才深

為什么？
因?yàn)槿绻阒苯咏o答案，學(xué)生不知道這個(gè)答案解決了什么問(wèn)題

就像你告訴學(xué)生「attention 機(jī)制是這樣的」
學(xué)生學(xué)會(huì)了公式，但不知道為什么需要 attention

如果你先展示問(wèn)題：
之前的模型處理長(zhǎng)序列有這個(gè)問(wèn)題

先讓學(xué)生自己思考怎么解決
然后你再給出 attention 這個(gè)方案
學(xué)生會(huì)恍然大悟：原來(lái)是這樣解決的
這種學(xué)習(xí)，才是深刻的，才能記得住

這個(gè)原則，其實(shí)不只適用于技術(shù)教育
任何教育都一樣
先讓學(xué)生感受到問(wèn)題的存在，再給解決方案，這樣學(xué)習(xí)效果最好

最后說(shuō)兩句

這個(gè)播客值得一看
Karpathy 是一個(gè)在一線干了 15 年的人
很誠(chéng)實(shí)地說(shuō)出他看到的東西

在 Karpaty 眼中，AGI 還需要十年
不是因?yàn)榧夹g(shù)不行，而是因?yàn)閱?wèn)題太多、太難

continual learning、multimodal、safety、long tail、data
每一個(gè)都是硬骨頭，需要時(shí)間一個(gè)個(gè)啃，但也不是遙不可及

十年，聽(tīng)起來(lái)很長(zhǎng)
但 iPhone 發(fā)布到現(xiàn)在，也就 17 年

不用焦慮，也不用盲目樂(lè)觀
踏踏實(shí)實(shí)做事就好