在人工智能邁向通用智能（AGI）的競(jìng)賽中，當(dāng)前最受追捧的強(qiáng)化學(xué)習(xí)（RL）路徑，可能正將我們引向一條歧路——RL越強(qiáng)，距離真正的AGI或許越遠(yuǎn)。

12月24日，知名科技博主、Dwarkesh Podcast博客主持人Dwarkesh Patel今日發(fā)布了一則引發(fā)行業(yè)深思的視頻，直擊當(dāng)前大模型發(fā)展的痛點(diǎn)。在硅谷普遍對(duì)Scaling Law（縮放定律）和RL（強(qiáng)化學(xué)習(xí)）持極度樂(lè)觀態(tài)度的背景下，Patel提出了一個(gè)反直覺(jué)的犀利觀點(diǎn)：對(duì)RL（強(qiáng)化學(xué)習(xí)）的過(guò)度依賴和投入，可能非但不是通往AGI的捷徑，反而是其遠(yuǎn)未到來(lái)的明確信號(hào)。

Patel的核心論點(diǎn)在于，當(dāng)前頂尖AI實(shí)驗(yàn)室正耗費(fèi)巨資，通過(guò)基于可驗(yàn)證結(jié)果的強(qiáng)化學(xué)習(xí)，為大模型“預(yù)制”大量特定技能，例如操作Excel或?yàn)g覽網(wǎng)頁(yè)。然而，這一做法本身就構(gòu)成了邏輯上的沖突。他犀利地指出：“如果我們真的接近一個(gè)類人學(xué)習(xí)者，那么這套在可驗(yàn)證結(jié)果上進(jìn)行訓(xùn)練的整個(gè)方法就注定要失敗�！�

在Patel看來(lái)，這種“預(yù)置”技能的模式，恰恰暴露了當(dāng)前模型的根本缺陷。人類之所以在工作中具有價(jià)值，正是因?yàn)槲覀儾恍枰獮楣ぷ鞯拿恳粋�(gè)細(xì)微部分都建立專門(mén)的“繁瑣訓(xùn)練循環(huán)”。一個(gè)真正的智能體應(yīng)該能夠通過(guò)經(jīng)驗(yàn)和反饋?zhàn)灾鲗W(xué)習(xí)，而不是依賴于預(yù)先排練好的腳本。如果AI無(wú)法做到這一點(diǎn)，那么其通用性就大打折扣，離真正的AGI也就相去甚遠(yuǎn)。

因此，Patel認(rèn)為，通往更強(qiáng)大AI的真正驅(qū)動(dòng)力，并非無(wú)盡的RL（強(qiáng)化學(xué)習(xí)），而是“持續(xù)學(xué)習(xí)”（Continual Learning）——即像人類一樣從經(jīng)驗(yàn)中學(xué)習(xí)的能力。他預(yù)測(cè)，解決持續(xù)學(xué)習(xí)問(wèn)題不會(huì)是一蹴而就的“單一成就”，而會(huì)是一個(gè)漸進(jìn)的過(guò)程，類似于模型在“上下文學(xué)習(xí)”能力上的逐步演進(jìn)。這個(gè)過(guò)程可能需要“5到10年才能完善”，從而排除了某個(gè)模型因率先破解該難題而獲得“失控優(yōu)勢(shì)”的可能性。

核心要點(diǎn)提煉：

• 技能預(yù)制的悖論：目前的模型依賴“預(yù)先植入”技能（如使用Excel或?yàn)g覽器），這恰恰證明了它們?nèi)狈θ祟惥邆涞耐ㄓ脤W(xué)習(xí)能力，AGI并不是迫在眉睫的。
• 機(jī)器人學(xué)的啟示：機(jī)器人問(wèn)題本質(zhì)是算法問(wèn)題而非硬件問(wèn)題。如果擁有類人學(xué)習(xí)能力，機(jī)器人早已普及，無(wú)需在該特定環(huán)境下反復(fù)訓(xùn)練百萬(wàn)次。
• 經(jīng)濟(jì)擴(kuò)散的“托詞”：所謂“技術(shù)擴(kuò)散需要時(shí)間”是自我安慰（Cope）。如果模型真有類人智能，它們會(huì)瞬間被企業(yè)吸納，因?yàn)樗鼈儽裙蛡蛉祟惛惋L(fēng)險(xiǎn)且無(wú)需培訓(xùn)。
• 收入與能力的落差：全球知識(shí)工作者創(chuàng)造數(shù)十萬(wàn)億美元價(jià)值，而模型收入遠(yuǎn)低于此，證明模型能力尚未達(dá)到替代人類的臨界點(diǎn)。
• 持續(xù)學(xué)習(xí)（Continual Learning）是關(guān)鍵：AGI的真正瓶頸在于“持續(xù)學(xué)習(xí)”能力，而非單純的RL算力堆疊。真正的AGI可能需要未來(lái)10到20年才能實(shí)現(xiàn)。

視頻文字全文實(shí)錄（由AI工具翻譯）：

Dwarkesh Patel 00:00
我很困惑。為什么有些人一方面認(rèn)為AGI（通用人工智能）很快就會(huì)實(shí)現(xiàn)，另一方面卻看好在頂級(jí)大模型上擴(kuò)大強(qiáng)化學(xué)習(xí)（Reinforcement Learning, RL）的應(yīng)用？如果我們真的接近造出一個(gè)像人類一樣的學(xué)習(xí)者，那么這種基于“可驗(yàn)證結(jié)果”進(jìn)行訓(xùn)練的整套方法注定是死路一條。
目前，各大實(shí)驗(yàn)室正試圖通過(guò)中途訓(xùn)練（mid-training）將大量技能“烘焙”（bake in）進(jìn)這些模型中�，F(xiàn)在有一整條供應(yīng)鏈的公司正在構(gòu)建虛擬環(huán)境，教模型如何瀏覽網(wǎng)頁(yè)或使用Excel建立財(cái)務(wù)模型�，F(xiàn)在的情況是，要么這些模型很快就能以自我導(dǎo)向的方式在職學(xué)習(xí)，這將使所有這些“預(yù)烘焙”工作變得毫無(wú)意義；要么它們不能，這意味著AGI并非迫在眉睫。人類不需要經(jīng)歷這種特殊的訓(xùn)練階段，也無(wú)需排練他們?cè)诠ぷ髦锌赡苄枰褂玫拿恳粋�(gè)軟件。
Dwarkesh Patel 00:45
Baron Millage在他最近的一篇博客文章中對(duì)此提出了一個(gè)有趣的觀點(diǎn)。他寫(xiě)道（引用）：“當(dāng)我們看到前沿模型在各種基準(zhǔn)測(cè)試中取得進(jìn)步時(shí)，我們不應(yīng)只想到規(guī)模的增加和聰明的機(jī)器學(xué)習(xí)研究思路，還應(yīng)想到支付給博士、醫(yī)學(xué)博士和其他專家的數(shù)十億美元，讓他們編寫(xiě)問(wèn)題并提供針對(duì)這些精確能力的示例答案和推理過(guò)程�！�
Dwarkesh Patel 01:07
你可以在機(jī)器人領(lǐng)域最生動(dòng)地看到這種張力。從某種根本意義上說(shuō)，機(jī)器人學(xué)是一個(gè)算法問(wèn)題，而不是硬件或數(shù)據(jù)問(wèn)題。人類只需要很少的訓(xùn)練，就可以學(xué)習(xí)如何操作當(dāng)前的硬件來(lái)做有用的工作。因此，如果你真的擁有一個(gè)類人的學(xué)習(xí)者，機(jī)器人學(xué)在很大程度上將是一個(gè)已解決的問(wèn)題。但事實(shí)是，我們沒(méi)有這樣一個(gè)學(xué)習(xí)者，這使得我們必須走進(jìn)1000個(gè)不同的家庭，練習(xí)一百萬(wàn)次如何拿起盤(pán)子或折疊衣物。
Dwarkesh Patel 01:32
現(xiàn)在，我從那些認(rèn)為我們要么在未來(lái)五年內(nèi)實(shí)現(xiàn)（AI）騰飛的人那里聽(tīng)到的一個(gè)論點(diǎn)是：我們需要做所有這些笨拙的RL工作，是為了構(gòu)建一個(gè)超人類的AI研究員。然后，這百萬(wàn)個(gè)自動(dòng)化的“Ilya”（指Ilya Sutskever，OpenAI前首席科學(xué)家）副本可以去搞清楚如何解決從經(jīng)驗(yàn)中進(jìn)行穩(wěn)健且高效學(xué)習(xí)的問(wèn)題。這給我的感覺(jué)就像那個(gè)老笑話：“我們要么每筆生意都虧錢(qián)，但我們會(huì)通過(guò)走量把錢(qián)賺回來(lái)�！边@個(gè)自動(dòng)化的研究員將找出AGI的算法——這是一個(gè)人類在這個(gè)世紀(jì)的大半時(shí)間里都在絞盡腦汁解決的問(wèn)題——而它甚至不具備兒童擁有的基本學(xué)習(xí)能力。我覺(jué)得這極不可能。
Dwarkesh Patel 02:09
此外，即使你相信這一點(diǎn)，這也不能描述實(shí)驗(yàn)室目前如何通過(guò)“可驗(yàn)證獎(jiǎng)勵(lì)”來(lái)進(jìn)行強(qiáng)化學(xué)習(xí)的方法。為了自動(dòng)化“Ilya”，你不需要預(yù)先植入制作PPT幻燈片的咨詢顧問(wèn)技能。所以很明顯，實(shí)驗(yàn)室的行動(dòng)暗示了一種世界觀，即這些模型將繼續(xù)在泛化能力和在崗學(xué)習(xí)方面表現(xiàn)不佳，從而使得有必要預(yù)先將我們希望具有經(jīng)濟(jì)用途的技能構(gòu)建到這些模型中。
Dwarkesh Patel 02:36
你目前可以提出的另一個(gè)論點(diǎn)是，即使模型可以在工作中學(xué)習(xí)這些技能，但在訓(xùn)練期間一次性構(gòu)建這些技能，比為每個(gè)用戶和每個(gè)公司一次又一次地構(gòu)建要高效得多。聽(tīng)著，將常見(jiàn)工具（如瀏覽器和終端）的流暢使用能力直接植入模型是非常有意義的。確實(shí)，AGI擁有的關(guān)鍵優(yōu)勢(shì)之一是這種在副本之間共享知識(shí)的巨大能力。但人們真的低估了大多數(shù)工作所需的“公司特定”和“語(yǔ)境特定”技能的數(shù)量。目前還沒(méi)有一種穩(wěn)健、高效的方法讓AI掌握這些技能。我最近和一個(gè)AI研究員以及一位生物學(xué)家共進(jìn)晚餐，結(jié)果發(fā)現(xiàn)這位生物學(xué)家對(duì)AGI的時(shí)間線預(yù)期很長(zhǎng)。所以我們問(wèn)她為什么預(yù)期這么長(zhǎng)。她說(shuō)：“你知道，最近實(shí)驗(yàn)室工作的一部分涉及查看幻燈片，并決定幻燈片中的那個(gè)點(diǎn)實(shí)際上是一個(gè)巨噬細(xì)胞，還是僅僅看起來(lái)像一個(gè)巨噬細(xì)胞。”正如你所預(yù)料的那樣，那位AI研究員回應(yīng)道：“看，圖像分類是一個(gè)教科書(shū)式的深度學(xué)習(xí)問(wèn)題。這是死板的中心問(wèn)題，也是我們可以訓(xùn)練這些模型去做的那種事情�！�
Dwarkesh Patel 03:45
我覺(jué)得這是一次非常有趣的交流，因?yàn)樗U明了我與那些預(yù)期未來(lái)幾年內(nèi)會(huì)有變革性經(jīng)濟(jì)影響的人之間的關(guān)鍵癥結(jié)。人類工人之所以有價(jià)值，正是因?yàn)槲覀儾恍枰獮樗麄児ぷ鞯拿恳粋�(gè)細(xì)小部分建立那些繁瑣的（schleppy）訓(xùn)練循環(huán)。鑒于這個(gè)實(shí)驗(yàn)室制備幻燈片的特定方式，建立一個(gè)定制的訓(xùn)練管道來(lái)識(shí)別巨噬細(xì)胞的樣子，然后為下一個(gè)特定的微任務(wù)再建立一個(gè)訓(xùn)練循環(huán)，依此類推，這并不是凈生產(chǎn)力的提升。你真正需要的是一個(gè)能夠從語(yǔ)義反饋或自我導(dǎo)向的經(jīng)驗(yàn)中學(xué)習(xí)，然后像人類一樣進(jìn)行泛化的AI。每天，你都要做100件需要判斷力、情境感知以及在工作中習(xí)得的技能和背景知識(shí)的事情。這些任務(wù)不僅因人而異，甚至同一個(gè)人每天的任務(wù)也不同。僅僅通過(guò)植入一套預(yù)定義的技能來(lái)自動(dòng)化單一工作是不可能的，更不用說(shuō)所有的工作了。
Dwarkesh Patel 04:46
事實(shí)上，我認(rèn)為人們真的低估了真正的AGI將是多么大的一件事，因?yàn)樗麄冎皇窍胂螽?dāng)前這種制度的延續(xù)。他們沒(méi)有思考服務(wù)器上數(shù)十億個(gè)類人智能，它們可以復(fù)制和合并所有的學(xué)習(xí)成果。明確一點(diǎn)，我預(yù)期這一點(diǎn)會(huì)發(fā)生，也就是說(shuō)，我預(yù)期在未來(lái)一二十年內(nèi)會(huì)出現(xiàn)真正的大腦般的智能，這已經(jīng)相當(dāng)瘋狂了。
Dwarkesh Patel 05:09
有時(shí)人們會(huì)說(shuō)，AI目前沒(méi)有在企業(yè)中更廣泛部署并在編碼之外提供大量?jī)r(jià)值的原因是，技術(shù)擴(kuò)散需要很長(zhǎng)時(shí)間。我認(rèn)為這是“Cope”（托詞/自我安慰），人們用這種托詞來(lái)掩蓋這樣一個(gè)事實(shí)：這些模型就是缺乏產(chǎn)生廣泛經(jīng)濟(jì)價(jià)值所必需的能力。
Dwarkesh Patel 05:28
如果這些模型真的像服務(wù)器上的人類，它們會(huì)以難以置信的速度擴(kuò)散。事實(shí)上，它們比普通人類員工更容易整合和入職。它們可以閱讀你所有的Slack記錄并在幾分鐘內(nèi)上手。它們可以立即提煉出你其他AI員工擁有的所有技能。此外，人類的招聘市場(chǎng)非常像一個(gè)“檸檬市場(chǎng)”（信息不對(duì)稱市場(chǎng)），很難預(yù)先知道誰(shuí)是優(yōu)秀的人才。顯然，雇傭一個(gè)結(jié)果很差的人成本是非常高的。如果你只是啟動(dòng)一個(gè)經(jīng)過(guò)驗(yàn)證的API模型的另一個(gè)實(shí)例，這就不是你必須面對(duì)或擔(dān)心的一種動(dòng)態(tài)。
Dwarkesh Patel 06:05
所以基于這些原因，我預(yù)計(jì)將AI勞動(dòng)力擴(kuò)散到企業(yè)中要比雇傭一個(gè)人容易得多。而公司無(wú)時(shí)無(wú)刻不在招人。
Dwarkesh Patel 06:14
如果能力真的達(dá)到了AGI水平，人們會(huì)愿意每年花費(fèi)數(shù)萬(wàn)億美元購(gòu)買這些模型生成的Token。全世界的知識(shí)工作者每年累計(jì)賺取數(shù)十萬(wàn)億美元的工資，而實(shí)驗(yàn)室現(xiàn)在的收入數(shù)字與之相差幾個(gè)數(shù)量級(jí)，原因就在于這些模型的能力遠(yuǎn)不如人類知識(shí)工作者�，F(xiàn)在，你可能會(huì)說(shuō)：“看，標(biāo)準(zhǔn)怎么突然變成了實(shí)驗(yàn)室要每年賺幾十萬(wàn)億美元的收入了？對(duì)吧？就在不久前，人們還在說(shuō)，這些模型能推理嗎？這些模型有常識(shí)嗎？它們只是在做模式識(shí)別嗎？”顯然，AI看多者批評(píng)AI看空者反復(fù)移動(dòng)這些球門(mén)（標(biāo)準(zhǔn)）是正確的。這通常是公平的。人們很容易低估AI在過(guò)去十年中取得的進(jìn)步，但一定程度的球門(mén)移動(dòng)實(shí)際上是合理的。如果你在2020年向我展示Gemini 3，我會(huì)確信它可以自動(dòng)化一半的知識(shí)工作。所以我們不斷解決我們認(rèn)為是通向AGI的充分瓶頸。我們擁有具備一般理解力的模型，它們有少樣本學(xué)習(xí)能力，它們有推理能力，然而我們?nèi)匀粵](méi)有AGI。
Dwarkesh Patel 07:24
那么，觀察到這一點(diǎn)的理性反應(yīng)是什么？我認(rèn)為完全合理反應(yīng)是看著這一切說(shuō)：“哦，實(shí)際上，智能和勞動(dòng)包含的內(nèi)容比我以前意識(shí)到的要多得多�！蔽覀�?cè)诤芏喾矫嬉呀?jīng)非常接近，甚至超過(guò)了我過(guò)去定義的AGI。
Dwarkesh Patel 07:41
模型公司沒(méi)有創(chuàng)造出AGI所暗示的數(shù)萬(wàn)億美元收入這一事實(shí)，清楚地表明我以前對(duì)AGI的定義太狹隘了，我預(yù)計(jì)這種情況在未來(lái)會(huì)繼續(xù)發(fā)生。我預(yù)計(jì)到2030年，實(shí)驗(yàn)室將在我熱衷的“持續(xù)學(xué)習(xí)”（continual learning）方面取得重大進(jìn)展，模型每年的收入將達(dá)到數(shù)千億美元，但它們?nèi)匀徊粫?huì)自動(dòng)化所有的知識(shí)工作。我會(huì)說(shuō)：“看，我們?nèi)〉昧撕艽筮M(jìn)步，但我們還沒(méi)有達(dá)到AGI。我們還需要這些其他能力�！�
如果模型在能力上的提升速度符合短期時(shí)間線派的預(yù)測(cè)，但在實(shí)用性上的提升速度符合長(zhǎng)期時(shí)間線派的預(yù)測(cè)，值得問(wèn)的是：我們?cè)跀U(kuò)展什么？在預(yù)訓(xùn)練（Pre-training）中，我們?cè)趽p失函數(shù)（loss）上有極其清晰和普遍的改進(jìn)趨勢(shì)，跨越了多個(gè)數(shù)量級(jí)的計(jì)算量，盡管這是一個(gè)冪律，雖然不如指數(shù)增長(zhǎng)強(qiáng)勁，但依然有效。但人們正試圖利用預(yù)訓(xùn)練擴(kuò)展所擁有的聲望（它幾乎像宇宙物理定律一樣可預(yù)測(cè)），來(lái)為基于可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RL）做出樂(lè)觀預(yù)測(cè)，而對(duì)于后者，我們并沒(méi)有廣為人知的趨勢(shì)。而當(dāng)無(wú)畏的研究人員確實(shí)試圖從稀缺的公共數(shù)據(jù)點(diǎn)拼湊出其含義時(shí)，他們得到了相當(dāng)悲觀的結(jié)果。例如，Toby Bord有一篇很棒的文章，他巧妙地連接了不同O系列基準(zhǔn)測(cè)試之間的點(diǎn)。
這向他表明：“我們需要在大約100萬(wàn)倍的總RL計(jì)算規(guī)模上進(jìn)行擴(kuò)展，才能獲得類似于單一GPT級(jí)別提升的效果�！�。所以人們花了很多時(shí)間討論“軟件奇點(diǎn)”的可能性，即AI模型將編寫(xiě)代碼生成更聰明的后繼系統(tǒng)，或者“軟件+硬件奇點(diǎn)”，即AI也改進(jìn)其后繼者的計(jì)算硬件。然而，所有這些場(chǎng)景都忽略了我認(rèn)為將是頂級(jí)API（應(yīng)指AGI）進(jìn)一步改進(jìn)的主要驅(qū)動(dòng)力：持續(xù)學(xué)習(xí)。再次強(qiáng)調(diào)，想想人類是如何變得比任何事物都更有能力的？主要是通過(guò)相關(guān)領(lǐng)域的經(jīng)驗(yàn)。
在談話中，Baron Millage提出了一個(gè)有趣的建議，即未來(lái)可能看起來(lái)像持續(xù)學(xué)習(xí)的智能體（Agents），它們都走出去，做不同的工作，產(chǎn)生價(jià)值。然后它們將所有的學(xué)習(xí)成果帶回蜂巢思維模型，該模型對(duì)所有這些智能體進(jìn)行某種批量蒸餾。智能體本身可能是相當(dāng)專業(yè)化的，包含Karpathy所說(shuō)的“認(rèn)知核心”加上與其被部署所做工作相關(guān)的知識(shí)和技能。解決持續(xù)學(xué)習(xí)不會(huì)是一次性的一勞永逸的成就。相反，這感覺(jué)就像解決“上下文學(xué)習(xí)”（in-context learning）�，F(xiàn)在的GPT-3在2020年就已經(jīng)證明了上下文學(xué)習(xí)可能非常強(qiáng)大。它的上下文學(xué)習(xí)能力如此驚人，以至于GPT-3論文的標(biāo)題就是《語(yǔ)言模型是少樣本學(xué)習(xí)者》。但當(dāng)然，當(dāng)GPT-3問(wèn)世時(shí)，我們并沒(méi)有徹底解決上下文學(xué)習(xí)。確實(shí)，從理解力到上下文長(zhǎng)度，仍然有大量的進(jìn)步需要取得。
Dwarkesh Patel 10:50
我預(yù)計(jì)持續(xù)學(xué)習(xí)也會(huì)有類似的進(jìn)展過(guò)程。實(shí)驗(yàn)室可能會(huì)在明年發(fā)布某種東西，他們稱之為持續(xù)學(xué)習(xí)，實(shí)際上這也算作通向持續(xù)學(xué)習(xí)的進(jìn)步。但人類水平的“在崗學(xué)習(xí)”可能還需要5到10年才能解決。這就是為什么我不指望第一個(gè)破解持續(xù)學(xué)習(xí)的模型會(huì)帶來(lái)某種失控的收益，而是會(huì)越來(lái)越廣泛地部署和增強(qiáng)能力。
Dwarkesh Patel 11:16
如果你完全解決了持續(xù)學(xué)習(xí)，并且它突然從天而降，那么當(dāng)然，正如Satya（微軟CEO）在播客中我在問(wèn)及這種不穩(wěn)定性時(shí)所說(shuō)的那樣，這可能是“Game, Set, Match”（比賽結(jié)束，勝負(fù)已分）。但這可能不是將會(huì)發(fā)生的事情。相反，某個(gè)實(shí)驗(yàn)室會(huì)找出如何在這個(gè)問(wèn)題上獲得一些初步牽引力的方法，然后通過(guò)把玩這個(gè)功能，它的實(shí)現(xiàn)方式就會(huì)變得清晰，隨后其他實(shí)驗(yàn)室很快就會(huì)復(fù)制這一突破并稍作改進(jìn)。此外，我只是有一些先驗(yàn)判斷，即所有這些模型公司之間的競(jìng)爭(zhēng)將保持相當(dāng)激烈。這是基于觀察得出的：所有以前所謂的飛輪效應(yīng)，無(wú)論是聊天機(jī)器人的用戶參與度，還是合成數(shù)據(jù)或其他什么，都在減少模型公司之間越來(lái)越大的競(jìng)爭(zhēng)方面收效甚微。每隔一個(gè)月左右，三大模型公司就會(huì)輪流登上領(lǐng)獎(jiǎng)臺(tái)，而其他競(jìng)爭(zhēng)對(duì)手并沒(méi)有落后太遠(yuǎn)。似乎有某種力量，可能是人才挖角，可能是謠言工廠，或者是NSF（此處可能指一般的科學(xué)基礎(chǔ)）或者僅僅是正常的逆向工程，到目前為止已經(jīng)抵消了單個(gè)實(shí)驗(yàn)室可能擁有的任何失控優(yōu)勢(shì)。
Dwarkesh Patel 12:14
這是對(duì)我最初在我的博客dwarkesh.com上發(fā)表的一篇文章的敘述。我將發(fā)表更多的文章。我發(fā)現(xiàn)這實(shí)際上非常有用于在采訪前理清我的思路。如果你想了解這些最新動(dòng)態(tài)，可以在dwarkesh.com訂閱。或者，我們下期播客見(jiàn)。干杯。
注：翻譯不能保證100%正確。