文章轉(zhuǎn)載于量子位
作者：鷺羽

我們正在經(jīng)歷一次靜悄悄、但本質(zhì)性的AI范式轉(zhuǎn)換。 它的意義不亞于Transformer本身。

過(guò)去一年里，關(guān)于AI發(fā)展，出現(xiàn)了兩種觀點(diǎn)的分化：

• 一邊是“AI增長(zhǎng)放緩、模型到頂、預(yù)訓(xùn)練無(wú)用論”

• 另一邊則是隔三差五就來(lái)一次“AI大周”： GPT-5.1 、 Gemini 3 、 Grok 4.1 。

而Transformer作者之一、現(xiàn)任OpenAI研究科學(xué)家的?ukasz Kaiser最近接受采訪，給出了第一視角的解答。

信息量極大，包括AI的底層范式轉(zhuǎn)變、GPT-5.1的命名規(guī)則、未來(lái)AI的發(fā)展趨勢(shì)……以及Transformer誕生背后的二三事。

AI不是變慢了，而是換代了。 GPT-5.1不是簡(jiǎn)單的小版本迭代，OpenAI內(nèi)部版本命名規(guī)則有所變化。 多模態(tài)推理將會(huì)成為下一個(gè)突破點(diǎn)。 AI不會(huì)讓人類完全失去工作。 家用機(jī)器人是繼ChatGPT后最可見(jiàn)的AI革命。

下面一起來(lái)康康詳細(xì)內(nèi)容：

1

AI發(fā)展沒(méi)有放緩，而是平穩(wěn)增長(zhǎng)

過(guò)去一年里，有關(guān)“模型進(jìn)展變緩”的聲音層出不窮，但?ukasz認(rèn)為這種看法是錯(cuò)誤的。

他給出的解釋也很直白：

從內(nèi)部視角看，AI的能力增長(zhǎng)是一條非常平滑的指數(shù)曲線。

這類似于摩爾定律，幾十年來(lái)摩爾定律始終有效，甚至在GPU的推動(dòng)下還在加速，歸根結(jié)底也是因?yàn)樗鼩v經(jīng)了數(shù)代技術(shù)的迭代。

因此，AI從外部看，趨勢(shì)是平穩(wěn)的；而從內(nèi)部看，其進(jìn)步也離不開(kāi)新技術(shù)、計(jì)算機(jī)能力的提升和工程優(yōu)化的共同作用。

至于為什么會(huì)有人覺(jué)得“變慢了”，原因無(wú)它：AI的底層范式，已經(jīng)悄悄從預(yù)訓(xùn)練轉(zhuǎn)向推理模型。

這也是繼Transformer誕生后的又一次關(guān)鍵轉(zhuǎn)折。

如果把技術(shù)發(fā)展的過(guò)程描述為一條S型曲線（起步→快速增長(zhǎng)→平穩(wěn)期），那么預(yù)訓(xùn)練就處于S曲線的上升后期，而推理模型仍處于初期。

不過(guò)這并不意味著預(yù)訓(xùn)練的Scaling Laws就失效了，它仍在發(fā)揮作用，只是和新的推理范式相比，需要投入更多的資金。

所以出于經(jīng)濟(jì)上的考量，業(yè)內(nèi)人士開(kāi)始普遍將工作重心轉(zhuǎn)向更小也更便宜，但質(zhì)量相同的模型，所以這也是導(dǎo)致外界認(rèn)為預(yù)訓(xùn)練已經(jīng)停止的原因之一。

那么回到推理模型上，由于該范式還處于新興階段，進(jìn)步速度會(huì)相當(dāng)之快。

以ChatGPT為例，GPT-3.5會(huì)直接基于訓(xùn)練數(shù)據(jù)記憶給出答案，而不會(huì)借助任何外部工具和推理，反觀現(xiàn)在最新的ChatGPT會(huì)主動(dòng)瀏覽網(wǎng)站、進(jìn)行推理分析，再給出準(zhǔn)確答案。

對(duì)于普通用戶來(lái)說(shuō)，如果不仔細(xì)對(duì)比，可能會(huì)覺(jué)得二者差異不大，但實(shí)際上這背后是性能質(zhì)的飛躍。

又比如說(shuō)Codex，程序員的工作方式已經(jīng)在近幾個(gè)月里轉(zhuǎn)變?yōu)?strong>“Codex先處理，然后人工微調(diào)”的模式，這種變化其實(shí)相當(dāng)之徹底，但如果不是專業(yè)從事編程工作，自然不會(huì)留意到這種根本性變革。

所以總的來(lái)說(shuō)，這一切的變化都發(fā)生得太快，以至于讓人們還未曾察覺(jué)到其中的變化。

而推理模型的本質(zhì)其實(shí)也與基礎(chǔ)大模型類似，只是在給出最終答案前，會(huì)優(yōu)先進(jìn)行思考，也就是所謂的思維鏈。

在思考過(guò)程中，模型被允許使用工具，例如瀏覽網(wǎng)頁(yè)，以給出更準(zhǔn)確的答案。其推理過(guò)程也會(huì)被視為模型的一部分并接受訓(xùn)練。

相比于傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)梯度下降訓(xùn)練，推理模型則更多使用的是強(qiáng)化學(xué)習(xí)。

具體來(lái)說(shuō)，強(qiáng)化學(xué)習(xí)會(huì)通過(guò)獎(jiǎng)勵(lì)機(jī)制推動(dòng)模型獲取更好的答案，也需要研究人員提供更細(xì)致的數(shù)據(jù)準(zhǔn)備，以完成強(qiáng)化學(xué)習(xí)的參數(shù)調(diào)整。

然后通過(guò)強(qiáng)化學(xué)習(xí)，模型就能學(xué)會(huì)對(duì)自身錯(cuò)誤的糾正。

后續(xù)行業(yè)也會(huì)繼續(xù)轉(zhuǎn)向更復(fù)雜的強(qiáng)化學(xué)習(xí)，例如借助一個(gè)大模型來(lái)判斷答案的正確性或偏好度，或者融入更多的人類偏好。

總之，未來(lái)強(qiáng)化學(xué)習(xí)的應(yīng)用范圍會(huì)更加廣泛，不僅僅適用于特定領(lǐng)域，還能處理更多通用數(shù)據(jù)，比如說(shuō)多模態(tài)推理，雖然最近Gemini已經(jīng)能夠在推理過(guò)程中生成圖像，但整體來(lái)說(shuō)還處于剛剛起步的階段，相信在強(qiáng)化學(xué)習(xí)的幫助下會(huì)有進(jìn)一步的提升。

1

GPT-5.1絕非表面上的小版本更新

關(guān)于最近發(fā)布的GPT-5.1，?ukasz也釋出了更多細(xì)節(jié)。

GPT-5.1看起來(lái)只是小版本更迭，實(shí)際從內(nèi)部來(lái)講，是一個(gè)巨大的穩(wěn)定性迭代。

首先回到最初的GPT-4到GPT-5，簡(jiǎn)單來(lái)說(shuō)，得益于強(qiáng)化學(xué)習(xí)和合成數(shù)據(jù)的應(yīng)用，GPT-5的推理能力明顯提升了。

而到GPT-5.1的改進(jìn)，則更多集中在后訓(xùn)練階段，比如增加安全性、減少幻覺(jué)，以及添加了如書(shū)呆子、專業(yè)等多種風(fēng)格選擇。

版本的命名方式也不再與技術(shù)細(xì)節(jié)掛鉤，轉(zhuǎn)而以用戶體驗(yàn)為導(dǎo)向，比如GPT-5是基礎(chǔ)能力較強(qiáng)的模型，GPT-5.1是能力更優(yōu)的版本，Mini是更小、更快、更廉價(jià)但性能稍弱的模型，推理模型則專注于復(fù)雜任務(wù)。

這種命名方式的轉(zhuǎn)變也為OpenAI內(nèi)部帶來(lái)了更多靈活性，現(xiàn)在強(qiáng)化學(xué)習(xí)、預(yù)訓(xùn)練、幻燈片優(yōu)化等多個(gè)項(xiàng)目并行工作，然后通過(guò)蒸餾技術(shù)就能將多項(xiàng)目成果整合到一個(gè)模型中。

這大大縮短了模型迭代時(shí)間，可以更好地滿足用戶體驗(yàn)需求，所以GPT-5.1看似是小版本更新，實(shí)則背后是OpenAI基于用戶對(duì)其能力和目標(biāo)預(yù)期做出的策略調(diào)整。

不過(guò)坦白地講，GPT-5.1在部分能力上仍然存在短板。

比如?ukasz用自己5歲的女兒舉了個(gè)例子——

GPT-5.1能夠游刃有余地解決奧林匹克競(jìng)賽題，但在面對(duì)小學(xué)一年級(jí)的數(shù)奇偶數(shù)題目上卻錯(cuò)誤百出。

該題目?jī)?nèi)容是，圖中有兩組點(diǎn)，中間有一個(gè)共享點(diǎn)，問(wèn)總點(diǎn)數(shù)是奇數(shù)還是偶數(shù)。

5歲的孩子能夠在10秒內(nèi)就算出答案（因?yàn)楣蚕睃c(diǎn)的存在導(dǎo)致總點(diǎn)數(shù)為奇數(shù)），但無(wú)論GPT-5.1還是Gemini 3都會(huì)自動(dòng)忽略這個(gè)共享點(diǎn)，誤判為偶數(shù)。

這主要還是因?yàn)槟Ｐ腿狈ψ銐虻亩嗄B(tài)能力，也未能將一個(gè)問(wèn)題的推理經(jīng)驗(yàn)遷移到相似場(chǎng)景中，所以后續(xù)他們將會(huì)在訓(xùn)練中進(jìn)一步強(qiáng)化多模態(tài)推理和上下文推理遷移能力。

1

從谷歌Transformer走向OpenAI

而作為T(mén)ransformer的作者之一，?ukasz也在訪談中補(bǔ)充了很多誕生細(xì)節(jié)。

?ukasz自己原先是一名專注于理論計(jì)算機(jī)科學(xué)的學(xué)者，高中時(shí)就對(duì)數(shù)學(xué)和計(jì)算機(jī)充滿興趣，并在德國(guó)獲得了理論計(jì)算機(jī)科學(xué)與數(shù)學(xué)博士學(xué)位。

他一直對(duì)“思維是如何運(yùn)作的”、“智能的本質(zhì)是什么”諸如此類的問(wèn)題充滿好奇，也曾在法國(guó)獲得終身教職，從事邏輯和編程研究。

直到深度學(xué)習(xí)興起，他加入了谷歌。

先是成為了Ray Kurzweil團(tuán)隊(duì)的一員，后轉(zhuǎn)至Google Brain，開(kāi)始與Ilya Sutskever等人合作。

在開(kāi)發(fā)Transformer的過(guò)程中，?ukasz主要負(fù)責(zé)編碼和系統(tǒng)工作，參與TensorFlow框架的開(kāi)發(fā)。

不過(guò)有趣的是，據(jù)他回憶，Transformer論文的八位共同作者從未在同一個(gè)物理房間中共同出現(xiàn)過(guò)。

而雖然他們彼此之間素未謀面，但他們通過(guò)不同角度共同構(gòu)建了這個(gè)模型：

有人專注于注意力機(jī)制本身，有人研究如何通過(guò)前饋網(wǎng)絡(luò)存儲(chǔ)知識(shí)，還有人復(fù)雜解決工程實(shí)現(xiàn)問(wèn)題，比如他自己。

從現(xiàn)在的角度看，Transformer毫無(wú)疑問(wèn)是當(dāng)今AI架構(gòu)的里程碑，但在當(dāng)時(shí)，很多人對(duì)用同一個(gè)模型處理多個(gè)任務(wù)的想法并不理解，他們普遍認(rèn)為不同任務(wù)就應(yīng)該分別訓(xùn)練不同的專有模型。

而他們八個(gè)人堅(jiān)信自己的選擇，后來(lái)的事實(shí)也證實(shí)了他們的想法是正確的。

關(guān)于之所以離開(kāi)谷歌，轉(zhuǎn)投OpenAI，其中一個(gè)原因還是因?yàn)閘lya。

llya在谷歌時(shí)期就是?ukasz的直系領(lǐng)導(dǎo)，在創(chuàng)辦OpenAI后也屢次邀請(qǐng)他加入。剛好這時(shí)，?ukasz也無(wú)法適應(yīng)Google Brain的團(tuán)隊(duì)規(guī)模擴(kuò)大以及遠(yuǎn)程工作氛圍，于是一拍即合，來(lái)到了OpenAI。

OpenAI也沒(méi)有讓他失望，這里沒(méi)有嚴(yán)格的組織架構(gòu)，都是根據(jù)項(xiàng)目自發(fā)組隊(duì)，也會(huì)根據(jù)項(xiàng)目進(jìn)展靈活調(diào)整，直到項(xiàng)目成熟才會(huì)逐步擴(kuò)大團(tuán)隊(duì)。

當(dāng)然不同項(xiàng)目之間也會(huì)存在資源競(jìng)爭(zhēng)，畢竟OpenAI內(nèi)部GPU資源有限。

從技術(shù)層面看，預(yù)訓(xùn)練目前消耗的GPU資源最多，其次是強(qiáng)化學(xué)習(xí)和視頻模型，資源分配在很大程度上還是由技術(shù)需求決定。

所以競(jìng)爭(zhēng)不可避免，?ukasz本人也不例外。

1

下一次突破來(lái)自多模態(tài)推理+具身智能

最后，?ukasz聊了聊他眼中的AI未來(lái)。

AI會(huì)改變工作，但不會(huì)讓工作消失。

因?yàn)閺漠a(chǎn)品層面上看，即使AI自動(dòng)化了絕大部分任務(wù)，但人類專家的需求仍然存在。

以翻譯行業(yè)為例，其實(shí)Transformer論文最初的應(yīng)用場(chǎng)景就是翻譯，現(xiàn)在的模型也能準(zhǔn)確翻譯西班牙語(yǔ)、法語(yǔ)等語(yǔ)言，但對(duì)于報(bào)紙廣告乃至ChatGPT UI界面，仍然需要人類譯者進(jìn)行二次審核。

這本質(zhì)上是信任問(wèn)題，即使模型能力再?gòu)?qiáng)，對(duì)于一些高風(fēng)險(xiǎn)、高關(guān)注度的場(chǎng)景，還是會(huì)傾向于依賴人類專家經(jīng)驗(yàn)。

只是說(shuō)，對(duì)于另外一些基礎(chǔ)工作，可替代性會(huì)變高，后續(xù)也會(huì)出現(xiàn)相應(yīng)的工作內(nèi)容變化，但歸根結(jié)底不會(huì)讓人類無(wú)事可做。

?ukasz還預(yù)計(jì)，家用機(jī)器人可能會(huì)成為“下一次更為直觀的AI革命”。

機(jī)器人技術(shù)的進(jìn)展，取決于多模態(tài)能力和通用強(qiáng)化學(xué)習(xí)、通用推理的進(jìn)步。一旦這些領(lǐng)域取得突破，機(jī)器人技術(shù)必將迎來(lái)爆發(fā)式增長(zhǎng)。

目前已經(jīng)有很多硅谷公司在相繼推出智能手遙操作等硬件產(chǎn)品，硬件基礎(chǔ)也將迅速成熟，屆時(shí)將協(xié)同多模態(tài)和物理世界推理能力，實(shí)現(xiàn)家用機(jī)器人的能力躍遷。

這將會(huì)比ChatGPT更直觀、更易感知。

參考鏈接：
[1]https://www.youtube.com/watch?v=3K-R4yVjJfU&t=2637s

點(diǎn)個(gè)“愛(ài)心”，再走 吧