過(guò)去幾十年里，人類使用計(jì)算機(jī)的方式始終沒(méi)有發(fā)生根本變化：我們編寫(xiě)程序，機(jī)器按照指令執(zhí)行。

但隨著大模型的發(fā)展，這種關(guān)系正在悄然改變，人類開(kāi)始不再描述“如何做”，而是直接表達(dá)“想做什么”，而系統(tǒng)則負(fù)責(zé)推理并完成整個(gè)過(guò)程。在這一背景下，師從被譽(yù)為“現(xiàn)代人工智能之父”“LSTM 之父”的于爾根·施米德胡伯，來(lái)自 Meta 與 KAUST（阿卜杜拉國(guó)王科技大學(xué)）的諸葛鳴晨與田淵棟等合作者，提出了一種名為“神經(jīng)計(jì)算機(jī)”的新設(shè)想：讓神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)如何使用計(jì)算機(jī)本身，而不是依賴已有的軟件接口、工具鏈或程序結(jié)構(gòu)。換句話說(shuō)，這種路徑并不是讓AI更好地使用現(xiàn)有軟件，而是嘗試讓“軟件本身”逐漸進(jìn)入模型內(nèi)部。

論文公開(kāi)后，他們很快發(fā)現(xiàn)，這個(gè)看似抽象的設(shè)想引發(fā)了出乎意料的關(guān)注：在 X 上獲得了超過(guò)近九百條轉(zhuǎn)發(fā)和超過(guò)一百多萬(wàn)瀏覽量。

對(duì)諸葛鳴晨來(lái)說(shuō)，這不僅是一次傳播上的反饋，也讓他更加確信，這種方向確實(shí)擊中了當(dāng)前 AI 發(fā)展的某個(gè)關(guān)鍵問(wèn)題。

采訪中他講述了這篇論文的緣起。他剛來(lái)到 KAUST 時(shí)，跟自己的導(dǎo)師于爾根·施米德胡伯說(shuō)，自己來(lái)這兒是因?yàn)閮蓚�(gè)人是他的偶像，一個(gè)是 David Ha，另一個(gè)就是導(dǎo)師本人。這兩人有一個(gè)共同特點(diǎn)，擁有推廣全新研究范式的能力。比如他們?cè)?2018 年合作的世界模型，是關(guān)于施米德胡伯教授在 1990 年的《Make the World Differentiable》里的用遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)世界模型的工程實(shí)現(xiàn)。

除了為人熟知的 LSTM 等 AI 時(shí)代的巨作，施米德胡伯提出的在 2003 年提出的戈德?tīng)枡C(jī)器，推動(dòng)了遞歸自我進(jìn)化這個(gè)方向。從 2024 年末開(kāi)始，諸葛鳴晨多次與導(dǎo)師于爾根·施米德胡伯討論“神經(jīng)計(jì)算機(jī)”的設(shè)想。他們反復(fù)討論的一個(gè)問(wèn)題是：AI 究竟只是更高效地使用計(jì)算機(jī)，還是會(huì)成為一種新的計(jì)算機(jī)形態(tài)？

逐漸地，一個(gè)更激進(jìn)的判斷開(kāi)始成形，這可能是 AI 邁向下一階段的重要方向。

與當(dāng)前常見(jiàn)的“AI 代理”不同，這種系統(tǒng)并不依賴預(yù)先定義好的接口或工具調(diào)用。它直接從屏幕像素和用戶操作中學(xué)習(xí)整個(gè)計(jì)算機(jī)的運(yùn)行方式，而不是通過(guò)預(yù)定義接口去調(diào)用已有軟件功能。

換句話說(shuō)，它不是在“調(diào)用軟件”，而是在“直接生成一整臺(tái)計(jì)算機(jī)的運(yùn)行過(guò)程”。也就是說(shuō)，原本分散在操作系統(tǒng)、軟件和工具鏈中的功能，正在被壓縮進(jìn)同一個(gè)學(xué)習(xí)系統(tǒng)之中。

傳統(tǒng)的計(jì)算機(jī)有明確的分工，處理器負(fù)責(zé)計(jì)算，內(nèi)存負(fù)責(zé)存儲(chǔ)，操作系統(tǒng)負(fù)責(zé)調(diào)度，你按下一個(gè)鍵，它執(zhí)行一段寫(xiě)好的程序。神經(jīng)計(jì)算機(jī)則無(wú)需依靠任何人寫(xiě)的代碼，只需通過(guò)觀看大量的屏幕錄像和操作記錄來(lái)學(xué)習(xí)。

為了實(shí)現(xiàn)原型，研究團(tuán)隊(duì)一共探索了 6 種完全不一樣的數(shù)據(jù)收集方式，收集了超過(guò) 80 萬(wàn)條命令行操作片段，總時(shí)長(zhǎng)大約 1,100 小時(shí)，還收集了大約 1,500 小時(shí)的圖形桌面操作記錄。他們采用約 25 萬(wàn)個(gè) H100 GPU hours 訓(xùn)練了 8 個(gè)截然不同模型，這些模型看多了之后，自己學(xué)會(huì)了終端里的文本應(yīng)該是什么樣子的，光標(biāo)應(yīng)該怎么移動(dòng)，窗口應(yīng)該怎么彈出。它沒(méi)有學(xué)過(guò)一行操作系統(tǒng)的代碼，卻能通過(guò)觀察屏幕像素的變化來(lái)掌握系統(tǒng)行為。這也意味著，它不是在執(zhí)行明確規(guī)則，而是在大量非結(jié)構(gòu)化的觀察中歸納出“計(jì)算機(jī)如何運(yùn)作”。換句話說(shuō)，它不是在運(yùn)行程序，而是在學(xué)會(huì)成為一臺(tái)計(jì)算機(jī)。

命令行（CLI）模型的學(xué)習(xí)過(guò)程是這樣的，一開(kāi)始它生成的終端畫(huà)面完全不可讀，文字亂成一團(tuán)。訓(xùn)練了 2.5 萬(wàn)步之后，它開(kāi)始能夠?qū)懗鰜?lái)清晰的字符，顏色和格式也都對(duì)得上。越往后學(xué)，它生成的內(nèi)容和真實(shí)操作的差距就越小。研究人員使用了一個(gè)名為 Tesseract 的文字識(shí)別工具來(lái)評(píng)估模型的生成質(zhì)量，發(fā)現(xiàn)字符準(zhǔn)確率從最初幾乎不可讀（約 3%），提升到超過(guò)一半內(nèi)容可以被正確識(shí)別（54%）。

這意味著，模型已經(jīng)能夠生成一個(gè)在外觀和結(jié)構(gòu)上都接近真實(shí)的終端界面。不過(guò)當(dāng)涉及到算術(shù)運(yùn)算時(shí)，模型就會(huì)露怯。問(wèn)它 28 減 23 等于多少，它經(jīng)常給出錯(cuò)誤答案。但是，如果在指令中把答案也告訴它，它就能準(zhǔn)確地把那個(gè)數(shù)字顯示在屏幕上。這說(shuō)明目前的神經(jīng)計(jì)算機(jī)更像一個(gè)模仿者，它能夠?qū)W會(huì)“計(jì)算機(jī)看起來(lái)是如何工作的”，卻還沒(méi)有真正掌握“計(jì)算本身”。

換句話說(shuō)，它擅長(zhǎng)復(fù)現(xiàn)結(jié)果的表現(xiàn)形式，但還不具備生成結(jié)果的內(nèi)在能力。這種能力上的不均衡，也體現(xiàn)了當(dāng)前這類系統(tǒng)的一個(gè)典型特征：它可以在某些模式明確的任務(wù)上表現(xiàn)出色，卻在看似簡(jiǎn)單的問(wèn)題上出現(xiàn)明顯失誤。

（來(lái)源： https://arxiv.org/pdf/2604.06425v1）

圖形桌面模型（GUI）面對(duì)的是短時(shí)控制的挑戰(zhàn)，它需要理解鼠標(biāo)移動(dòng)、點(diǎn)擊、拖拽這些動(dòng)作和屏幕變化之間的關(guān)系。研究人員嘗試了四種模型（擁有不同的動(dòng)作注入方式）來(lái)輸入這些操作信息。

最簡(jiǎn)單的方式是把操作信息疊加在輸入畫(huà)面上，稍復(fù)雜的方式是在模型內(nèi)部的注意力機(jī)制里單獨(dú)加一個(gè)處理操作的模塊。結(jié)果發(fā)現(xiàn)，讓操作信息在模型內(nèi)部更深的地方參與計(jì)算，模型學(xué)到的控制效果更好。為了實(shí)現(xiàn)更加精確的光標(biāo)控制，研究人員還給模型加了一個(gè)額外的監(jiān)督信號(hào)，單獨(dú)告訴它光標(biāo)應(yīng)該在什么位置。加上這個(gè)信號(hào)之后，光標(biāo)位置的準(zhǔn)確率從不到 14% 飆升到了 98.7%。

然而一旦涉及多步驟的任務(wù)，比如連續(xù)處理多個(gè)文件，模型還是容易出現(xiàn)狀態(tài)漂移，做著做著就和真實(shí)屏幕對(duì)不上了。這也說(shuō)明模型在短時(shí)控制上已經(jīng)取得進(jìn)展，但在長(zhǎng)時(shí)狀態(tài)保持和連續(xù)推理上仍然存在明顯挑戰(zhàn)。

（來(lái)源：https://arxiv.org/pdf/2604.06425v1）

據(jù)了解，研究人員把此次神經(jīng)計(jì)算機(jī)看做一種全新的機(jī)器形態(tài)。他們?cè)O(shè)想的更遠(yuǎn)目標(biāo)，是一種“完全神經(jīng)計(jì)算機(jī)”：不僅能夠模仿屏幕，還可以穩(wěn)定執(zhí)行任務(wù)、持續(xù)學(xué)習(xí)，并讓能力在系統(tǒng)內(nèi)部長(zhǎng)期保留和復(fù)用。

（來(lái)源：https://arxiv.org/pdf/2604.06425v1）

諸葛鳴晨告訴 DeepTech：“如果沒(méi)有這份工作，我給自己博士生涯的打分大概是 70 到 80 分，但有了這份工作之后，我覺(jué)得自己完全滿足了，打出了 95 到 98 分的高分。因?yàn)檫@份工作補(bǔ)上了我職業(yè)生涯中非常重要的一塊，我一直想成為某種新范式的提出者，而不是僅僅引出某個(gè)新話題�！�

從更長(zhǎng)遠(yuǎn)的角度看，這項(xiàng)工作的意義不在于它今天能做到什么，而在于它提出了一種新的可能性：如果計(jì)算機(jī)本身可以被學(xué)習(xí)，而不是被設(shè)計(jì)，那么“軟件”這一概念本身也可能發(fā)生變化，甚至不再以我們熟悉的形式存在。

對(duì)諸葛鳴晨來(lái)說(shuō)，這項(xiàng)工作不僅是一篇論文，更像是他一直想完成的一件事，提出一種新的研究范式，而不是只是在已有問(wèn)題上不斷推進(jìn)。

未來(lái)的系統(tǒng)，很可能不再由固定程序構(gòu)成，而是在每一次任務(wù)中動(dòng)態(tài)生成執(zhí)行過(guò)程。人類不再需要操作軟件，也不再需要描述步驟，而是直接給出目標(biāo)，由系統(tǒng)在內(nèi)部完成推理、生成路徑并執(zhí)行。

一旦這種模式成立，計(jì)算機(jī)將不再只是執(zhí)行指令的工具，而是一種能夠自行運(yùn)行、持續(xù)完成任務(wù)的機(jī)器形態(tài)。到那時(shí)，被改變的將不只是使用方式，而是“計(jì)算機(jī)”這個(gè)詞本身的含義。

參考資料：
相關(guān)論文https://arxiv.org/pdf/2604.06425v1

排版：胡莉花

注：封面/首圖由 AI 輔助生成