AI 不靠腳本、不靠規(guī)則，光看畫面就能玩轉(zhuǎn)《茶杯頭》《艾爾登法環(huán)》甚至《GTA》？

不是“自動(dòng)掛機(jī)”，而是真·手眼協(xié)調(diào)、反應(yīng)如電。

這事兒，英偉達(dá)剛干成了。

現(xiàn)在的AI，連游戲手柄都能“握”得比你穩(wěn)。

說句實(shí)在話，周叔第一次看到 NitroGen 的演示視頻時(shí)，還以為是某個(gè)技術(shù)大神錄的實(shí)況。

角色在《茶杯頭》里閃避、跳躍、踩魂一氣呵成，節(jié)奏精準(zhǔn)得像開了慢動(dòng)作回放。

可結(jié)果呢？全程無人操控，純靠 AI 自主決策。

這個(gè)叫NitroGen的模型，由英偉達(dá)聯(lián)合斯坦福、加州理工等機(jī)構(gòu)推出。

但它不是針對(duì)某一款游戲的“外掛”，而是一個(gè)能通吃上千款游戲的通用智能體。

它只干一件事：看畫面，出操作。

輸入是游戲?qū)崟r(shí)幀（256×256像素），輸出是標(biāo)準(zhǔn)手柄信號(hào)——16個(gè)按鍵+雙搖桿，覆蓋市面上幾乎所有支持手柄的商業(yè)游戲。

更關(guān)鍵的是，它不需要每款游戲單獨(dú)訓(xùn)練。

通過在 4 萬(wàn)小時(shí)、超 1000 款游戲的互聯(lián)網(wǎng)視頻上做行為克隆預(yù)訓(xùn)練，NitroGen 學(xué)會(huì)了“玩家直覺”。

面對(duì)從未見過的新游戲，只需少量微調(diào)，就能快速上手。

實(shí)驗(yàn)顯示，在某些任務(wù)上，它的成功率比從零訓(xùn)練的模型高出 52%，這可不是小數(shù)點(diǎn)后的優(yōu)化，是質(zhì)的飛躍。

咱們可能不知道，但很多游戲主播為了展示操作細(xì)節(jié)，會(huì)在直播畫面角落疊加一個(gè)“手柄輸入顯示器”。

英偉達(dá)團(tuán)隊(duì)就盯上了這個(gè)“免費(fèi)教學(xué)素材”。

他們爬取了 7.1 萬(wàn)小時(shí)帶手柄疊加層的公開視頻，用 SIFT 和 XFeat 算法定位控制器位置，再訓(xùn)練一個(gè) SegFormer 分割模型，從圖像中反推玩家的真實(shí)操作。

最終清洗出 4 萬(wàn)小時(shí)高質(zhì)量視頻-動(dòng)作對(duì)，覆蓋 846 款游戲超 1 小時(shí)數(shù)據(jù)，15 款游戲甚至超 1000 小時(shí)。

有意思的是，為了防止模型“作弊”，他們?cè)谟?xùn)練前會(huì)把視頻里的控制器區(qū)域全部打碼遮擋。

也就是說，模型必須真正理解“畫面發(fā)生了什么”，才能決定“該按哪個(gè)鍵”。

從另一個(gè)角度看，這其實(shí)是把全網(wǎng)玩家的集體經(jīng)驗(yàn)，轉(zhuǎn)化成了 AI 的肌肉記憶。

Action-RPG 占 34.9%，平臺(tái)跳躍占 18.4%，說明數(shù)據(jù)天然偏向快節(jié)奏、高操作要求的游戲。

這也解釋了為什么 NitroGen 在《空洞騎士》這類游戲中表現(xiàn)尤為驚艷。

周叔得提醒大家一句：NitroGen 的野心，從來不在游戲圈。

它的底層架構(gòu)源自英偉達(dá)為機(jī)器人開發(fā)的 GR00T N1.5 模型，只是去掉了語(yǔ)言模塊，專注視覺到動(dòng)作的映射。

研究團(tuán)隊(duì)明確表示，這只是“系統(tǒng)1”式的快速反應(yīng)模型，未來要疊加語(yǔ)言理解、長(zhǎng)期規(guī)劃，才能成為真正的通用具身智能體。

項(xiàng)目負(fù)責(zé)人之一、英偉達(dá)機(jī)器人總監(jiān)Jim Fan此前在 MineDojo 項(xiàng)目中就提出：游戲是現(xiàn)實(shí)世界的低成本模擬沙盒。

在這里，AI 可以安全地試錯(cuò)、學(xué)習(xí)物理交互、理解目標(biāo)導(dǎo)向行為。

一旦打通跨環(huán)境泛化能力，遷移到真實(shí)機(jī)器人只是時(shí)間問題。

目前，NitroGen 已全面開源：代碼、模型權(quán)重、數(shù)據(jù)集、評(píng)測(cè)套件全部公開。

這意味著全球研究者都能在此基礎(chǔ)上構(gòu)建自己的“游戲AI”或“機(jī)器人策略”。

NitroGen 的出現(xiàn)，不只是讓 AI 學(xué)會(huì)了打游戲，更是證明了通過海量真實(shí)人類行為數(shù)據(jù)，機(jī)器可以習(xí)得超越單一任務(wù)的通用技能。

當(dāng) AI 能在千變?nèi)f化的虛擬世界中自如行動(dòng)，離它走進(jìn)廚房、工廠、甚至手術(shù)室，或許就不遠(yuǎn)了。

這場(chǎng)從像素到動(dòng)作的革命，才剛剛按下開始鍵。