OpenAI數(shù)據(jù)中心外景

近期，伊利亞·蘇茨克沃（Ilya Sutskever）為推介其初創(chuàng)公司“安全超級智能公司（SSI）”，出來做了一篇訪談。雖說“PR”意圖明顯，但這仍是過去半年來關(guān)于人工智能產(chǎn)業(yè)演進思考最深刻的的公開論述了。盡管核心觀點已在媒體間廣泛傳播，但仍值得再度強調(diào)與廣泛討論。

這位OpenAI的前首席科學(xué)家覺得，眼下這波人工智能熱潮全都跑偏了。不是細枝末節(jié)的偏差，而是方向性的根本錯誤。

他拋出了一個讓所有忙著簽數(shù)十億美元計算合同的實驗室老板們脊背發(fā)涼的觀點：那個靠堆算力、拼規(guī)模的時代，已經(jīng)結(jié)束了。接下來要想往前走，整個行業(yè)得撿起一件被它丟下很久的東西——真正的研究。

“我們活在一個公司比主意還多的世界里，”蘇茨克沃說得挺不客氣，“而且多得多?！边@話從他嘴里說出來，分量不一樣。要知道，正是他參與打造的AlexNet、GPT-3，用整整十年時間給“規(guī)模就是王道”投下了贊成票。如今，這位 scale 的信徒卻說，此路不通了。

其核心觀點歸結(jié)為：

• 那個靠堆算力、拼規(guī)模的Scaling時代（2020-2025），已經(jīng)結(jié)束了

• 算力悖論：理論對了，所需的算力是可控的；理論錯了，再多算力也白搭

• 現(xiàn)有方法無法產(chǎn)生真正智能，根本問題：模型泛化能力遠遜人類，顯示基礎(chǔ)架構(gòu)存在缺陷

• 突破大模型時代的第一個平臺期，整個產(chǎn)業(yè)競爭將回歸“真正的研究”。

通常來講，我們對于一個人的理論觀點的理解都是見仁見智、和而不同的。但 蘇茨克沃最新觀點之所以應(yīng)被特別重視，是因為谷歌在大模型領(lǐng)域的最新進展，基本印證了他的上述思考：谷歌當(dāng)前在各條技術(shù)棧上追平甚至超出OpenAI的基本事實證明，理論對了，不僅所需的算力是可控的，且算力模式也是可控的（從GPU到TPU）。進一步，這也預(yù)示著，谷歌在大模型理論研究上取得了三年以來整個產(chǎn)業(yè)最重要的突破，可以預(yù)見，“軟硬一體”（硬件設(shè)計制造+算法演進突破）的公司競爭模型已經(jīng)是所有人工智能公司的必由之路。

這在很大程度上，已經(jīng)為2026年全年的AI產(chǎn)業(yè)競爭定下了基調(diào)、劃下了主線。在我們展開未來的基調(diào)與主線研究之前，不妨先來把這篇訪談內(nèi)容的主干再做一次復(fù)述。

01

Scaling的盡頭

蘇茨克沃的論證起點很有趣，他從語言說起?！癝caling”這個詞本身，慢慢成了整個行業(yè)的戰(zhàn)略指南針。大家覺得，只要往計算和數(shù)據(jù)上砸錢，回報就是板上釘釘?shù)氖?。預(yù)訓(xùn)練給出了一張清晰的配方：按固定比例混合算力、數(shù)據(jù)和模型參數(shù)，性能就能穩(wěn)定提升。

這種確定性吸引了海量投資。研究有風(fēng)險，擴張只是花錢——當(dāng)你動用的是數(shù)十億美金時，這區(qū)別至關(guān)重要。

但配方會過期。高質(zhì)量的訓(xùn)練數(shù)據(jù)快見底了，互聯(lián)網(wǎng)上的文本幾乎被刮了個干凈。合成數(shù)據(jù)能幫點忙，但用蘇茨克沃的話說，收益遞減的拐點已經(jīng)來了。所有大實驗室都面臨同一個問題：當(dāng)擴張曲線走平，接下來怎么辦？

他的答案不太中聽?，F(xiàn)有的路徑“能再走一段，然后就沒后勁了。它會繼續(xù)改進，但不會成為真正的智能。”我們想要的、能展現(xiàn)真正智能的系統(tǒng)，需要另一種方法?！岸覀冞€沒學(xué)會怎么造它們?！?/p>

這可不是在抱怨“算力不夠”。他是在質(zhì)疑當(dāng)前智能架構(gòu)本身。

02

泛化，那個老難題

蘇茨克沃理論的技術(shù)核心，是泛化能力?，F(xiàn)在的模型在基準測試里風(fēng)光無限，但一遇到真實場景，就會用各種方式失敗，暴露出底層的缺陷。

他描述了一個用過代碼助手的人都熟悉的抓狂場景：你遇到一個程序漏洞，讓模型修復(fù)，它帶著近乎表演的誠懇道了歉，然后給你塞進一個完全不同的新漏洞。你指出這個新問題，最初的那個漏洞又原樣返回。它好像完全意識不到自己正陷在死循環(huán)里?？赏瑯邮沁@個系統(tǒng)，在編程競賽的排行榜上卻能碾壓人類。這說不通。

他給了兩種解釋。

第一，強化學(xué)習(xí)訓(xùn)練出的是一種狹隘的專注，模型為了特定的獎勵信號被過度優(yōu)化，卻丟了更廣泛的能力。第二點更麻煩：研究者們會不自覺地“為考核而訓(xùn)練”。團隊設(shè)計的強化學(xué)習(xí)環(huán)境，無形中受到了他們將被如何評估的影響。等到基準測試和實際效用脫節(jié)時，往往為時已晚。

他用一個類比點明了關(guān)鍵：想象兩個學(xué)編程的學(xué)生。一個花一萬小時死磕競賽編程，背熟了所有算法和證明技巧，成了這個特定領(lǐng)域的頂尖高手。另一個花一百小時學(xué)到還不錯，就轉(zhuǎn)而學(xué)別的去了。誰未來的發(fā)展更好？幾乎總是那個通才。

現(xiàn)在的模型就像那個偏執(zhí)的專才。在狹窄領(lǐng)域投入巨量強化學(xué)習(xí)，產(chǎn)出的都是基準測試冠軍，卻在相鄰任務(wù)上步履蹣跚。

人類智能不是這樣。我們用少得多的數(shù)據(jù)快速學(xué)習(xí)、廣泛適應(yīng)，在不同情境下保持一致性。

“這些模型的泛化能力，不知怎的就是比人差一大截，”蘇茨克沃說，“這太明顯了，感覺是個非常根本的問題?！?/p>

他相信，理解可靠的泛化機制，是那個核心的未解之謎。其他問題，包括AI對齊，都由此衍生。價值學(xué)習(xí)之所以脆弱，是因為泛化本身脆弱；目標優(yōu)化之所以失敗，是因為泛化失敗。修好底層機制，很多表面問題自會消解。

03

SSI的另類算法

對蘇茨克沃“研究優(yōu)先”思路最直接的質(zhì)疑是：SSI（Safe Superintelligence Inc.，蘇茨克沃創(chuàng)建的公司）籌了30億美元，可聽說OpenAI一年光實驗就要花50到60億（這還不算推理成本）。小團隊怎么拼？

他的算法挑戰(zhàn)了行業(yè)的默認假設(shè)。在他看來，前沿實驗室的開支被各種需求分散了：推理基礎(chǔ)設(shè)施吞掉巨額資本，產(chǎn)品工程、銷售團隊和功能開發(fā)又吃掉一大塊研究預(yù)算，多模態(tài)研發(fā)再分走一杯羹。

“當(dāng)你看看真正留給研究的還剩多少，差距就小得多了?！?/p>

歷史也站在他這邊。AlexNet用兩塊GPU訓(xùn)練而成，最初的Transformer模型用的也是2017年水平的8到64塊GPU。真正的范式突破研究，從來不需要最大的算力規(guī)模，它需要的是洞察力。

SSI的結(jié)構(gòu)就體現(xiàn)了這個理念：沒有產(chǎn)品，沒有推理負載，不被任何事干擾研究重心。這家公司只為驗證一個關(guān)于泛化的技術(shù)理論而存在。理論對了，驗證所需的算力是可控的；理論錯了，再多算力也白搭。

這是一場純粹的戰(zhàn)略豪賭。蘇茨克沃不是在說SSI會比誰花錢多，他是在賭，當(dāng)范式轉(zhuǎn)變時，思想比預(yù)算重要。

04

AGI，一個被高估的概念？

訪談中還埋著一個更激進的觀點：人類本身也不是AGI（通用人工智能）。這話聽著離譜，但細想之下有深意。

AGI這個概念，最初是為了區(qū)別于“窄AI”——那些下象棋、打游戲很強但無法舉一反三的系統(tǒng)。AGI承諾的是反過來：一個什么都能同時干的系統(tǒng)。預(yù)訓(xùn)練強化了這個想法，因為更多的訓(xùn)練似乎均勻地提升了所有任務(wù)的能力，通用性好像真能通過規(guī)模實現(xiàn)。

但人類智能不這么工作。我們先掌握一些基礎(chǔ)能力，然后通過經(jīng)驗學(xué)習(xí)具體技能。你妹妹可能花十小時就學(xué)會了開車，而一個醫(yī)學(xué)生要花近十年才能成為合格的診斷醫(yī)生。這些技能復(fù)雜度天差地別，卻都來自同一套底層學(xué)習(xí)機器。知識是在與世界的持續(xù)互動中積累的，不是一次性前置灌輸?shù)摹?/p>

這個新理解直接影響部署策略。如果超級智能是“無所不知的系統(tǒng)”，那你得在發(fā)布前把它完全造好。如果它是“能快速學(xué)會任何事的系統(tǒng)”，部署就變成了持續(xù)教育的過程。你要發(fā)布的是一個“超級智能的15歲少年，充滿渴望，雖然現(xiàn)在懂得不多，但是個極好的學(xué)生”。

05

未來的模樣

蘇茨克沃也給出了具體的預(yù)測：具備當(dāng)前模型所缺乏的泛化能力的類人學(xué)習(xí)系統(tǒng)，將在5到20年內(nèi)出現(xiàn)。這個時間范圍體現(xiàn)的是“哪條路能走通”的不確定，而非“有沒有解決方案”的懷疑。

他預(yù)言，隨著AI能力越來越肉眼可見，行業(yè)行為會改變：激烈的對手會在安全上合作（OpenAI和Anthropic已經(jīng)宣布聯(lián)手），政府會更深地介入，當(dāng)AI開始“讓人感覺到它的強大”時，公司們會對安全“變得偏執(zhí)得多”。

他個人傾向的對齊目標是：關(guān)心所有感知生命的AI，而不僅僅是人類。他的理由很務(wù)實：一個自己可能擁有感知能力的AI，去關(guān)心所有感知生命，會比只關(guān)心人類更自然。

他提到人類自己就有跨物種的共情——盡管進化主要篩選的是群體內(nèi)合作。我們會為關(guān)于狗的電影流淚，踩到螞蟻時至少偶爾會愧疚。蘇茨克沃推測，這是因為大腦使用同一套神經(jīng)機制來理解他人和理解自己，效率至上，共情成了副產(chǎn)品。

這理論站得住腳嗎？很難說。神經(jīng)科學(xué)本身爭議不斷，從生物共情到機器對齊的跳躍，包含著太多可能在未來被證偽的假設(shè)。但蘇茨克沃在這些問題上掙扎思考的時間，比這個領(lǐng)域里幾乎所有人都長，他抵達的結(jié)論，至今鮮有人跟隨。

06

關(guān)于“品味”

訪談尾聲，帕特爾問了一個可能決定AI未來走向的問題：什么是研究品味？蘇茨克沃合作完成的開創(chuàng)性論文，在深度學(xué)習(xí)領(lǐng)域可能無人能及，他如何嗅到那個值得追尋的想法？

他的回答透著一種美學(xué)追求。有希望的方向通常優(yōu)美、簡潔，并且從生物智能中獲得了正確的靈感。人工神經(jīng)元重要，是因為大腦里有無數(shù)神經(jīng)元，而且它們感覺是根基；從經(jīng)驗中學(xué)習(xí)重要，是因為大腦顯然就是這么做的。一個方法如果顯得“丑陋”，那通常預(yù)示著問題。

但光靠美感撐不過一次次失敗。實驗總會不斷推翻看似完美的想法，漏洞總藏在代碼里。怎么知道是該繼續(xù)調(diào)試，還是該放棄方向？

“是靠那種自上而下的信念，”蘇茨克沃解釋，“你可以認定，事情必須是這個樣子的。類似的東西一定得行，所以我們必須堅持下去?！?/p>

這是一種研究者的信仰，是任何規(guī)模的算力都無法替代的。是對“某些路徑必然有效”的強烈信念，強到足以支撐你穿越所有反面證據(jù)，直到找到那個漏洞，或打磨好那個理論。規(guī)模擴張曾經(jīng)為這種信仰提供了替代品——當(dāng)任何方法只要放大規(guī)模就能改進時，你無需對特定方向有如此強烈的信念。

如果蘇茨克沃關(guān)于規(guī)模擴張已達極限的判斷是對的，那么這個替代品就消失了。剩下的，將是2020年以前我們所熟知的研究本身：充滿不確定性，由想法驅(qū)動，并且依賴那種花錢買不來的品味。

轉(zhuǎn)載開白 | 商務(wù)合作 | 內(nèi)容交流
請?zhí)砑游⑿牛簀induan008
添加微信請備注姓名公司與來意