国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

算力悖論:理論對了所需算力是可控的,理論錯了再多算力也白搭

0
分享至


OpenAI數(shù)據(jù)中心外景

近期,伊利亞·蘇茨克沃(Ilya Sutskever)為推介其初創(chuàng)公司“安全超級智能公司(SSI)”,出來做了一篇訪談。雖說“PR”意圖明顯,但這仍是過去半年來關于人工智能產業(yè)演進思考最深刻的的公開論述了。盡管核心觀點已在媒體間廣泛傳播,但仍值得再度強調與廣泛討論。

這位OpenAI的前首席科學家覺得,眼下這波人工智能熱潮全都跑偏了。不是細枝末節(jié)的偏差,而是方向性的根本錯誤。

他拋出了一個讓所有忙著簽數(shù)十億美元計算合同的實驗室老板們脊背發(fā)涼的觀點:那個靠堆算力、拼規(guī)模的時代,已經結束了。接下來要想往前走,整個行業(yè)得撿起一件被它丟下很久的東西——真正的研究。

“我們活在一個公司比主意還多的世界里,”蘇茨克沃說得挺不客氣,“而且多得多?!边@話從他嘴里說出來,分量不一樣。要知道,正是他參與打造的AlexNet、GPT-3,用整整十年時間給“規(guī)模就是王道”投下了贊成票。如今,這位 scale 的信徒卻說,此路不通了。

其核心觀點歸結為:


  • 那個靠堆算力、拼規(guī)模的Scaling時代(2020-2025),已經結束了

  • 算力悖論:理論對了,所需的算力是可控的;理論錯了,再多算力也白搭

  • 現(xiàn)有方法無法產生真正智能,根本問題:模型泛化能力遠遜人類,顯示基礎架構存在缺陷

  • 突破大模型時代的第一個平臺期,整個產業(yè)競爭將回歸“真正的研究”。

通常來講,我們對于一個人的理論觀點的理解都是見仁見智、和而不同的。但 蘇茨克沃最新觀點之所以應被特別重視,是因為谷歌在大模型領域的最新進展,基本印證了他的上述思考:谷歌當前在各條技術棧上追平甚至超出OpenAI的基本事實證明,理論對了,不僅所需的算力是可控的,且算力模式也是可控的(從GPU到TPU)。進一步,這也預示著,谷歌在大模型理論研究上取得了三年以來整個產業(yè)最重要的突破,可以預見,“軟硬一體”(硬件設計制造+算法演進突破)的公司競爭模型已經是所有人工智能公司的必由之路。

這在很大程度上,已經為2026年全年的AI產業(yè)競爭定下了基調、劃下了主線。在我們展開未來的基調與主線研究之前,不妨先來把這篇訪談內容的主干再做一次復述。

01

Scaling的盡頭

蘇茨克沃的論證起點很有趣,他從語言說起?!癝caling”這個詞本身,慢慢成了整個行業(yè)的戰(zhàn)略指南針。大家覺得,只要往計算和數(shù)據(jù)上砸錢,回報就是板上釘釘?shù)氖?。預訓練給出了一張清晰的配方:按固定比例混合算力、數(shù)據(jù)和模型參數(shù),性能就能穩(wěn)定提升。

這種確定性吸引了海量投資。研究有風險,擴張只是花錢——當你動用的是數(shù)十億美金時,這區(qū)別至關重要。

但配方會過期。高質量的訓練數(shù)據(jù)快見底了,互聯(lián)網(wǎng)上的文本幾乎被刮了個干凈。合成數(shù)據(jù)能幫點忙,但用蘇茨克沃的話說,收益遞減的拐點已經來了。所有大實驗室都面臨同一個問題:當擴張曲線走平,接下來怎么辦?

他的答案不太中聽?,F(xiàn)有的路徑“能再走一段,然后就沒后勁了。它會繼續(xù)改進,但不會成為真正的智能?!蔽覀兿胍摹⒛苷宫F(xiàn)真正智能的系統(tǒng),需要另一種方法。“而我們還沒學會怎么造它們?!?/p>

這可不是在抱怨“算力不夠”。他是在質疑當前智能架構本身。

02

泛化,那個老難題

蘇茨克沃理論的技術核心,是泛化能力?,F(xiàn)在的模型在基準測試里風光無限,但一遇到真實場景,就會用各種方式失敗,暴露出底層的缺陷。

他描述了一個用過代碼助手的人都熟悉的抓狂場景:你遇到一個程序漏洞,讓模型修復,它帶著近乎表演的誠懇道了歉,然后給你塞進一個完全不同的新漏洞。你指出這個新問題,最初的那個漏洞又原樣返回。它好像完全意識不到自己正陷在死循環(huán)里。可同樣是這個系統(tǒng),在編程競賽的排行榜上卻能碾壓人類。這說不通。

他給了兩種解釋。

第一,強化學習訓練出的是一種狹隘的專注,模型為了特定的獎勵信號被過度優(yōu)化,卻丟了更廣泛的能力。第二點更麻煩:研究者們會不自覺地“為考核而訓練”。團隊設計的強化學習環(huán)境,無形中受到了他們將被如何評估的影響。等到基準測試和實際效用脫節(jié)時,往往為時已晚。

他用一個類比點明了關鍵:想象兩個學編程的學生。一個花一萬小時死磕競賽編程,背熟了所有算法和證明技巧,成了這個特定領域的頂尖高手。另一個花一百小時學到還不錯,就轉而學別的去了。誰未來的發(fā)展更好?幾乎總是那個通才。

現(xiàn)在的模型就像那個偏執(zhí)的專才。在狹窄領域投入巨量強化學習,產出的都是基準測試冠軍,卻在相鄰任務上步履蹣跚。

人類智能不是這樣。我們用少得多的數(shù)據(jù)快速學習、廣泛適應,在不同情境下保持一致性。

這些模型的泛化能力,不知怎的就是比人差一大截,”蘇茨克沃說,“這太明顯了,感覺是個非常根本的問題。”

他相信,理解可靠的泛化機制,是那個核心的未解之謎。其他問題,包括AI對齊,都由此衍生。價值學習之所以脆弱,是因為泛化本身脆弱;目標優(yōu)化之所以失敗,是因為泛化失敗。修好底層機制,很多表面問題自會消解。

03

SSI的另類算法

對蘇茨克沃“研究優(yōu)先”思路最直接的質疑是:SSI(Safe Superintelligence Inc.,蘇茨克沃創(chuàng)建的公司)籌了30億美元,可聽說OpenAI一年光實驗就要花50到60億(這還不算推理成本)。小團隊怎么拼?

他的算法挑戰(zhàn)了行業(yè)的默認假設。在他看來,前沿實驗室的開支被各種需求分散了:推理基礎設施吞掉巨額資本,產品工程、銷售團隊和功能開發(fā)又吃掉一大塊研究預算,多模態(tài)研發(fā)再分走一杯羹。

“當你看看真正留給研究的還剩多少,差距就小得多了?!?/p>

歷史也站在他這邊。AlexNet用兩塊GPU訓練而成,最初的Transformer模型用的也是2017年水平的8到64塊GPU。真正的范式突破研究,從來不需要最大的算力規(guī)模,它需要的是洞察力。

SSI的結構就體現(xiàn)了這個理念:沒有產品,沒有推理負載,不被任何事干擾研究重心。這家公司只為驗證一個關于泛化的技術理論而存在。理論對了,驗證所需的算力是可控的;理論錯了,再多算力也白搭。

這是一場純粹的戰(zhàn)略豪賭。蘇茨克沃不是在說SSI會比誰花錢多,他是在賭,當范式轉變時,思想比預算重要

04

AGI,一個被高估的概念?

訪談中還埋著一個更激進的觀點:人類本身也不是AGI(通用人工智能)。這話聽著離譜,但細想之下有深意。

AGI這個概念,最初是為了區(qū)別于“窄AI”——那些下象棋、打游戲很強但無法舉一反三的系統(tǒng)。AGI承諾的是反過來:一個什么都能同時干的系統(tǒng)。預訓練強化了這個想法,因為更多的訓練似乎均勻地提升了所有任務的能力,通用性好像真能通過規(guī)模實現(xiàn)。

但人類智能不這么工作。我們先掌握一些基礎能力,然后通過經驗學習具體技能。你妹妹可能花十小時就學會了開車,而一個醫(yī)學生要花近十年才能成為合格的診斷醫(yī)生。這些技能復雜度天差地別,卻都來自同一套底層學習機器。知識是在與世界的持續(xù)互動中積累的,不是一次性前置灌輸?shù)摹?/p>

這個新理解直接影響部署策略。如果超級智能是“無所不知的系統(tǒng)”,那你得在發(fā)布前把它完全造好。如果它是“能快速學會任何事的系統(tǒng)”,部署就變成了持續(xù)教育的過程。你要發(fā)布的是一個“超級智能的15歲少年,充滿渴望,雖然現(xiàn)在懂得不多,但是個極好的學生”。

05

未來的模樣

蘇茨克沃也給出了具體的預測:具備當前模型所缺乏的泛化能力的類人學習系統(tǒng),將在5到20年內出現(xiàn)。這個時間范圍體現(xiàn)的是“哪條路能走通”的不確定,而非“有沒有解決方案”的懷疑。

他預言,隨著AI能力越來越肉眼可見,行業(yè)行為會改變:激烈的對手會在安全上合作(OpenAI和Anthropic已經宣布聯(lián)手),政府會更深地介入,當AI開始“讓人感覺到它的強大”時,公司們會對安全“變得偏執(zhí)得多”。

他個人傾向的對齊目標是:關心所有感知生命的AI,而不僅僅是人類。他的理由很務實:一個自己可能擁有感知能力的AI,去關心所有感知生命,會比只關心人類更自然。

他提到人類自己就有跨物種的共情——盡管進化主要篩選的是群體內合作。我們會為關于狗的電影流淚,踩到螞蟻時至少偶爾會愧疚。蘇茨克沃推測,這是因為大腦使用同一套神經機制來理解他人和理解自己,效率至上,共情成了副產品。

這理論站得住腳嗎?很難說。神經科學本身爭議不斷,從生物共情到機器對齊的跳躍,包含著太多可能在未來被證偽的假設。但蘇茨克沃在這些問題上掙扎思考的時間,比這個領域里幾乎所有人都長,他抵達的結論,至今鮮有人跟隨。

06

關于“品味”

訪談尾聲,帕特爾問了一個可能決定AI未來走向的問題:什么是研究品味?蘇茨克沃合作完成的開創(chuàng)性論文,在深度學習領域可能無人能及,他如何嗅到那個值得追尋的想法?

他的回答透著一種美學追求。有希望的方向通常優(yōu)美、簡潔,并且從生物智能中獲得了正確的靈感。人工神經元重要,是因為大腦里有無數(shù)神經元,而且它們感覺是根基;從經驗中學習重要,是因為大腦顯然就是這么做的。一個方法如果顯得“丑陋”,那通常預示著問題。

但光靠美感撐不過一次次失敗。實驗總會不斷推翻看似完美的想法,漏洞總藏在代碼里。怎么知道是該繼續(xù)調試,還是該放棄方向?

“是靠那種自上而下的信念,”蘇茨克沃解釋,“你可以認定,事情必須是這個樣子的。類似的東西一定得行,所以我們必須堅持下去。”

這是一種研究者的信仰,是任何規(guī)模的算力都無法替代的。是對“某些路徑必然有效”的強烈信念,強到足以支撐你穿越所有反面證據(jù),直到找到那個漏洞,或打磨好那個理論。規(guī)模擴張曾經為這種信仰提供了替代品——當任何方法只要放大規(guī)模就能改進時,你無需對特定方向有如此強烈的信念。

如果蘇茨克沃關于規(guī)模擴張已達極限的判斷是對的,那么這個替代品就消失了。剩下的,將是2020年以前我們所熟知的研究本身:充滿不確定性,由想法驅動,并且依賴那種花錢買不來的品味。

轉載開白 | 商務合作 | 內容交流
請?zhí)砑游⑿牛簀induan008
添加微信請備注姓名公司與來意

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
伊拉克民兵武裝稱對科威特境內美軍基地遭襲事件負責

伊拉克民兵武裝稱對科威特境內美軍基地遭襲事件負責

財聯(lián)社
2026-03-03 04:42:07
小托馬斯狂言:杜蘭特退役必登歷史得分第二!死神真能封神?

小托馬斯狂言:杜蘭特退役必登歷史得分第二!死神真能封神?

林子說事
2026-03-02 14:41:57
美參聯(lián)會主席:預計將有更多傷亡

美參聯(lián)會主席:預計將有更多傷亡

觀察者網(wǎng)
2026-03-02 22:44:03
美國軍力全球第一,敢打任何國家?俄潑冷水:這4國你敢打誰?

美國軍力全球第一,敢打任何國家?俄潑冷水:這4國你敢打誰?

近史談
2026-01-19 10:09:51
430分生死戰(zhàn)!鄭欽文亮出隱藏殺招,新教練能否救贖23位危機?

430分生死戰(zhàn)!鄭欽文亮出隱藏殺招,新教練能否救贖23位危機?

卿子書
2026-03-02 09:48:37
又有兩國參戰(zhàn)中東!關鍵時刻,美媒曝出消息:沙特把中國也騙了?

又有兩國參戰(zhàn)中東!關鍵時刻,美媒曝出消息:沙特把中國也騙了?

東極妙嚴
2026-03-02 12:27:01
清華大學最新研究:這種常見維生素竟能降低癡呆風險,日常飲食即可獲得

清華大學最新研究:這種常見維生素竟能降低癡呆風險,日常飲食即可獲得

醫(yī)諾維
2026-02-28 17:10:18
“老得慢”的男人,多半喜歡吃這3種食物,全部都吃過,偷著樂吧

“老得慢”的男人,多半喜歡吃這3種食物,全部都吃過,偷著樂吧

江江食研社
2026-02-27 15:55:07
53歲李冰冰在巴黎殺瘋了!白到發(fā)光隱現(xiàn)腹肌,這狀態(tài)真不是人類?

53歲李冰冰在巴黎殺瘋了!白到發(fā)光隱現(xiàn)腹肌,這狀態(tài)真不是人類?

草莓解說體育
2026-02-06 05:59:56
70歲后要明白,真有一天生活不能自理了,要想好這5條退路

70歲后要明白,真有一天生活不能自理了,要想好這5條退路

風起見你
2026-03-03 00:42:09
清華才子遠赴美國,10年后鉈中毒離奇慘死,兇手身份出人意料

清華才子遠赴美國,10年后鉈中毒離奇慘死,兇手身份出人意料

一更歷史
2024-03-03 21:15:46
32國聯(lián)盟已經增兵,軍艦2路進逼中國,中方74歲老將出馬,以1對多

32國聯(lián)盟已經增兵,軍艦2路進逼中國,中方74歲老將出馬,以1對多

井普椿的獨白
2026-01-14 20:47:35
湖南出現(xiàn)歷史上最荒唐法官!判男方凈身出戶,然后跟拿到全部資產的女方結婚

湖南出現(xiàn)歷史上最荒唐法官!判男方凈身出戶,然后跟拿到全部資產的女方結婚

爆角追蹤
2025-11-23 11:25:00
贏球僅1天,中國男籃壞消息傳來:將失去1個主場,沖4連勝難了

贏球僅1天,中國男籃壞消息傳來:將失去1個主場,沖4連勝難了

墨印齋
2026-03-02 19:24:09
從設計院到包子店:一位45歲建筑師靠“打零工”重啟人生

從設計院到包子店:一位45歲建筑師靠“打零工”重啟人生

北青深一度
2026-02-28 16:09:26
英法德:準備“從源頭摧毀”伊朗軍事能力

英法德:準備“從源頭摧毀”伊朗軍事能力

參考消息
2026-03-02 13:10:34
俄媒:按照普京指示,俄緊急情況部派伊爾-76運輸機接回俄駐以色列外交人員

俄媒:按照普京指示,俄緊急情況部派伊爾-76運輸機接回俄駐以色列外交人員

環(huán)球網(wǎng)資訊
2026-03-02 10:21:21
歐洲天然氣價格漲幅擴大至42%,創(chuàng)2022年3月以來最大漲幅

歐洲天然氣價格漲幅擴大至42%,創(chuàng)2022年3月以來最大漲幅

每日經濟新聞
2026-03-02 20:22:09
糖尿病的“源頭”已發(fā)現(xiàn)?稀飯沒上榜,第1名大家或天天都在吃

糖尿病的“源頭”已發(fā)現(xiàn)?稀飯沒上榜,第1名大家或天天都在吃

健康科普365
2026-03-02 23:15:03
日媒“8個字”贊美孫穎莎,日本隊主教練贊嘆她,松島輝空的愿望

日媒“8個字”贊美孫穎莎,日本隊主教練贊嘆她,松島輝空的愿望

硯底沉香
2026-03-03 00:08:55
2026-03-03 06:00:49
錦緞研究院 incentive-icons
錦緞研究院
專注上市公司價值發(fā)現(xiàn)與傳播
2465文章數(shù) 10816關注度
往期回顧 全部

科技要聞

蘋果中國官網(wǎng)上線iPhone 17e,4499元起

頭條要聞

媒體:拉里賈尼走向前臺 四大關鍵變量將決定伊朗命運

頭條要聞

媒體:拉里賈尼走向前臺 四大關鍵變量將決定伊朗命運

體育要聞

“想要我簽名嗎” 梅西逆轉后嘲諷對手主帥

娛樂要聞

李亞鵬與哥哥和解 只有一條真心話短信

財經要聞

油價飆升 美伊沖突將如何攪動全球經濟

汽車要聞

國民SUV再添一員 瑞虎7L靜態(tài)體驗

態(tài)度原創(chuàng)

教育
健康
數(shù)碼
家居
軍事航空

教育要聞

高考地理中的侵蝕類地貌

轉頭就暈的耳石癥,能開車上班嗎?

數(shù)碼要聞

蘋果新款iPad Air發(fā)布:4799元起 搭載M4芯片

家居要聞

萬物互聯(lián) 享科技福祉

軍事要聞

美國中央司令部透露對伊朗動武全部武器裝備清單

無障礙瀏覽 進入關懷版