11月26日消息，OpenAI前首席科學(xué)家Ilya Sutskever在接受采訪時拋出震撼觀點：“Scaling時代已經(jīng)終結(jié)?！边@位AI領(lǐng)域的領(lǐng)軍人物認(rèn)為，單純依靠堆算力、擴(kuò)規(guī)模的路線已經(jīng)觸及天花板。
Ilya Sutskever是以色列裔加拿大計算機(jī)科學(xué)家，師從圖靈獎得主Geoffrey Hinton。2012年獲多倫多大學(xué)計算機(jī)科學(xué)博士學(xué)位，曾參與創(chuàng)建AlexNet神經(jīng)網(wǎng)絡(luò)，同年加入谷歌從事深度學(xué)習(xí)研究。2022年當(dāng)選英國皇家學(xué)會院士，曾任OpenAI首席科學(xué)家、聯(lián)合創(chuàng)始人，2024年創(chuàng)立安全超級智能公司SSI。
在這場長達(dá)95分鐘、近2萬字的深度對話中，Ilya犀利地指出了當(dāng)前AI的核心矛盾：“模型在各種評測中表現(xiàn)出色，但產(chǎn)生的實際經(jīng)濟(jì)影響卻明顯滯后。”他生動舉例：模型修復(fù)一個bug時，會引入新bug；當(dāng)你指出新問題后，它又把舊bug恢復(fù)回來，陷入無限循環(huán)。
Ilya將當(dāng)下的大模型比作“競賽程序員”——過度專注特定任務(wù)訓(xùn)練，導(dǎo)致泛化能力嚴(yán)重不足。對于Yann LeCun早年提出類似觀點卻未受重視的情況，網(wǎng)友紛紛調(diào)侃：“為什么我說的時候沒人當(dāng)回事？”
“我們正從規(guī)模時代重新走向科研時代?！盜lya強(qiáng)調(diào)，AI發(fā)展需要更聰明的研究方法，而非盲目擴(kuò)大參數(shù)規(guī)模。如今，他正通過其新公司SSI探索新的訓(xùn)練范式，重點關(guān)注模型泛化能力與價值函數(shù)構(gòu)建，為AI尋找新的突破路徑。