抓住風(fēng)口

本期要點：這位AI浪潮的開創(chuàng)者，究竟說了啥？

你好，我是王煜全，這里是王煜全要聞評論。

上周三，OpenAI前首席科學(xué)家伊利亞?蘇茨克弗（Ilya Sutskever）在消失一年多后，突然在一檔播客節(jié)目中進行了一個半小時的對談，并朝當前的AI熱潮潑了一盆冷水。

這位曾憑“擴展定律”（Scaling Laws）獲得成功的AI領(lǐng)軍者，卻公開宣稱“擴展時代（Age of Scaling）已經(jīng)終結(jié)”。當前依賴算力、數(shù)據(jù)與參數(shù)規(guī)模擴張的主流發(fā)展模式已經(jīng)觸及瓶頸，大力出奇跡的神話失靈了。

他還指出了一個矛盾的現(xiàn)象，當前模型能在高難度評測中表現(xiàn)優(yōu)異，卻會在簡單的問題上犯錯。研究人員為提高評測分數(shù)，對模型進行了針對性的強化學(xué)習(xí)訓(xùn)練，導(dǎo)致模型成為了“做題家”，卻不是真正能舉一反三的“天賦學(xué)生”。

伊利亞更是重新定義了AGI（通用人工智能）：未來的超級智能，不應(yīng)該只是個在海量數(shù)據(jù)和 GPU集群上預(yù)訓(xùn)練出來的成品，應(yīng)該是一個具有超高學(xué)習(xí)效率的智能體（Superintelligent Learner）。

它可以像實習(xí)生或15歲少年一樣，雖然并不完美，卻可以通過不斷犯錯和自我糾正來掌握技能，通過知識和經(jīng)驗的積累實現(xiàn)超常智能。

那么，伊利亞在新訪談中表達的新認知究竟說明了什么？是不是意味著這輪AI變革要結(jié)束了？

在我們看來，伊利亞恰恰為AI變革的下一階段指明了方向，別再指望著通過更多數(shù)據(jù)、更多參數(shù)、更多芯片來打造出一個全能的AGI。而我們也想指出，既然追求全能的AGI并不現(xiàn)實，當前更務(wù)實的做法就是著力打造專注于特定領(lǐng)域的AI專家，即“領(lǐng)域智能”。

LLM已經(jīng)到頭了？

首先，當前LLM（大語言模型）架構(gòu)已經(jīng)來到邊際收益銳減的階段。

我們曾多次指出，基于LLM的AI存在能力上限。比如它可以寫出萬字報告，卻得不出3句話的洞察。

其中的原因也比較明顯：第一、互聯(lián)網(wǎng)上的高質(zhì)量數(shù)據(jù)已經(jīng)快要耗盡，再強大的算力也難為無米之炊；第二、當前的AI大模型還缺乏小樣本泛化的能力。

因此，AI大模型在訓(xùn)練數(shù)據(jù)所覆蓋的范圍內(nèi)，可以表現(xiàn)驚人，但只要略微跳出這些范圍，面對陌生場景，AI就容易出現(xiàn)意外錯誤，甚至在一些常識性的問題上陰溝翻船。

伊利亞就打了個比方，如今的大模型就像一個花了一萬小時練習(xí)編程競賽的學(xué)生，背熟了解題套路，能在競賽中脫穎而出，但當讓他去真正的軟件工程崗位，卻很難勝任復(fù)雜多變的實際工作，只能去做那些標準化了的任務(wù)。

最近，和伊利亞有類似看法的AI大牛并不在少數(shù)。

Meta的前AI首席科學(xué)家、圖靈獎得主楊立昆（Yann LeCun）就說過，純粹依賴LLM的路線是一條死胡同，當前的AI大模型智能水平還不如一只貓?！癆I教母”李飛飛前段時間也發(fā)文指出，LLM路線訓(xùn)練出來的AI大模型只是能言善辯的書呆子。

李飛飛

而背后的哲學(xué)道理，可以借用《道德經(jīng)》開篇的“道可道，非常道”來解釋：AI大模型所學(xué)習(xí)和處理的全部內(nèi)容，是人類用文字對世界的表述，而不是這個世界本身；但AI沒有真正親身體驗過這個世界，也就缺乏對于客觀規(guī)律、因果聯(lián)系的切實理解。

就像一個熟讀游泳指南卻沒有下過水的人，哪怕在岸上頭頭是道，在水里也大概率會溺水。

這些AI科學(xué)家們其實是在提醒整個行業(yè)，別再希望靠單純堆料就能走向下一代AI模型，而必須轉(zhuǎn)向算法與架構(gòu)的創(chuàng)新。這也正是伊利亞所說的，我們正站在從“擴展”回歸“研究”的關(guān)鍵轉(zhuǎn)折點上。

領(lǐng)域智能

此時此刻，我想指出的是，大家應(yīng)該意識到，至少在現(xiàn)階段，追求一個萬能的AGI很可能是個偽命題，真正的未來在于在各個垂直領(lǐng)域構(gòu)建一個個能力遠超人類的“超級專家”。

無論是人腦還是計算機，其時間與精力資源都是有限的。當你將資源投入到某個領(lǐng)域以追求極致的專業(yè)水平時，必然犧牲涉獵其他領(lǐng)域的機會。

就像籃球之神邁克爾?喬丹，在退役后轉(zhuǎn)戰(zhàn)棒球卻很難復(fù)制之前的輝煌；一個AI如果要在醫(yī)療診斷上達到超常水準，它的模型架構(gòu)、訓(xùn)練數(shù)據(jù)、優(yōu)化方向都要深度契合醫(yī)學(xué)領(lǐng)域，那它在文學(xué)創(chuàng)作上就必然不及專門訓(xùn)練的寫作AI。

正如伊利亞在訪談中所說，經(jīng)過專業(yè)訓(xùn)練出來的AI可能會在訴訟等復(fù)雜經(jīng)濟活動中形成專業(yè)優(yōu)勢。

因此，在下一代范式突破前，發(fā)展“領(lǐng)域智能”，也就是放棄AGI，轉(zhuǎn)而培養(yǎng)專才型AI才是一條務(wù)實且可行的路徑。

畢竟科學(xué)原理的突破往往是脈沖式的，我們很難判斷下一代AI模型會在什么時候、以什么方式出現(xiàn)，但基于現(xiàn)有技術(shù)的優(yōu)化和配套研發(fā)已經(jīng)足以將AI從高科技轉(zhuǎn)變?yōu)楦咝阅墚a(chǎn)品和高品質(zhì)服務(wù)，并能持續(xù)推動產(chǎn)業(yè)發(fā)展，釋放其中的經(jīng)濟價值。

11月19日，OpenAI在ChatGPT中加入了類似AI購物助手的功能；不久后，Perplexity也上線了類似功能。這些都是“領(lǐng)域智能”方向的早期嘗試，其核心是通過購物數(shù)據(jù)與任務(wù)對基礎(chǔ)模型進行強化訓(xùn)練，構(gòu)建專用于購物領(lǐng)域的模型。

其中的商業(yè)邏輯也很明確，購物決策對幻覺的容忍度很低，要求信息的絕對精準，而且還要符合用戶的需求，基于全網(wǎng)數(shù)據(jù)訓(xùn)練出的通用模型在商品推薦與消費決策方面的表現(xiàn)，大概率就不如在電商數(shù)據(jù)上訓(xùn)練出的專用購物模型。

我們認為，未來，每一個垂直行業(yè)都有機會誕生基于領(lǐng)域智能的專用模型，而背后就將是一群相關(guān)的AI獨角獸公司，乃至未來的行業(yè)霸主。

今天的創(chuàng)業(yè)者和投資者，可以重新思考自己的戰(zhàn)略，放棄大而全的幻想，轉(zhuǎn)向小而美的深度優(yōu)化，深入評估自己是否具有足夠高的數(shù)據(jù)壁壘，能否獲得領(lǐng)域?qū)＜姨峁┑母哔|(zhì)量且密集的反饋，能否利用自己在本領(lǐng)域的特有優(yōu)勢構(gòu)建專用模型，并在特定任務(wù)上擁有超人表現(xiàn)。

這類模型雖然會犧牲部分通用性，但有望在特定的高價值領(lǐng)域（如法律、醫(yī)療、教育等等）表現(xiàn)得足夠?qū)I(yè)和可靠，給用戶帶來有實際價值的服務(wù)，從而獲得可持續(xù)的商業(yè)回報。

以上就是今天的內(nèi)容，如果你希望在第一線觀察AI產(chǎn)業(yè)的發(fā)展，歡迎加入明年一月初的CES展觀展團。屆時，我將陪同你和各位優(yōu)秀的科技企業(yè)家，在創(chuàng)新的現(xiàn)場浸潤式的觀察和思考，感興趣的朋友可以點擊鏈接報名。

更多科技產(chǎn)業(yè)的新趨勢和底層規(guī)律，歡迎加入科技特訓(xùn)營學(xué)習(xí)，和我一起，先人一步，領(lǐng)先一路！

王煜全要聞評論，我們明天見。

↓長按圖片掃碼報名，先人一步，領(lǐng)先一路

也在這向各位家長們推薦前哨AI冬令營，我們將通過一周的集訓(xùn)讓孩子能親自上手完成一個真實的AI項目，快來盡早開啟孩子AI時代的進化之旅吧！就快來點擊鏈接了解詳情吧。

最后， 鑒于公眾 號推送機制的改變，你未來刷 到要聞評論的機會可能沒那么多了，建議你加入粉絲群，第一時間 得到我的獨家前沿分析，而且我們還會每天在粉絲群里發(fā)布獨家資料，快快掃碼加入吧！

此外，我們還為您準備了一個思維導(dǎo)圖，掃描加群即可領(lǐng)取

“AI芯片產(chǎn)業(yè)的未來格局分析”

↓點擊學(xué)習(xí)王煜全老師最新大師課，掌握馬斯克的賺錢底層邏輯！