国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

有損自我改進(jìn)(Lossy Self-Improvement)

0
分享至

為什么自我改進(jìn)是現(xiàn)實(shí)存在的,但它不會(huì)導(dǎo)致 AI 的“瞬間起飛”。

作者:Nathan Lambert 2026年3月23日

如今,在AI圈子里,“快速起飛”(Fast Takeoff)、“技術(shù)奇點(diǎn)”以及“遞歸自我改進(jìn)”(RSI)是每個(gè)人都在關(guān)注的話題。在當(dāng)前的AI產(chǎn)業(yè)中,這些概念確實(shí)包含著真實(shí)的成分:兩三家實(shí)驗(yàn)室正整合成為擁有最強(qiáng)模型(以及構(gòu)建下一個(gè)模型所需資源)的寡頭;當(dāng)今的AI工具正在突發(fā)性地改變工程和研究崗位。

在許多方面,AI研究正變得容易得多。雖然進(jìn)一步擴(kuò)大語(yǔ)言模型訓(xùn)練規(guī)模所需的技能挑戰(zhàn)依然巨大,但能夠處理這些問題的“超人級(jí)”編程助手的出現(xiàn),打破了許多關(guān)于“構(gòu)建這些東西需要什么”的舊主張。這一切正為我們?cè)贏I前沿領(lǐng)域迎來一年(或更久)的飛速進(jìn)步奠定基礎(chǔ)。

我們也正處于語(yǔ)言模型已經(jīng)極其出色的時(shí)代。事實(shí)上,它們已經(jīng)足以勝任大量極具價(jià)值的知識(shí)工作。很難想象語(yǔ)言模型還能再跨出一大步——目前還不清楚除了代碼和基于命令行(CLI)的計(jì)算機(jī)操作之外,它們今年還能掌握哪些任務(wù)。當(dāng)然,會(huì)有一些新突破!這些能力將開啟新的工作模式,并給經(jīng)濟(jì)帶來更多漣漪。

這些劇烈的變化幾乎讓人覺得,語(yǔ)言模型能靠自己不斷加速進(jìn)步是一個(gè)理所當(dāng)然的結(jié)論。這種說法的通俗表達(dá)是“遞歸自我改進(jìn)循環(huán)”(RSI Loop)。關(guān)于這個(gè)話題的早期探討可以追溯到2000年代,比如2008年的一篇博文:

“當(dāng)你把‘重新設(shè)計(jì)你自己的認(rèn)知算法’這個(gè)對(duì)象級(jí)問題交給AI時(shí),遞歸就發(fā)生了?!?br/>

稍早一點(diǎn),在 2007 年,尤德科夫斯基(Yudkowsky)也在《通用智能的組織層級(jí)》中定義了相關(guān)的“種子AI”(Seed AI)概念:

“種子AI是專為自我理解、自我修改和遞歸自我改進(jìn)而設(shè)計(jì)的AI?!N子 AI 的后期后果(如真正的遞歸自我改進(jìn))只有在AI實(shí)現(xiàn)了顯著的整體理解和通用智能之后才會(huì)顯現(xiàn)?!?br/>

考慮到當(dāng)今模型的通用性和實(shí)用性,認(rèn)為我們正處于這個(gè)階段的起點(diǎn)是合理的。

通常,遞歸自我改進(jìn)(RSI)可以總結(jié)為:當(dāng)AI能改進(jìn)自身時(shí),改進(jìn)后的版本能更高效地進(jìn)行下一次改進(jìn),從而創(chuàng)建一個(gè)封閉的放大循環(huán),導(dǎo)致“智能爆炸”,即所謂的奇點(diǎn)。這其中包含幾個(gè)假設(shè)。RSI要發(fā)生,必須滿足:

  1. 循環(huán)是封閉的: 模型能不斷改進(jìn)自身并孕育出下一代模型。
  2. 循環(huán)是自我放大的: 下一代模型能比當(dāng)前模型產(chǎn)生更大的進(jìn)步。
  3. 循環(huán)持續(xù)運(yùn)行且不損失效率: 不存在增加的摩擦力使指數(shù)級(jí)增長(zhǎng)提前變成“S型曲線”(Sigmoid)。

雖然我同意未來幾年持續(xù)的AI進(jìn)步將帶來重大的、社會(huì)不穩(wěn)定的變化,但我預(yù)計(jì),當(dāng)我們回過頭來看時(shí),進(jìn)步的趨勢(shì)線將更接近線性而非指數(shù)級(jí)。我認(rèn)為,發(fā)生的將不是遞歸自我改進(jìn),而是“有損自我改進(jìn)”(Lossy Self-Improvement, LSI)——模型成為了開發(fā)循環(huán)的核心,但各種摩擦力打破了RSI的所有核心假設(shè)。你投入的算力和智能體越多,出現(xiàn)的損耗和重復(fù)就越多。

我依然相信,先進(jìn)系統(tǒng)的“復(fù)雜性制動(dòng)器”(Complexity Brake)將是一個(gè)強(qiáng)大的抗衡力量,抵消模型在各項(xiàng)細(xì)分任務(wù)上變強(qiáng)的事實(shí)。我在2025年4月曾引用過這個(gè)觀點(diǎn):

微軟聯(lián)合創(chuàng)始人保羅·艾倫提出了“復(fù)雜性制動(dòng)器”理論:科學(xué)越接近理解智能,取得額外進(jìn)展就越困難。對(duì)專利數(shù)量的研究顯示,人類的創(chuàng)造力并沒有表現(xiàn)出加速回報(bào),事實(shí)上,如約瑟夫·泰恩特在《復(fù)雜社會(huì)的崩潰》中所述,它呈現(xiàn)出收益遞減規(guī)律。復(fù)雜性的增長(zhǎng)最終會(huì)自我限制,并導(dǎo)致廣泛的“通用系統(tǒng)崩潰”。

在現(xiàn)有的模型訓(xùn)練方式、模型所需的深層直覺以及構(gòu)建模型的組織中,有大量例子顯示損耗來自何處。構(gòu)建領(lǐng)先的語(yǔ)言模型極其復(fù)雜,而且正變得越來越復(fù)雜。我認(rèn)為核心摩擦力有以下三點(diǎn):

1. 可自動(dòng)化的研究過于狹隘

首先,很明顯,今年的語(yǔ)言模型已經(jīng)可以作為工具,在優(yōu)化局部任務(wù)(如降低模型的測(cè)試損失值)方面大顯身手。安德烈·卡帕斯(Andrey Karpathy)最近推出的AutoResearch讓這種做法流行起來。這允許AI智能體直接在GPU上操作,目標(biāo)是降低測(cè)試集上的損失。

這種方法在狹窄領(lǐng)域(如單一的測(cè)試損失或整體獎(jiǎng)勵(lì))有效。問題在于,“賬面上更精確的模型”與“用戶覺得更有生產(chǎn)力的模型”之間長(zhǎng)期存在鴻溝。 縮放法則(Scaling Laws)顯示損失會(huì)持續(xù)下降,但我們不知道這是否會(huì)在經(jīng)濟(jì)上產(chǎn)生更大價(jià)值。

在后期訓(xùn)練(Post-training)中,強(qiáng)化學(xué)習(xí)算法至少與特定性能增益聯(lián)系得更緊密。但我依然擔(dān)心其泛化能力,以及它是否能真正轉(zhuǎn)化為“擅長(zhǎng)構(gòu)建自身和設(shè)計(jì)實(shí)驗(yàn)”的模型。我們已經(jīng)看到許多 AI 能力在人類品味的某些水平上趨于飽和,比如寫作質(zhì)量。AI研究雖然不同(天花板更高),但模型會(huì)因搜索空間和優(yōu)化目標(biāo)過于寬廣而陷入飽和。最好的研究員所做的是——讓許多可擴(kuò)展的想法協(xié)同工作,而不僅僅是優(yōu)化單一指標(biāo)。

2. 并行AI智能體的收益遞減

AI快速進(jìn)步面臨的最大問題是:即使我們?cè)跀?shù)據(jù)中心擁有 10,000 名遠(yuǎn)程“AI員工”,也幾乎不可能將他們?nèi)考性谝粋€(gè)問題上。本質(zhì)上,當(dāng)模型仍然非常相似時(shí),它們是從相同的解空間和能力分布中進(jìn)行采樣,同時(shí)受到人類監(jiān)督的瓶頸限制。增加更多智能體,在邊際性能提升上會(huì)遇到嚴(yán)格的飽和點(diǎn)——少數(shù)最頂尖研究員的直覺(以及運(yùn)行實(shí)驗(yàn)的時(shí)間)將是最終的瓶頸。



這里可以用阿姆達(dá)爾定律(Amdahl’s Law)來類比:一項(xiàng)任務(wù)能產(chǎn)生的加速,取決于有多少部分可以并行化。想象一個(gè)研究員從親手寫代碼,到使用AI自動(dòng)補(bǔ)全,再到使用自主編碼智能體。這些都是巨大的飛躍。但現(xiàn)在,如果讓一個(gè)研究員每天嘗試組織30-40個(gè)智能體工作呢?有些人能從中榨取價(jià)值,但不多。你能想象有人每天能為AI智能體想出300-400個(gè)任務(wù)嗎?沒多少人能做到。這個(gè)問題很快也會(huì)撞上AI模型的瓶頸。

3. 資源瓶頸與政治博弈

從根本上說,所有AI公司都在走鋼絲:獲取巨額資本、將算力轉(zhuǎn)化為收入、同時(shí)在研發(fā)上投入天文數(shù)字。由于資源規(guī)模如此巨大,資源分配和押注目標(biāo)上總會(huì)存在政治瓶頸。即便模型持續(xù)改進(jìn),這種摩擦力也永遠(yuǎn)不會(huì)消除。AI模型從根本上是在由人類掌控資源瓶頸的組織中運(yùn)行的。百億美元規(guī)模的研發(fā)算力不太可能完全孤立出來,交給AI模型進(jìn)行端到端的自由實(shí)驗(yàn)。

結(jié)論

我們的工作確實(shí)正變得節(jié)奏更快、效率更高。問題在于,所有這些維度都有明確的人類、政治或技術(shù)復(fù)雜性瓶頸。

每一條S型曲線的底部看起來都像指數(shù)級(jí)增長(zhǎng)。2026年會(huì)感覺像是一大步,但并沒有根本性的變化讓我相信進(jìn)步會(huì)從此“一飛沖天”。這可能會(huì)跨越所謂的AGI門檻(即能夠替代大多數(shù)遠(yuǎn)程辦公者),但這更多是改變了工作的定義。

我們正處于“有損自我改進(jìn)”(LSI)時(shí)代。AI模型正在執(zhí)行自我改進(jìn),但它們并沒有改變方法論。我們正在擴(kuò)大研發(fā)實(shí)踐和工具的算力投入,但收益在遞減。智能體將成為我們共事的自主實(shí)體,它們感覺像是天才與5歲小孩的混合體。這種“有損”的進(jìn)步足以讓行業(yè)超速運(yùn)轉(zhuǎn),但不足以支撐一場(chǎng)瞬間爆發(fā)的智能爆炸。

本文編譯自substack,原文作者Nathan Lambert

https://substack.com/@natolambert/p-191707266

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
中國(guó)買了歐洲1000億人民幣的飛機(jī):東航向空客購(gòu)買101架A320

中國(guó)買了歐洲1000億人民幣的飛機(jī):東航向空客購(gòu)買101架A320

觀察者網(wǎng)
2026-03-25 18:00:06
留幾手談張雪峰去世:死者又不是我爹,憑啥為大

留幾手談張雪峰去世:死者又不是我爹,憑啥為大

三言科技
2026-03-25 19:03:05
這就是徐志摩愛而不得的林徽因中年時(shí)的真實(shí)長(zhǎng)相,大家看看吧!

這就是徐志摩愛而不得的林徽因中年時(shí)的真實(shí)長(zhǎng)相,大家看看吧!

小椰的奶奶
2026-03-26 09:50:43
張雪峰去世事件升級(jí)!很多人連夜下單AED,有店鋪一天銷售100多臺(tái)

張雪峰去世事件升級(jí)!很多人連夜下單AED,有店鋪一天銷售100多臺(tái)

火山詩(shī)話
2026-03-26 07:32:38
伊朗警告:情報(bào)顯示敵對(duì)勢(shì)力在“某地區(qū)國(guó)家”支持下準(zhǔn)備占領(lǐng)伊朗島嶼,若敵人膽敢采取行動(dòng),將對(duì)該地區(qū)國(guó)家所有重要基礎(chǔ)設(shè)施進(jìn)行猛烈攻擊

伊朗警告:情報(bào)顯示敵對(duì)勢(shì)力在“某地區(qū)國(guó)家”支持下準(zhǔn)備占領(lǐng)伊朗島嶼,若敵人膽敢采取行動(dòng),將對(duì)該地區(qū)國(guó)家所有重要基礎(chǔ)設(shè)施進(jìn)行猛烈攻擊

極目新聞
2026-03-26 09:09:58
語(yǔ)出驚人!摩根大通CEO戴蒙稱,伊朗戰(zhàn)爭(zhēng)長(zhǎng)期來看是好事!為什么這樣說?

語(yǔ)出驚人!摩根大通CEO戴蒙稱,伊朗戰(zhàn)爭(zhēng)長(zhǎng)期來看是好事!為什么這樣說?

王爺說圖表
2026-03-25 18:51:12
張雪峰去世真相!網(wǎng)友:偌大的公司靠他個(gè)人ip養(yǎng)活,早死是必然的

張雪峰去世真相!網(wǎng)友:偌大的公司靠他個(gè)人ip養(yǎng)活,早死是必然的

火山詩(shī)話
2026-03-25 09:18:58
兩省省委領(lǐng)導(dǎo)班子調(diào)整

兩省省委領(lǐng)導(dǎo)班子調(diào)整

上觀新聞
2026-03-25 15:07:07
“史上最慘”的成都糖酒會(huì),徹底撕開了白酒行業(yè)的遮羞布

“史上最慘”的成都糖酒會(huì),徹底撕開了白酒行業(yè)的遮羞布

財(cái)經(jīng)早餐
2026-03-25 22:42:59
中國(guó)電信:全面轉(zhuǎn)向token經(jīng)營(yíng)!

中國(guó)電信:全面轉(zhuǎn)向token經(jīng)營(yíng)!

最通信
2026-03-25 20:45:14
人民日?qǐng)?bào)對(duì)張雪峰的評(píng)價(jià)——

人民日?qǐng)?bào)對(duì)張雪峰的評(píng)價(jià)——

葉初七
2026-03-26 10:03:04
上海一女子“閃婚”拿到價(jià)值近千萬房產(chǎn)99%份額,“閃離”后起訴分割房產(chǎn),法院判了!

上海一女子“閃婚”拿到價(jià)值近千萬房產(chǎn)99%份額,“閃離”后起訴分割房產(chǎn),法院判了!

環(huán)球網(wǎng)資訊
2026-03-26 08:13:14
女子稱找高鐵乘務(wù)員投訴一名男子在列車口抽煙,被發(fā)了一個(gè)口罩,當(dāng)事人:乘務(wù)員的態(tài)度很好,但自己對(duì)這種情況無語(yǔ),希望高鐵全面禁煙

女子稱找高鐵乘務(wù)員投訴一名男子在列車口抽煙,被發(fā)了一個(gè)口罩,當(dāng)事人:乘務(wù)員的態(tài)度很好,但自己對(duì)這種情況無語(yǔ),希望高鐵全面禁煙

洪觀新聞
2026-03-25 14:56:54
打車的“運(yùn)氣”,滴滴AI給你

打車的“運(yùn)氣”,滴滴AI給你

定焦One
2026-03-24 19:34:58
可能出大事了,四名軍工系統(tǒng)院士被除名,釋放的信號(hào)讓人不敢細(xì)想

可能出大事了,四名軍工系統(tǒng)院士被除名,釋放的信號(hào)讓人不敢細(xì)想

張嘴說財(cái)經(jīng)
2026-03-25 23:07:05
外交部發(fā)言人反問日媒:“你見過有人未經(jīng)允許持刀進(jìn)入使館與大使交談的先例嗎?”

外交部發(fā)言人反問日媒:“你見過有人未經(jīng)允許持刀進(jìn)入使館與大使交談的先例嗎?”

環(huán)球網(wǎng)資訊
2026-03-25 15:39:26
堅(jiān)決反對(duì)中國(guó)任何城市申辦奧運(yùn)會(huì),國(guó)際奧委會(huì)這次怕是真失算了

堅(jiān)決反對(duì)中國(guó)任何城市申辦奧運(yùn)會(huì),國(guó)際奧委會(huì)這次怕是真失算了

南權(quán)先生
2026-03-25 15:25:11
曾因污言穢語(yǔ)被封禁的張雪峰,憑什么讓鄭大悼念,新華社發(fā)訃告?

曾因污言穢語(yǔ)被封禁的張雪峰,憑什么讓鄭大悼念,新華社發(fā)訃告?

觀察者海風(fēng)
2026-03-25 22:10:33
中方駁斥“闖館事件”日方荒謬說法:你見過未經(jīng)允許持刀進(jìn)入使館同大使交談的先例嗎?

中方駁斥“闖館事件”日方荒謬說法:你見過未經(jīng)允許持刀進(jìn)入使館同大使交談的先例嗎?

環(huán)球網(wǎng)資訊
2026-03-26 07:09:09
震驚!網(wǎng)傳福建一公司提醒員工,出現(xiàn)心梗前兆,先保存文件再救命

震驚!網(wǎng)傳福建一公司提醒員工,出現(xiàn)心梗前兆,先保存文件再救命

火山詩(shī)話
2026-03-26 06:50:40
2026-03-26 13:24:49
Trend求索
Trend求索
大趨勢(shì)深刻求索
72文章數(shù) 16關(guān)注度
往期回顧 全部

科技要聞

Meta高管狂分百億期權(quán),700名員工卻下崗

頭條要聞

伊朗議長(zhǎng)和外長(zhǎng)暫被移出美以清除名單 時(shí)限4到5天

頭條要聞

伊朗議長(zhǎng)和外長(zhǎng)暫被移出美以清除名單 時(shí)限4到5天

體育要聞

35歲替補(bǔ)門將,憑什么入選英格蘭隊(duì)?

娛樂要聞

張雪峰家人首發(fā)聲 不設(shè)追思會(huì)喪事從簡(jiǎn)

財(cái)經(jīng)要聞

黃仁勛:芯片公司的時(shí)代已經(jīng)結(jié)束了

汽車要聞

一汽奧迪A6L e-tron開啟預(yù)售 CLTC最大續(xù)航815km

態(tài)度原創(chuàng)

游戲
健康
本地
旅游
房產(chǎn)

任天堂澄清Switch2游戲定價(jià)策略:實(shí)體版不會(huì)漲價(jià)

轉(zhuǎn)頭就暈的耳石癥,能開車上班嗎?

本地新聞

春日吃花第三站——廣東

旅游要聞

人不算多風(fēng)景極美 清明假期去這7座寶藏小城

房產(chǎn)要聞

質(zhì)價(jià)比標(biāo)桿!三亞首創(chuàng)浮島全景艙亮相,還得是萬科!

無障礙瀏覽 進(jìn)入關(guān)懷版