北京月之暗面科技有限公司創(chuàng)始人兼首席執(zhí)行官楊植麟在2026中關(guān)村論壇年會上發(fā)表主題演講——《開源AI加速探索智能上限》，以下是發(fā)言實錄。本文來源：中關(guān)村論壇年會官網(wǎng)。

本賬號接受投稿，投稿郵箱：jingjixuejiaquan@126.com

楊植麟：開源AI加速探索智能上限

很高興有機會跟大家分享我們在開源模型方面，包括訓(xùn)練更好的大模型這個領(lǐng)域上做的很多最新的工作。

其實做大模型這個事情本質(zhì)上是把更多的能源轉(zhuǎn)化成智能，轉(zhuǎn)化過程中最重要的一件事情是能夠規(guī)?；?，也就是說能夠把盡可能多的能源經(jīng)過算力和模型變成更多更高程度的智能。本質(zhì)上，規(guī)?；@個事情是過去若干年所有的模型和AI發(fā)展的一個很重要的基礎(chǔ)。規(guī)?；⒉淮碇覀冎皇潜┝Φ卦黾幽茉椿虮┝Φ卦黾铀懔?，而是涉及到怎么在這里能夠非常有效地進行規(guī)?；?。所以我們會從不同方面去提高有效性，比如會強調(diào)提升Token的效率，本質(zhì)上代表著同樣數(shù)據(jù)中能夠?qū)W到多少智能，因為這個世界上有效的數(shù)據(jù)池是常量或者是非常有限的值，如果你有更好的網(wǎng)絡(luò)架構(gòu)或有更好的優(yōu)化性，就可以從一樣的數(shù)據(jù)里面學(xué)到更多的智能。同時我們也希望支持更長的上下文，因為這樣可以在相同情況下得到更低的loss，通過更低的loss，本質(zhì)上意味著這個模型可以學(xué)會復(fù)雜的任務(wù)，所以我們也設(shè)計了一系列網(wǎng)絡(luò)架構(gòu)以及數(shù)據(jù)，去提升它的長上下文的表現(xiàn)。

同時我們在最新的模型Kimi K2.5里提出新的規(guī)?；椒?，即通過引入多個Agent，形成一個Agent集群的概念，使得多個Agent可以一起工作，通過這種方式去提升它能完成任務(wù)的復(fù)雜度。

這是我們在K2.5里研發(fā)出來的Agent集群的效果。橫坐標是任務(wù)復(fù)雜度，縱坐標是執(zhí)行時間，所以如果原來只是用單一Agent的方式進行工作，可以看到隨著任務(wù)復(fù)雜度逐漸提升，需要完成的時間是指數(shù)增加的，比如完成一個非常復(fù)雜的任務(wù)，想從頭寫一個代碼倉庫實現(xiàn)很復(fù)雜的功能，可能需要幾天甚至幾周的時間，如果能夠并行開啟100個Agent同時完成這個任務(wù)，可能在這個過程中會進行互相協(xié)作，相互協(xié)調(diào)和規(guī)劃接下來應(yīng)該要做的事情，就像一個人類的組織一樣，這時候可以隨著任務(wù)復(fù)雜度增加，執(zhí)行時間其實沒有太大的變化，這樣意味著可以在單位時間內(nèi)完成更加復(fù)雜的任務(wù)，使得原來一些完全不可能實現(xiàn)的任務(wù)變得有可能。就像一個公司一樣，如果想做一件非常艱難的事情，要完成一個很復(fù)雜的任務(wù)，比如從0到1建造一家100億或者1000億美元的公司，只靠一個人可能要100年才能做出來，在市場上是沒有競爭力的，但這個時候如果有100個人或200個非常聰明的人能一起協(xié)作，很可能就可以在短時間內(nèi)完成。

通過這個Agent集群，可以實現(xiàn)規(guī)?；妮斎?，比如可以同時調(diào)查幾百個不同的數(shù)據(jù)來源，在各種權(quán)威的數(shù)據(jù)源里尋找你要的答案，也可以做規(guī)模化的輸出，比如可以通過數(shù)據(jù)來源撰寫一篇幾百頁的論文或規(guī)?；瘓?zhí)行、規(guī)?；幣?，通過這種方式去提升任務(wù)的復(fù)雜度。

我們也非常注重研發(fā)更好的網(wǎng)絡(luò)架構(gòu)，這是我們最新開源的一個模型架構(gòu)，這里最主要的insight來自于十年前的技術(shù)——ResNet，十年之前沒有任何人有辦法訓(xùn)練這種深度的神經(jīng)網(wǎng)絡(luò)，我們之前與一些研究者共同研究殘差網(wǎng)絡(luò)，可以讓模型訓(xùn)練超過幾十、幾百層，可以任意增加層數(shù)。這種殘差結(jié)構(gòu)可以認為是LSTM網(wǎng)絡(luò)的變種，只是說LSTM只是應(yīng)用在時間的維度上，殘差網(wǎng)絡(luò)現(xiàn)在更多應(yīng)用在深度上，使得每一層可以用上一層的輸出做一個函數(shù)的處理，得到當前這一層的輸出。

我們就是把類似的思路做一個自然的泛化，把注意力機制這種計算模式進行90度旋轉(zhuǎn)，從原來只是應(yīng)用在時間軸上，現(xiàn)在應(yīng)用在深度上。把注意力應(yīng)用到深度上以后有很多好處，可能不僅僅是基于前一層輸出進行計算，而是可以結(jié)合之前所有層的輸出進行計算，在優(yōu)化時就會有非常多的好處。

我們有標準的殘差結(jié)構(gòu)、最新的開源殘差結(jié)構(gòu)，也設(shè)計了基于塊狀殘差結(jié)構(gòu)，使得它能夠非常高效地進行實現(xiàn)，基本上在只有2%的額外成本情況下，能夠大幅度提升效果。這只是我們做模型架構(gòu)包括優(yōu)化器創(chuàng)新的一個例子，我們不僅僅是暴力地做規(guī)?；?，而是希望在規(guī)?；耐瑫r也能夠提升它的效率。所以我們一直致力于研發(fā)更強的模型架構(gòu)，使得它的token效率可以更高。

比如Adam優(yōu)化器或attention架構(gòu)、殘差連接，這些都是有了8~11年歷史的技術(shù)，這在計算機里其實是非常長的時間，就是過去十年時間里，其實沒有任何人能夠挑戰(zhàn)這樣的技術(shù)，大家都把它當作一個標準。但是可以看到隨著現(xiàn)在算力的進步，包括大家研發(fā)方式的變化，從原來偏學(xué)術(shù)，單純從idea出發(fā)的研究，到現(xiàn)在變成更加重視與工程的結(jié)合，可以設(shè)計非常扎實的規(guī)?；炞C實驗，從而讓你能得到非常扎實的結(jié)論。所以很多以前認為是標準的東西，現(xiàn)在都是可以被挑戰(zhàn)的，我們在這里通過一系列新的模型架構(gòu)和開源，讓它能夠被全世界更多的人去獲取這樣新的技術(shù)，從而推進整個領(lǐng)域的發(fā)展。

通過開源的技術(shù)，逐漸讓更多的技術(shù)和模型成為新的標準。以Kimi為代表的很多模型，現(xiàn)在正在全世界所有模型廠商的評測中作為一個標準，即如果發(fā)布一個新的芯片，必須通過Kimi或其他的開源模型來評測性能的提升。包括全世界很多研究機構(gòu)也在用K2.5或其他開源模型進行研究，通過開源讓每一個企業(yè)、每一個研究者、每一個終端用戶能非常低門檻地獲取智能，是一個非常重要的事情。同時我們在這里也做很多重要的創(chuàng)新，包括很多架構(gòu)，使得這些技術(shù)都是開放的，可以被任何人所獲取，大家能夠形成一個生態(tài)系統(tǒng)，一起去推動這個領(lǐng)域的發(fā)展。

這個領(lǐng)域的發(fā)展也在逐漸往前走?，F(xiàn)在的研發(fā)方式跟兩三年之前有很大的不同，可能三年之前更多是大家使用天然數(shù)據(jù)，即可能從整個互聯(lián)網(wǎng)獲取的數(shù)據(jù)加上一些少量的人工標注，可能要標注某一條數(shù)據(jù)到底是不是符合你的價值觀或偏好，到去年大家更加重視大規(guī)模的強化學(xué)習(xí)系統(tǒng)，在這里人是去篩選、精選里面高質(zhì)量的任務(wù)，但是這些任務(wù)還是由人來確定的，通過在這些任務(wù)上做強化學(xué)習(xí)得到更好的效果。大家在編程或數(shù)學(xué)領(lǐng)域上得到的提升主要來自于這種技術(shù)路線。

從今年到明年以及接下來的若干年時間內(nèi)，整個AI研究和研發(fā)的方式會發(fā)生重大的變化，會有更多是AI主導(dǎo)這個研究，每個研究員會配備非常多的AI token，這些AI token可以幫你合成新的任務(wù)，幫你合成新的環(huán)境，幫你定義在這個環(huán)境下面到底什么樣是最好、最合適的獎勵函數(shù)，甚至幫你探索新的網(wǎng)絡(luò)架構(gòu)長什么樣。所以在這樣的前提下，整個AI的研發(fā)也會逐漸加速，我們希望能夠跟整個開源社區(qū)一起不斷地把智能技術(shù)往前推進，打造一個更好的生態(tài)系統(tǒng)。

感謝大家！■

掃碼報名新一期太學(xué)錄制