智東西
編譯 陳駿達(dá)
編輯 云鵬

智東西1月29日?qǐng)?bào)道，今天凌晨，月之暗面核心團(tuán)隊(duì)在社交媒體平臺(tái)Reddit上舉行了一場(chǎng)有問必答（AMA）活動(dòng)。三位聯(lián)合創(chuàng)始人楊植麟（CEO）、周昕宇（算法團(tuán)隊(duì)負(fù)責(zé)人）和吳育昕與全球網(wǎng)友從0點(diǎn)聊到3點(diǎn)，把許多關(guān)鍵問題都給聊透了，比如Kimi K2.5是否蒸餾自Claude、Kimi K3將帶來的提升與改變，以及如何在快速迭代與長(zhǎng)期基礎(chǔ)研究之間取得平衡。

▲AMA欄目截圖（圖源：Reddit）

一開始，便有網(wǎng)友拋出尖銳問題：Kimi K2.5有時(shí)會(huì)自稱為Claude，有人懷疑這是對(duì)Claude進(jìn)行蒸餾的證據(jù)。楊植麟回應(yīng)道，這一現(xiàn)象主要是由在預(yù)訓(xùn)練階段對(duì)最新編程數(shù)據(jù)進(jìn)行了上采樣，而這些數(shù)據(jù)似乎與“Claude”這個(gè)token的關(guān)聯(lián)性較強(qiáng)，事實(shí)上，K2.5在許多基準(zhǔn)測(cè)試中似乎都優(yōu)于Claude。

談及Kimi K3，楊植麟沒透露太多細(xì)節(jié)，但提到了K3會(huì)在Kimi Linear上加入更多架構(gòu)優(yōu)化，他相信，就算Kimi K3沒比K2.5強(qiáng)10倍，也肯定會(huì)強(qiáng)很多。

整場(chǎng)問答中，月之暗面的三位聯(lián)合創(chuàng)始人共回答了40多個(gè)問題。智東西也向他們提出了3個(gè)問題，并獲得了直接回應(yīng)。

當(dāng)智東西問及月之暗面的算力儲(chǔ)備時(shí)，楊植麟稱，GPU數(shù)量的差距并未縮小，但實(shí)現(xiàn)AGI究竟需要多少算力，仍需拭目以待，而周昕宇補(bǔ)充了一句頗具哲理的話：創(chuàng)新往往誕生于約束之中。

▲楊植麟、周昕宇回應(yīng)智東西關(guān)于算力儲(chǔ)備的問題（圖源：Reddit）

周昕宇還提到，月之暗面有“把事情真正做成并落地”的共同價(jià)值觀，而不僅僅是為了表面光鮮。

此次AMA正值Kimi K2.5的發(fā)布。這是月之暗面目前最強(qiáng)大的模型，在視覺、編程、Agent以及各種通用任務(wù)上都有不錯(cuò)的表現(xiàn)，還通過一項(xiàng)名為智能體蜂群的技術(shù)實(shí)現(xiàn)一個(gè)模型對(duì)多達(dá)100個(gè)“子智能體”的調(diào)度，任務(wù)執(zhí)行效率最高提升450%。

發(fā)布后2天左右，Kimi K2.5獲得權(quán)威AI評(píng)測(cè)榜單Artificial Analysis開源模型第一的成績(jī)，僅次于來自O(shè)penAI、Anthropic和谷歌的4款模型。

我們將AMA中的精華內(nèi)容梳理歸納為23個(gè)關(guān)鍵問題，分為三章呈現(xiàn)，第一章聚焦月之暗面公司本身及AI行業(yè)相關(guān)話題，第二章介紹 Kimi K2.5的技術(shù)細(xì)節(jié)，第三章展望月之暗面的未來規(guī)劃。

完整問答鏈接：

https://www.reddit.com/r/LocalLLaMA/comments/1qpewj7/comment/o28hvpt/

一、GPU數(shù)量差距并未縮小，但創(chuàng)新往往誕生于約束之中

（1）智東西提問：在上次的AMA中，您提到月之暗面的GPU數(shù)量（相較其他企業(yè)）處于劣勢(shì)。在2026年，這種差距會(huì)縮小嗎？

楊植麟：我認(rèn)為差距并沒有縮小。但是，要實(shí)現(xiàn)通用人工智能（AGI）究竟需要多少算力？我們拭目以待。

周昕宇：可用算力受到太多因素的影響。但無論如何，創(chuàng)新往往誕生于約束之中（innovation loves constraints）。

（2）網(wǎng)友提問：您對(duì)DeepSeek的Engram架構(gòu)有何期待？您是否正在考慮采用這種架構(gòu)？

周昕宇：對(duì)嵌入進(jìn)行Scaling是一個(gè)值得探索的有趣方向。但在我們通過Scaling階梯對(duì)其進(jìn)行測(cè)試之前，我們還沒有太多可靠的數(shù)據(jù)。

（3）智東西提問：這是一個(gè)關(guān)于你們研究文化的問題。大規(guī)模模型訓(xùn)練會(huì)消耗大量的GPU時(shí)間，如何界定沉沒成本？比如說，某個(gè)方向經(jīng)過三個(gè)月的實(shí)驗(yàn)后沒有明顯的性能提升，你們的團(tuán)隊(duì)會(huì)根據(jù)哪些指標(biāo)來決定是繼續(xù)、調(diào)整方向還是徹底放棄？

鑒于行業(yè)內(nèi)快速迭代的步伐，你們是否擔(dān)心追求短期成功的壓力，會(huì)影響那些需要多年才能見效的基礎(chǔ)研究？您如何使您的團(tuán)隊(duì)免受這種壓力的影響？

周昕宇：非常好的問題。針對(duì)第一個(gè)問題，我們會(huì)將所有相關(guān)實(shí)驗(yàn)的結(jié)果分享給所有技術(shù)人員，并進(jìn)行深入討論，直到最終決定是繼續(xù)、轉(zhuǎn)型還是徹底放棄。

討論每天都會(huì)進(jìn)行，我們鼓勵(lì)每個(gè)人對(duì)所有事情提出質(zhì)疑，從目標(biāo)設(shè)定到最細(xì)微的技術(shù)細(xì)節(jié)。

針對(duì)第二個(gè)問題，長(zhǎng)期以來，我們?cè)谘鹤⒓夹g(shù)基本面的走勢(shì)上有著相當(dāng)不錯(cuò)的記錄。MoBA幾乎從公司成立之初就開始了；Kimi Linear也經(jīng)歷了將近一年的探索與掙扎。

關(guān)鍵在于團(tuán)隊(duì)要有“把事情真正做成并落地”的共同價(jià)值觀，而不僅僅是為了表面光鮮。我們的組織、文化和管理都是為了支撐這一價(jià)值觀而建立的。

（4）網(wǎng)友提問：你們最喜歡工作中的哪一部分？

楊植麟：我們喜歡訓(xùn)練模型，因?yàn)檫@讓人感覺在不斷接近真相：關(guān)于什么是有效的、什么是無效的真相，關(guān)于智能是如何被創(chuàng)造出來的真相。

（5）網(wǎng)友提問：請(qǐng)問訓(xùn)練視覺語(yǔ)言模型（VLM）的主要挑戰(zhàn)是什么？為什么Kimi如此致力于訓(xùn)練視覺模型？

楊植麟：主要挑戰(zhàn)在于如何同時(shí)提升文本和視覺性能。我們發(fā)現(xiàn)，當(dāng)方法得當(dāng)時(shí)，文本和視覺可以相互促進(jìn)。

例如，我們觀察到，在視覺任務(wù)上進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練可以提升文本知識(shí)基準(zhǔn)測(cè)試的成績(jī)。另一方面，像K2這樣強(qiáng)大的文本庫(kù)對(duì)于提升視覺性能也至關(guān)重要。

（6）網(wǎng)友提問：Kimi Code和Claude Code有什么區(qū)別？為什么Kimi要開發(fā)自己的編程工具？

楊植麟：我們認(rèn)為我們需要一個(gè)與模型最匹配的框架。但使用Claude Code時(shí)，框架會(huì)不斷變化，兼容性有時(shí)會(huì)成為問題。

此外，Kimi Code還擁有一些獨(dú)有的功能，例如視頻輸入。我們認(rèn)為video2code（視頻生代碼）非常重要，代表著前端開發(fā)的未來。

（7）網(wǎng)友提問：強(qiáng)化學(xué)習(xí)基礎(chǔ)設(shè)施已成為關(guān)注的焦點(diǎn)。考慮到訓(xùn)練像智能體蜂群這樣的系統(tǒng)的復(fù)雜性，在像verl這樣的開源框架上實(shí)現(xiàn)起來會(huì)相當(dāng)具有挑戰(zhàn)性。你們?cè)趶?qiáng)化學(xué)習(xí)基礎(chǔ)設(shè)施方面所做的具體改進(jìn)是什么？

吳育昕：強(qiáng)化學(xué)習(xí)基礎(chǔ)設(shè)施的確是一項(xiàng)巨大的挑戰(zhàn)，我們力求在保持良好靈活性的同時(shí)實(shí)現(xiàn)高效率。在效率方面，我們嘗試在開發(fā)訓(xùn)練和推理系統(tǒng)時(shí)充分考慮強(qiáng)化學(xué)習(xí)的實(shí)際應(yīng)用場(chǎng)景，以便復(fù)用所有繁重的計(jì)算工作，從而實(shí)現(xiàn)規(guī)?；瘮U(kuò)展。

智能體蜂群的部署邏輯尤其復(fù)雜，但我們的系統(tǒng)具有極高的靈活性，允許我們將不同的框架和子智能體設(shè)置集成到訓(xùn)練過程中。

（8）網(wǎng)友提問：我想問一下與你們的Scaling階梯有關(guān)的問題。你們開始實(shí)驗(yàn)的最小規(guī)模（主動(dòng)/被動(dòng)）是多少？通常步長(zhǎng)是多少？另外，你們是否會(huì)根據(jù)所做的更改類型（數(shù)據(jù)、優(yōu)化器、線性注意力機(jī)制等）采用不同的Scaling階梯？

周昕宇：我們從非常小的規(guī)模開始。我個(gè)人有時(shí)會(huì)從小到可以在單個(gè)CPU上訓(xùn)練的模型開始。

核心目標(biāo)是預(yù)測(cè)系統(tǒng)的可擴(kuò)展性。有些架構(gòu)無法擴(kuò)展，有些優(yōu)化器無法擴(kuò)展，甚至有些數(shù)據(jù)也無法擴(kuò)展。在低FLOPs下評(píng)估可擴(kuò)展性是一個(gè)有趣的研究課題，它需要對(duì)訓(xùn)練過程中的數(shù)學(xué)動(dòng)態(tài)有深刻的理解，同時(shí)也需要兼顧嚴(yán)謹(jǐn)性和創(chuàng)造性。

舉個(gè)例子：我們?cè)?jīng)急于將Kimi Linear移植到Kimi K2中，但它在達(dá)到一定規(guī)模后Scaling失敗了。我們不得不暫停開發(fā)，經(jīng)過漫長(zhǎng)的調(diào)試過程，最終歷經(jīng)數(shù)月才使其達(dá)到如今Kimi Linear的水平。

從統(tǒng)計(jì)學(xué)角度來看，大多數(shù)小規(guī)模行之有效的方案都無法突破規(guī)?；款i。而那些能夠成功推廣的方案通常都簡(jiǎn)單有效，并且有數(shù)學(xué)依據(jù)。研究的重點(diǎn)在于如何應(yīng)對(duì)失敗，而不是慶祝成功。

二、模型自稱Claude并非因?yàn)檎麴s，智能的上限取決于新學(xué)習(xí)算法

（9）智東西提問：Kimi K2.5使用了平行智能體強(qiáng)化學(xué)習(xí)技術(shù)。你們會(huì)不會(huì)將主要算力預(yù)算從預(yù)訓(xùn)練轉(zhuǎn)向強(qiáng)化學(xué)習(xí)？在K3路線圖中，強(qiáng)化學(xué)習(xí)的算力規(guī)模是否會(huì)超越預(yù)訓(xùn)練？

楊植麟：強(qiáng)化學(xué)習(xí)的計(jì)算量將持續(xù)增長(zhǎng)。更重要的是，增加強(qiáng)化學(xué)習(xí)計(jì)算量的方法有很多，而且有些方法比其他方法更有效。未來可能會(huì)出現(xiàn)更多新的目標(biāo)函數(shù)來對(duì)模型進(jìn)行強(qiáng)化訓(xùn)練，尤其是在智能體領(lǐng)域。

（10）網(wǎng)友提問：Kimi K2.5已經(jīng)證明，通過強(qiáng)化學(xué)習(xí)擴(kuò)展思考token是實(shí)現(xiàn)前沿推理的可行途徑。考慮到訓(xùn)練CoT（思維鏈）策略的巨大工程開銷和生成思考token的推理延遲，你們是否正在探索架構(gòu)遞歸作為一種在不將計(jì)算外部化到KV緩存的情況下實(shí)現(xiàn)P/poly復(fù)雜度的方法？

楊植麟：在當(dāng)前的架構(gòu)下，我們所關(guān)心的許多問題在計(jì)算意義上其實(shí)都是可解的。在很多情況下，模型能力的瓶頸并不在于其路線復(fù)雜度（circuit complexity），而在于任務(wù)本身是否是可驗(yàn)證的。這意味著兩點(diǎn)：

一方面，我們當(dāng)然可以通過設(shè)計(jì)更高效的架構(gòu)來降低特定任務(wù)所需的路線復(fù)雜度，從而提升token使用效率；

不過，智能的上限更多地取決于能否發(fā)明新的學(xué)習(xí)算法。這些算法應(yīng)當(dāng)能夠超越預(yù)先定義的、可驗(yàn)證的任務(wù)，而不僅僅是依賴更高效的模型架構(gòu)。

（11）網(wǎng)友提問：Kimi K2.5非常棒，但我看到有人說模型會(huì)自稱為Claude，并把這當(dāng)作你們大量蒸餾（distill）自Claude模型的證據(jù)。這是怎么回事？

楊植麟：我們的觀察是，在正確的系統(tǒng)提示詞下，它有很高的概率回答“Kimi”，尤其是在思考模式下。

但當(dāng)系統(tǒng)提示為空時(shí)，它就進(jìn)入了一個(gè)未定義區(qū)域，這更多地反映了預(yù)訓(xùn)練數(shù)據(jù)的分布情況。其中一項(xiàng)改進(jìn)是，我們?cè)陬A(yù)訓(xùn)練階段對(duì)來自互聯(lián)網(wǎng)的最新編程數(shù)據(jù)進(jìn)行了上采樣，而這些數(shù)據(jù)似乎與詞元“Claude”的關(guān)聯(lián)性更強(qiáng)。

事實(shí)上，K2.5在許多基準(zhǔn)測(cè)試中似乎都優(yōu)于Claude，例如HLE、BrowseComp、MMMU Pro和MathVision等等。

（12）網(wǎng)友提問：我想知道你們是如何降低K2的幻覺問題的？幻覺問題似乎是K2模型的主要弱點(diǎn)，也是我之前沒有使用Kimi的原因。但目前來看，2.5版本更加可靠。

吳育昕：對(duì)于所有大模型來說，管理幻覺仍然是一個(gè)巨大的挑戰(zhàn)。我們已經(jīng)通過提高數(shù)據(jù)質(zhì)量（更多經(jīng)過驗(yàn)證的知識(shí)，更少低質(zhì)量的說法）和獎(jiǎng)勵(lì)機(jī)制（例如，當(dāng)模型出現(xiàn)幻覺時(shí)進(jìn)行懲罰）來改善這種情況，但我們認(rèn)為仍然有很多方法可以進(jìn)一步改進(jìn)。

（13）網(wǎng)友提問：Kimi K2.5使用了較高的參數(shù)比例（約470:1）。您認(rèn)為我們目前是否因?yàn)槭褂?5萬億個(gè)token進(jìn)行過度訓(xùn)練而“浪費(fèi)”了計(jì)算資源？

吳育昕：我不確定1:1最優(yōu)性是否仍然成立，但從這個(gè)意義上講，我們確實(shí)會(huì)“浪費(fèi)”一些訓(xùn)練計(jì)算資源。否則模型會(huì)更大，并且與我們現(xiàn)在的模型相比，會(huì)“浪費(fèi)”大量的推理計(jì)算資源。

周昕宇：如果你追求計(jì)算最優(yōu)（compute-optimal）的訓(xùn)練方式，那么大多數(shù)有用的模型實(shí)際上都是被過度訓(xùn)練的；更大的模型只是“過度訓(xùn)練得沒那么嚴(yán)重”。

而計(jì)算最優(yōu)訓(xùn)練通常要求模型規(guī)模足夠大，這會(huì)對(duì)現(xiàn)有基礎(chǔ)設(shè)施帶來巨大的挑戰(zhàn)，同時(shí)也會(huì)顯著提高推理成本。我并不認(rèn)為過度訓(xùn)練是一種“浪費(fèi)”，而更像是我們?yōu)榱双@得更優(yōu)整體權(quán)衡而主動(dòng)支付的一種“成本”。

（14）網(wǎng)友提問：Kimi K2.5的“智能體蜂群”功能最多可協(xié)調(diào)100個(gè)子智能體。在這種規(guī)模下，“協(xié)調(diào)器”模型往往會(huì)成為瓶頸。Kimi K2.5如何處理管理100個(gè)并行推理流所帶來的延遲和上下文信息丟失問題？

吳育昕：“智能體蜂群”的一個(gè)很酷的點(diǎn)在于，各個(gè)子智囊團(tuán)可以在不“腐蝕”或污染主調(diào)度器上下文的情況下獨(dú)立執(zhí)行子任務(wù)。它們本質(zhì)上擁有各自的工作記憶，只在必要時(shí)將結(jié)果返回給調(diào)度器。這使我們能夠在一個(gè)全新的維度上擴(kuò)展整體的上下文長(zhǎng)度。

（15）網(wǎng)友提問：在Kimi K2.5中，你們?nèi)绾螜?quán)衡強(qiáng)化編程能力與保持甚至提升非編程能力（如創(chuàng)意寫作和情緒理解）之間的關(guān)系？

在K2發(fā)布時(shí)你們?cè)诠俜浇榻B中強(qiáng)調(diào)了創(chuàng)意寫作和情商。團(tuán)隊(duì)是如何在訓(xùn)練和優(yōu)化過程中，確保這些對(duì)用戶體驗(yàn)至關(guān)重要但更“軟性”的能力不發(fā)生退化的？

楊植麟：在模型參數(shù)規(guī)模足夠的情況下，我認(rèn)為編程能力和創(chuàng)意寫作之間不存在根本性的沖突。但確實(shí)，隨著我們不斷改進(jìn)獎(jiǎng)勵(lì)模型，要在不同模型版本之間保持一致的“寫作品味”本身就是一項(xiàng)挑戰(zhàn)。

我們的一項(xiàng)做法是依賴內(nèi)部基準(zhǔn)評(píng)測(cè)（幾乎可以看作一種“元評(píng)測(cè)”）來反映模型在創(chuàng)意寫作方面的進(jìn)展，并據(jù)此對(duì)獎(jiǎng)勵(lì)模型進(jìn)行相應(yīng)調(diào)整。

（16）網(wǎng)友提問：K2.5的個(gè)性和寫作風(fēng)格明顯變得更加通用，更像其他模型的“貼心助手”風(fēng)格了。我們非常喜歡K2的個(gè)性！K2.5到底發(fā)生了什么？你們是否已經(jīng)注意到這個(gè)問題并正在調(diào)查？

吳育昕：遺憾的是，每次新版本發(fā)布后，我們都會(huì)看到模型“個(gè)性”發(fā)生一定程度的變化。這是一個(gè)相當(dāng)棘手的問題，因?yàn)閭€(gè)性是模型主觀且難以評(píng)估的特征。我們正在努力解決這個(gè)問題，并且希望能夠讓產(chǎn)品更好地滿足每位用戶的個(gè)性化需求。

三、K3將在Kimi Linear基礎(chǔ)上優(yōu)化，即便沒比K2.5強(qiáng)10倍也會(huì)強(qiáng)得多

（17）網(wǎng)友提問：Kimi K3的重點(diǎn)會(huì)是什么？原始性能？長(zhǎng)期目標(biāo)？還是上下文長(zhǎng)度？

楊植麟：我們正在嘗試新的架構(gòu)和新功能。

（18）網(wǎng)友提問：Kimi K3是否一定會(huì)采用線性架構(gòu)或其他新架構(gòu)？如果真是如此，您將如何確保K2.5 Thinking的性能得以保留，甚至進(jìn)一步提升？尤其是在多模態(tài)性能方面。我擔(dān)心架構(gòu)改變后可能會(huì)出現(xiàn)不穩(wěn)定的情況。

楊植麟：線性架構(gòu)是一個(gè)非常不錯(cuò)的選擇。我們做了很多研究，包括Kimi Linear。希望我們能在此基礎(chǔ)上加入更多架構(gòu)優(yōu)化。

我相信Kimi K3就算沒有比K2.5強(qiáng)10倍，也肯定會(huì)強(qiáng)得多（I’m sure it will be much, if not 10x, better than K2.5.）。

（19）網(wǎng)友提問：你們未來對(duì)在線/持續(xù)學(xué)習(xí)方面有什么計(jì)劃，特別是針對(duì)Agentic模型？Kimi Linear與K2.5有什么關(guān)系？線性注意力仍然是主要研究方向之一，還是會(huì)發(fā)展成為一個(gè)獨(dú)立的研究分支？

周昕宇：我們相信，持續(xù)學(xué)習(xí)能夠提升模型的自主性，并使它們能夠更長(zhǎng)時(shí)間地高效工作。我們正在積極探索這一方向。Kimi Linear是與K2.5并行開展的一項(xiàng)專門研究項(xiàng)目。我們正大力投資于線性注意力機(jī)制，將其作為未來模型的一個(gè)關(guān)鍵方向。

（20）網(wǎng)友提問：你們是如何考慮模型的角色塑造的？如果有的話，你們對(duì)“Kimi”這個(gè)角色有什么目標(biāo)？

楊植麟：我認(rèn)為模型的核心在于“品味”，因?yàn)橹悄鼙旧硎欠峭|(zhì)化的（non-fungible）。我個(gè)人很喜歡K2.5打造的前端設(shè)計(jì)，它有著獨(dú)特的審美取向。

模型的性格也是“品味”的一種體現(xiàn)。有報(bào)道稱，K2.5相比其他模型更少迎合用戶。這或許是一種好的性格特征，因?yàn)槌掷m(xù)不斷地強(qiáng)化用戶原有的觀點(diǎn)，在某些情況下可能是危險(xiǎn)的。

（21）網(wǎng)友提問：請(qǐng)問你們有計(jì)劃開源“智能體蜂群”或者將其作為一項(xiàng)功能添加到Kimi-cli中嗎？

楊植麟：目前它還處于測(cè)試階段。待其更加穩(wěn)定后，我們將向開發(fā)者提供框架。希望很快就能實(shí)現(xiàn)。

（22）網(wǎng)友提問：為什么不把視覺編碼器做得大于400M呢？

吳育昕：小型編碼器在很多方面都有利于Scaling，所以我們甚至?xí)栕约海簽槭裁床话阉O(shè)為0呢？

（23）網(wǎng)友提問：你們有計(jì)劃推出帶有原生音頻輸入功能的模型嗎？

楊植麟：目前我們沒有足夠的資源來處理音頻輸入，所以可能會(huì)把重點(diǎn)放在訓(xùn)練更好的智能體上。