廣東
如何把開源AI大模型的“智能密度”繼續(xù)往上推?
@月之暗面 Kimi 創(chuàng)始人楊植麟的答案是三個概念（圖二）：
1?? Token Efficiency（Token效率）
2?? Long Context（長上下文）
3?? Agent Swarms（智能體集群）
在英偉達GTC大會上，楊植麟首次系統(tǒng)披露了Kimi K2.5的技術路線圖，提出通過“Token效率、長上下文與智能體集群”三維共振實現(xiàn)模型能力躍升。
針對傳統(tǒng)優(yōu)化器瓶頸，團隊研發(fā)MuonClip優(yōu)化器，在萬億參數(shù)訓練中成功抑制數(shù)值爆炸，使token處理效率較AdamW提升一倍。
在長上下文領域，Kimi Linear架構采用混合注意力機制，將128K至1M范圍內(nèi)的解碼速度提升5至6倍，實現(xiàn)了從“支持長文本”到“高效利用長文本”的轉變。
此外，月之暗面Kimi團隊重構了沿用十年的殘差連接，提出Attention Residuals機制，使深層網(wǎng)絡能按需檢索信息而非簡單堆疊，該成果已開源并獲Andrej Karpathy等專家高度評價。
楊植麟還指出，多模態(tài)視覺強化學習可反向增強純文本推理能力。未來Kimi將從單智能體轉向動態(tài)生成的智能體集群（Agent Swarms），通過并行協(xié)作大幅縮短復雜任務執(zhí)行時間，重塑人工智能規(guī)?；瘧梅妒健?/p>
#科技愛好者必讀 #AI技術前沿 #人工智能新突破
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
