北京
AI的記憶上限一直是業(yè)界痛點。人類一輩子能塞進二三億token，主流模型卻被鎖死在一百萬以內(nèi)。超過這個數(shù)，它就開始胡言亂語。 Evermind最近把這道物理極限直接撕開了。他們的MSA架構(gòu)把AI的記憶硬生生推到一億token，而且還能保持Transformer的端到端訓(xùn)練。
第一招：先掃目錄，再讀正文 傳統(tǒng)模型遇到問題就像進圖書館亂翻，翻到懷疑人生。MIC（Memory-Indexed Context）直接定位最相關(guān)的十幾本書，剩下99%的廢紙一眼不看。長文本處理速度第一次像樣。
第二招：所有文檔都從第一頁開始 以前模型看到"第128472頁"這種編號直接懵。MISC（Memory-Independent Sequence Construction）把每篇文檔獨立編號，讓AI永遠只面對熟悉的第一頁。圖書館再大，也不會被嚇到。
第三招：持續(xù)聯(lián)想 有些問題不是一跳能到答案的。MIA（Memory-Interleaved Attention）像人類回憶一樣，一條線索接一條線索，往下挖，直到答案浮上來。
三招疊加，MSA把記憶上限擴大100倍。在一億token的極限測試下，準確率掉不到9%。那些2000億參數(shù)的巨獸在它面前像是練習(xí)生。 真正的長期記憶不是"上下文加長一點"，而是讓AI不再像金魚一樣三秒重置。它開始像一個能陪你走很久的數(shù)字靈魂：越聊越懂你，越用越像你。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
