一個偶像藝人的名字，竟成了檢驗大模型訓練質量的試金石。稀宇科技（MiniMax）今日發(fā)布技術報告，正式回應旗下M2系列模型無法正確輸出"馬嘉祺"等特定人名的問題——根因指向分詞器機制與后訓練數(shù)據(jù)覆蓋的深層錯位。

問題的技術鏈條并不復雜，卻環(huán)環(huán)相扣。大模型處理文本依賴"分詞器"（Tokenizer），先將文字切分為"詞元"（Token）再處理。在MiniMax模型的詞表中，"馬嘉祺"被切為"馬"和"嘉祺"兩個詞元，后者作為人名整體獨立成元。后訓練階段（即指令微調）的對話數(shù)據(jù)中，含"嘉祺"的樣本極其稀少，該詞元幾乎未獲有效訓練。與此同時，高頻詞元（工具調用標記、編程符號等）持續(xù)更新向量參數(shù)，不斷"擠壓"低頻詞元的向量空間，最終將"嘉祺"推離正確生成概率區(qū)域。模型被迫退而求其次，選擇發(fā)音相近的高頻詞元如"佳琪"或"琪琪"。

這一個案背后藏著更普遍的系統(tǒng)性風險。MiniMax團隊對全部約20萬個詞元進行參數(shù)掃描后發(fā)現(xiàn)，約4.9%的詞元在后訓練后顯著退化。退化詞元分為四類：預訓練特殊標記（如代碼填充符號）、LaTeX公式與維基百科源碼標記、中文SEO垃圾關鍵詞（如"傳奇私服""無痛人流"），以及占比最大的日文口語和博客模板表達。

數(shù)據(jù)稀疏的后果是全局性的。日語詞元的退化比例高達29.7%，遠超中文（3.9%）和英文（3.5%）。這直接解釋了該模型長期存在的疑難現(xiàn)象：日語對話中偶爾會混入俄語或韓語字符。當后訓練數(shù)據(jù)對不同語種覆蓋率不均衡時，模型生成響應便可能誤入歧途。

修復思路隨之清晰：確保每個詞元在后訓練階段獲得最低限度訓練。MiniMax構造了覆蓋全詞表的合成數(shù)據(jù)，通過"復讀"任務為所有詞元建立生成頻率下限。官方基準數(shù)據(jù)顯示，修復后模型全詞表輸出參數(shù)穩(wěn)定度（余弦相似度）最低值已提升至0.97以上；日語回答中混入俄文字符的比例由47%降至1%。

團隊仍在探索更多優(yōu)化方向：指令微調數(shù)據(jù)中混入預訓練語料、針對未覆蓋詞元定向合成對話樣本、從源頭裁撤詞表中永不啟用的特殊標記等。

MiniMax反思稱，問題的深層根源在于分詞器設計與下游使用場景的脫節(jié)。分詞器基于大規(guī)模網(wǎng)絡語料訓練，包含大量僅出現(xiàn)于特定領域或小眾語言的詞元。這些詞元在預訓練階段尚能充分訓練，進入后訓練階段卻因數(shù)據(jù)分布差異喪失生成能力。這起個案最終暴露的結構性問題是：后訓練階段不僅要保證語義層面的多樣性，更需從底層統(tǒng)計視角保障詞元層面的數(shù)據(jù)覆蓋。