機器之心編輯部

最近，有網(wǎng)友發(fā)現(xiàn)了一個很有意思的 bug：MiniMax 的模型似乎不認(rèn)識「馬嘉祺」這三個字。

最開始大家以為只是偶然 bug。結(jié)果一測試，事情就變得有點離譜——無論是在不同接口、不同平臺，這個問題幾乎都能穩(wěn)定復(fù)現(xiàn)。

甚至有人調(diào)侃：以后 OpenRouter 上如果又出現(xiàn)一個匿名模型，如果這個模型認(rèn)不出「馬嘉祺」，那它大概率是 MiniMax。

我們也測試了一下，無論是在官網(wǎng)的 Agent 平臺，還是通過 OpenRouter 調(diào)用 MiniMax API，都成功復(fù)現(xiàn)了這一現(xiàn)象。

更有意思的是，有時甚至同時出現(xiàn)了兩個不同名字。

不過，仔細(xì)觀察網(wǎng)友的截圖和我們的調(diào)用返回可以發(fā)現(xiàn)，模型其實能夠搜索到馬嘉祺的相關(guān)資料，并且也能正確輸出他的履歷信息。只是每當(dāng)說到名字時，就會開始「自由發(fā)揮」。

換句話說，信息基本是對的，人物也大體對應(yīng)得上，偏偏名字出了問題。

那么為什么會出現(xiàn)這種情況呢？

從目前的現(xiàn)象看，這更像是模型在特定詞匯的生成環(huán)節(jié)出現(xiàn)了異常，而不一定意味著它真的「不知道馬嘉祺是誰」。

一種可能是與訓(xùn)練數(shù)據(jù)的清洗和分布有關(guān)。像馬嘉祺這樣討論度極高的公眾人物，互聯(lián)網(wǎng)上往往存在大量重復(fù)、模板化的內(nèi)容。在大規(guī)模去重、過濾或重加權(quán)過程中，這類詞匯有可能被「誤傷」，從而讓模型在生成名字時表現(xiàn)得不夠穩(wěn)定。

從機制上看，大模型并不是以「先完全確認(rèn)人物、再機械輸出名字」的方式工作，而是在理解問題、調(diào)取相關(guān)知識和組織語言的過程中同步完成生成。因此，一旦某個特定名字在生成階段受到額外擾動，模型就可能出現(xiàn)「人物信息基本對，但名字寫不準(zhǔn)」的現(xiàn)象。

最近一篇論文討論了相關(guān)的底層機制問題：某些看似發(fā)生在知識層或推理層的異常，實際可能來自更底層的 tokenizer 機制缺陷（例如非唯一映射）。

• 論文標(biāo)題：Say Anything but This: When Tokenizer Betrays Reasoning in LLMs
• 論文地址：https://arxiv.org/pdf/2601.14658v1

作者指出，現(xiàn)代子詞 tokenizer 往往存在「一對多編碼、但多對一解碼」的情況，也就是多個不同 token 序列，最后可能對應(yīng)同一個文本字符串。結(jié)果就是，模型可能在 token 層面做了「變化」，卻沒有在文本層面產(chǎn)生任何可見變化。

論文設(shè)計了一個很巧的測試：不給模型出復(fù)雜數(shù)學(xué)題，也不考知識問答，只讓它做一件看似非常簡單的事——把句子里被標(biāo)記出來的詞替換掉，其他內(nèi)容保持完全不變。

按理說這幾乎不該失敗，因為任務(wù)目標(biāo)極其明確?？勺髡甙l(fā)現(xiàn)，在 11000 多次替換實驗里，很多模型都會出現(xiàn)一種他們稱為 phantom edits 的現(xiàn)象：模型輸出的 token ID 確實變了，但解碼后顯示出來的詞，和原來一模一樣。也就是說，模型「以為自己改了」，人類卻看到「什么都沒改」。

論文還指出，不是所有問題都能靠「把模型做大一點」自動解決。作者測試了多個模型家族后發(fā)現(xiàn)，這類由 tokenizer 非唯一映射帶來的錯誤，并不會隨著參數(shù)規(guī)模上去就自然消失。

在詞語替換任務(wù)中，不同大語言模型家族及不同參數(shù)規(guī)模的結(jié)果分布。「Different」（紅色）類別突出了由 tokenizer 引發(fā)的「幽靈編輯」現(xiàn)象，這種現(xiàn)象在所有模型規(guī)模和模型家族中都持續(xù)存在。

論文甚至進(jìn)一步提出，某些看起來像「推理能力不行」的問題，可能有一部分只是 tokenizer 在旁邊悄悄添了點亂。換句話說，有時不是模型不會，而是它被底層機制帶到了一條看似完成任務(wù)、實際上在原地打轉(zhuǎn)的路上。