如果你覺得多模態(tài)大模型已經“什么都會了”，Gemini 、ChatGPT 智商已經超越人類了，那這篇論文可能會給你潑一盆冷水。

日前，一篇來自arXiv 題為《BabyVision：超越語言的視覺推理》的論文給出了一個驚人的結論：如果完全不依賴語言，只考最基礎的視覺能力，今天最強多模態(tài)大模型的表現(xiàn)，還不如三歲小孩。

該篇論文作者為 梁晨等來自 UniPat AI、北京大學、清華大學、阿里巴巴、普林斯頓等的 29 名研究員。

他們給這個研究方向設計了一個新基準，名字叫 BabyVision。

顧名可思義，考的不是博士級的復雜推理，而是人類在學會說話之前就已經具備的視覺能力。

過去一年，多模態(tài)模型在各種榜單上進步飛快，做數(shù)學題、看圖寫代碼、理解專業(yè)圖表，甚至在一些大學、博士水平的測試中超過普通人。

但作者指出，這些測試幾乎都有一個共同點，高度依賴語言、知識和文本推理。

于是他們反過來做了一件事，把語言和知識全部剝離，只剩下視覺本身。

BabyVision 一共只有 388 道題，規(guī)模不大，但設計得非?？酥啤?br/>

問題文本被壓縮到極短，平均只有二十多字，不需要任何背景知識。

題目分布在四類最基礎的視覺能力上：細微差異的辨別、視覺路徑追蹤、空間關系判斷，以及圖形和模式識別。

換句話說，就是“哪個更大”、“線走到哪里”、“這個形狀轉一下會變成什么”、“規(guī)律下一格是什么”等，這一類問題。

為了避免“文字投機”，作者在數(shù)據構建階段專門過濾了所有可能通過語言猜答案的樣本，甚至還請人反復驗證：如果遮住題目文字，只看圖，人類是否仍然可以完成判斷。

作為對照，他們不僅測了模型，還測了人。

測試對象包括 3 歲、6 歲、10 歲、12 歲的兒童，以及成年人。

結果是，人類的表現(xiàn)，幾乎是壓倒性的。

數(shù)據顯示：成年人在 BabyVision 上的平均正確率是 94.1%；6 歲兒童已經可以穩(wěn)定超過 70%。

而當前表現(xiàn)最好的多模態(tài)模型，得分只有 49.7%。

而且，這還不是“平均模型”，而是作者測試中最強的那一個Gemini3-Pro-Preview。

換句話說，在這些不需要語言、只需要“看懂”的任務上，最先進的多模態(tài)大模型，整體水平還低于學齡前兒童。

更殘酷的是，模型的弱點并不是集中在某一類題型上，而是系統(tǒng)性的。

論文展示了大量錯誤案例。

比如分不清細微形狀差別、無法連續(xù)追蹤一條曲線，比如在二維圖像中構建錯誤的三維關系，或者完全誤判一個簡單的視覺規(guī)律。

分析原因，作者認為，問題并不只是模型“沒訓練夠”，而是當前多模態(tài)架構本身存在結構性瓶頸。

他們認為，大多數(shù)多模態(tài)模型的工作方式，本質上是“先看圖，再把視覺信息壓縮成語言 token，然后在語言空間里思考”。

這個過程在面對知識型問題時很高效，但對基礎視覺任務是致命的。

因為圖片細節(jié)在壓縮過程中會丟失，連續(xù)結構會被打斷，空間關系會被離散化，最終導致模型“會說，但看不清”。

為了驗證是不是“語言這一步”限制了能力，論文還提出了一個擴展實驗，叫 BabyVision-Gen。

在這個設置中，模型不需要用文字回答，而是直接在圖像上生成答案，比如畫出正確路徑、圈出不同區(qū)域。

結果顯示，在少數(shù)任務上，生成式視覺輸出確實能略微改善表現(xiàn)，但整體差距依然巨大。

這也讓論文的結論顯得更加清晰，即當前多模態(tài)模型在“像人一樣看”這件事上，遠沒有達到人類水平，哪怕人類還沒學會說話。

要知道，人類與世界的溝通，先有視覺后有語言，比如嬰兒幾個月大就能辨別形狀、追蹤物體。

但大模型在最基礎的視覺感知上近乎的“失明”表現(xiàn)說明，它們并非真正“看見”了圖像, 而是在用語言知識“猜測”答案。

抱著治病救人的態(tài)度，研究團隊還嘗試基于可驗證獎勵的強化學習（RLVR） ， 對Qwen3-VL-8B-Thinking 進行訓練，來為大模型進行補救。

結果表明，準確率從 13.1% 提升 4.8 個百分點，到了 17.9%，但距離人類水平仍然遙不可及。

這表明，視覺能力的根本缺陷很難通過后訓練彌補，而可能需要架構層面的創(chuàng)新。

但這篇論文的價值，不在于否定多模態(tài)模型的進步，而是對多模態(tài)的發(fā)展路徑提出了條新的思考路徑。

論文明確指出，想要縮小人與模型之間的差距，靠堆數(shù)據、堆語言推理很可能不夠，必須重新思考視覺表征、連續(xù)空間建模，以及視覺與推理之間的連接方式。

論文地址為：

https://arxiv.org/pdf/2601.06521v1