設(shè)置星標(biāo) 關(guān)注，從此你的世界多點(diǎn)科學(xué)~

錨點(diǎn)

INTERVIEW

本期《錨點(diǎn)》專欄展示了中國科學(xué)技術(shù)大學(xué)科技傳播系副主任袁嵐峰研究員與中國科學(xué)技術(shù)大學(xué)機(jī)器人實(shí)驗(yàn)室主任陳小平教授的對談內(nèi)容，原題為《大模型為什么不會數(shù)數(shù)？》。

陳小平

中國科學(xué)技術(shù)大學(xué)機(jī)器人實(shí)驗(yàn)室主任

導(dǎo)讀：

大模型有什么缺點(diǎn)？許多人都已知道，大模型有時會產(chǎn)生幻覺。但最近，我才知道：大模型居然不會數(shù)數(shù)！

比如，你若生成一個包含27個波浪號的字符串，然后問大模型有多少個波浪號。你會驚訝地發(fā)現(xiàn)，大模型的回答有時是28個，有時是29個，有時是25個……但始終無法給出正確答案。

如果你打開“深度思考”，觀察大模型的“思考”過程，你就會發(fā)現(xiàn)，它翻來覆去地琢磨各種方法，偏偏就不能直截了當(dāng)?shù)財(cái)?shù)出來。有時因?yàn)椤八紒硐肴ァ保竽Ｐ蜕踔了罊C(jī)了。這并不是腦筋急轉(zhuǎn)彎，而是所有大模型普遍存在的問題。

為什么會這樣？我的前輩、同事、中國科學(xué)技術(shù)大學(xué)機(jī)器人實(shí)驗(yàn)室主任陳小平教授對此有深入的認(rèn)識。陳小平教授指出，大模型不僅不會數(shù)數(shù)，也不會等量代換，如它無法從a=b推出2a=2b。這些問題的根源，都與大模型輸出的語境相關(guān)性有關(guān)，而這恰又是大模型厲害之處。

Q：數(shù)數(shù)在數(shù)學(xué)上有嚴(yán)格定義，它的理論基礎(chǔ)源于皮亞諾公理。先有一個數(shù)叫零，存在一個“加一”的操作，任何一個自然數(shù)都可以進(jìn)行這個“加一”操作，所有這些后繼數(shù)無窮延伸便構(gòu)成自然數(shù)。因此，“加一”就是數(shù)數(shù)，整個自然數(shù)由零和“加一”操作定義。

A：

是的，掌握這一規(guī)則，便從原理上懂得了如何數(shù)數(shù)。但大模型并非如此，它是通過大量例子重構(gòu)出數(shù)數(shù)的方式。因此從原理上來看，它并沒有掌握數(shù)數(shù)的本質(zhì)，所以大模型不會數(shù)數(shù)。

Q：針對大模型必然會發(fā)生這一現(xiàn)象，您提出了一套公理體系，請問這是什么理論體系？

A：

這個理論叫做“類LC系統(tǒng)”。眾所周知，大模型具有不可解釋性，仍是一個“黑箱”，其原理不為人知。傳統(tǒng)邏輯是封閉的，只能解決封閉性問題，面對非封閉性問題往往無效。因此，我之前一直在思考能否找到一種反邏輯的方法，也就是跳出邏輯邊界，使其既能解決邏輯無法解決的問題，又能遵守邏輯的可靠性。

ChatGPT發(fā)布后，我深感此事的緊迫性，于是投入較多時間去研究。我認(rèn)為我提的這套公理體系能夠描述大模型的底層原理。當(dāng)然，這仍是一個假說，其成立與否需要大量實(shí)驗(yàn)來檢驗(yàn)。

Q：您所說的公理體系“類LC”是什么意思？這個系統(tǒng)有什么特點(diǎn)？

A：

L代表系統(tǒng)（這是邏輯領(lǐng)域的習(xí)慣表述），c代表關(guān)聯(lián)（correlation，即相關(guān)性），因此稱為“類LC系統(tǒng)”。類LC系統(tǒng)的特點(diǎn)在于，它并非單純的邏輯系統(tǒng)，因?yàn)閭鹘y(tǒng)邏輯無法描述大模型底層原理；也不是純粹的統(tǒng)計(jì)系統(tǒng)，現(xiàn)有的統(tǒng)計(jì)理論不足以闡釋大模型；同時，它還包含部分決策論規(guī)劃的成分，但決策論規(guī)劃同樣無法完整描述大模型的底層邏輯。類LC公理體系融合了這三者的部分特點(diǎn)。我們嘗試通過三條公理來描述大模型的底層原理。

Q：具體來說，這三條公理是指什么？

A：

在大模型里，有個基本概念叫Token，我將它翻譯成“語元”，也就是語言的基本單元。大模型是不考慮短語、句子的，它只關(guān)注語元，以及語元和語元間的關(guān)聯(lián)度。

第一條公理是說，在一個給定的上下文里，其中任何一個語元和另外一個語元之間都有關(guān)聯(lián)度。

第二條公理相對復(fù)雜。大模型做預(yù)測時，會綜合上下文中所有語元的關(guān)聯(lián)度。它把所有的Token都拿來，然后在第一個語元跟語境里的所有語元之間尋找關(guān)聯(lián)度；第二個再拿來，再找所有的關(guān)聯(lián)度……最后選綜合關(guān)聯(lián)度最高的那個。

這是理論上的情況。而當(dāng)關(guān)聯(lián)度不足以支撐決策的時候，也就是通過邏輯、統(tǒng)計(jì)和決策論都找不到通用合理的標(biāo)準(zhǔn)時，不同的大模型就有它自己的決策選擇，這導(dǎo)致不同大模型會有不同的表現(xiàn)。大模型出問題往往也是在這個環(huán)節(jié)。

總的來說，第二條公理在做比較但不做選擇，而第三條公理則表達(dá)選擇這個動作。大模型有時選取綜合關(guān)聯(lián)度最高的，但有時也不這樣選，比如ChatGPT就不選最高的，甚至有時為避免表達(dá)啰唆會故意選較低關(guān)聯(lián)度的結(jié)果。（雖然有時候這種選擇結(jié)果讓人產(chǎn)生“跑偏”的感覺，但部分用戶反而覺得富有創(chuàng)造性。）

而我們?yōu)槭裁捶Q之為“類LC”，原因就在于，其中的公理一和公理二是所有模型都會遵守的，但公理三因場景不同，大模型輸出的結(jié)果會有所差異。

從這三條公理可以看出，大模型無法保證輸出的可靠性，但能夠推導(dǎo)證明出某些結(jié)論。也就是說，無論你提出什么問題，它總能給出結(jié)果，這在人工智能中被稱為“全知性”。不過我認(rèn)為應(yīng)稱之為“偽全知性”。

Q：這就像大家聊的一個笑話。有人自稱計(jì)算速度很快，當(dāng)別人拋給他一道復(fù)雜的數(shù)學(xué)題時，他立刻報(bào)出一個答案，而當(dāng)別人指出他的結(jié)果錯誤時，他卻反問：“你就說算得快不快吧！”您還觀察到大模型有什么其他特征？

A：

根據(jù)類LC系統(tǒng)來看，大模型沒有反思能力。DeepSeek增加了“深度思考”能力，人們往往認(rèn)為它具備了反思能力。但我認(rèn)為嚴(yán)格意義上的反思，是指能夠回頭重新審視自己剛才完成的思考過程（即決策生成的過程），并對該過程的正確性做出判斷。而大模型在面對多種方法和不同答案時，并不會判斷哪個正確、哪個錯誤，只是輸出最后一個答案。

此外，大模型也不具有“傳遞性”。邏輯推理有很多種，包括經(jīng)典邏輯和非經(jīng)典邏輯，它們有一個共同的底層特性，即傳遞性：如果A能推出B，B能推出C，那么從A一定能推出C。大模型不具備這種傳遞性，但它存在另一種傳遞性。

它的這種傳遞性難以從實(shí)驗(yàn)中觀察到，卻可從類LC系統(tǒng)中推導(dǎo)出來，被稱為“基于語境擴(kuò)展的傳遞性”。比如，先向大模型提出一個問題，它會給出一個回答，大模型會把這個輸出的語元納入上下文中；在進(jìn)行下一次預(yù)測時，大模型會基于已納入上下文的語元生成新內(nèi)容，也就是說，它會以這種方式重新考慮自己之前說過的話，這就是它的傳遞性。但這種傳遞性會引發(fā)一種后果，即“語境糾纏性”。具體來說，當(dāng)大模型在表達(dá)中使用無關(guān)詞匯時，這些詞匯會對后續(xù)表達(dá)產(chǎn)生影響，最終導(dǎo)致語境陷入糾纏狀態(tài)。

Q：我們是不是可以認(rèn)為，大模型的根本困難就在于語境糾纏性？

A：

直接的表現(xiàn)就在這個語境糾纏，也就是受語境的干擾，不過根本機(jī)制還在于自然語言是非封閉的。根據(jù)三條公理，大模型通過大量例子訓(xùn)練后變成非封閉性的了。過去的人工智能系統(tǒng)是封閉的，針對非封閉性問題，還具有可靠性；而現(xiàn)在的大模型是非封閉的，去回答非封閉性的問題，意味著結(jié)果不完全可控也不可解釋。

Q：您將大模型的思維方式描述為“志象思維”，這個詞是什么意思？

A：

這個詞是相較于抽象思維、形象思維提出的。人有形象思維，也有抽象思維。比如做科學(xué)研究時需要抽象思維，在進(jìn)行藝術(shù)創(chuàng)造時需要形象思維，而在日常生活、工作中，體現(xiàn)的是另外一種思維方式，我稱之為“日常思維”，它的特點(diǎn)在于“不深究”。

這種思維特性與大模型的關(guān)聯(lián)度預(yù)測思維方式很像，也就是從概率上來看，相關(guān)的思考判斷是有道理的。人們在日常生活、工作中處理問題往往也是這樣——“我”平時習(xí)慣就是這樣，“我”按照習(xí)慣來處理。我將這種思考方式概括為“志象思維”。這里的“志”是“標(biāo)志”的意思，對應(yīng)到大模型里就是語元。

Q：您認(rèn)為大模型的思維方式還有另外一種顯著特征，也就是“弱共識性”，這個怎么理解？

A：

抽象思維是需要“強(qiáng)共識”的。

比如掌握科學(xué)的概念和原理，我認(rèn)為光靠上課和考試達(dá)不到“強(qiáng)共識”。我們對牛頓力學(xué)的理解，是否與牛頓本人的理解一致？如果跟牛頓理解的存在偏差，這就意味著我們沒有和牛頓達(dá)成強(qiáng)共識。在物理學(xué)的研究中，我認(rèn)為真正的學(xué)者之間是達(dá)到了強(qiáng)共識的，也就是他們的理解是一致的。但這種一致無法用文字完全表達(dá)出來。我再打個比方：我們學(xué)習(xí)一門科目，即使考了很高的分?jǐn)?shù)，你讓我評價自己這門課學(xué)會了多少，我也認(rèn)為“我只會一點(diǎn)點(diǎn)”。

科學(xué)界溝通交流是需要強(qiáng)共識的，但大模型不需要，它們只需要弱共識就行了——它們只看那個“標(biāo)志”以及標(biāo)志與標(biāo)志之間的統(tǒng)計(jì)關(guān)聯(lián)。

Q：現(xiàn)在很多人認(rèn)為大模型存在的最大問題是“幻覺”。

A：

說到大模型的幻覺，目前尚未對“幻覺”嚴(yán)格定義。我理解這里“幻覺”是指，在數(shù)據(jù)不充分時，大模型從數(shù)據(jù)中提取關(guān)聯(lián)度，這個關(guān)聯(lián)度是有偏差的，然后基于這些有偏差的關(guān)聯(lián)度再進(jìn)行預(yù)測，結(jié)果可能不正確；即便預(yù)測結(jié)果正確，也只是統(tǒng)計(jì)意義上的正確，而非邏輯層面的正確。

那么，人們?yōu)楹螘J(rèn)為大模型存在幻覺呢？主要原因在于人們對大模型的內(nèi)部機(jī)理、機(jī)制理解尚不到位。實(shí)際上并非大模型產(chǎn)生了幻覺，而是人對大模型產(chǎn)生了幻覺。

Q：后來人們開發(fā)了改進(jìn)的方法，比如說DeepSeek展示了深度思考，也就是“思維鏈”，減少了很多出錯的概率。對于這些改進(jìn)，您怎么看？

A：

我的判斷與很多人不同。不少人認(rèn)為當(dāng)前大模型仍處于早期階段，只要投入更多訓(xùn)練，補(bǔ)充更多數(shù)據(jù)，持續(xù)改進(jìn)算法，其存在的問題會逐漸減少，直至完全消除。但在我看來，這一目標(biāo)是無法實(shí)現(xiàn)的。

大模型的增長曲線起初上升迅速，如今已趨于平緩，再往后甚至?xí)M(jìn)入平臺期。它確實(shí)會不斷改進(jìn)，但改進(jìn)帶來的提升幅度會越來越小，而且始終無法徹底解決這些問題。也就是說，大模型可以不斷改進(jìn)，但不可避免有出錯的概率。

有些人認(rèn)為，當(dāng)大模型的問題縮小到一定程度時，我們就可以忽略這些問題。但在我看來，它不太可能達(dá)到我們期望的那種可忽略的程度。更關(guān)鍵的是，大模型若出問題，并非簡單停留在“算錯某些題目”這類錯誤上，而是有可能引發(fā)危險。

我們現(xiàn)在無法預(yù)判它會出現(xiàn)何種問題，也沒有應(yīng)對預(yù)案，而一旦這類問題發(fā)生，社會根本就無法應(yīng)對。從科學(xué)角度判斷，這種可能性是存在的。這也正是包括部分國際知名學(xué)者在內(nèi)的研究者，始終強(qiáng)調(diào)大模型存在危險的核心原因。

Q：我記得，杰弗里?辛頓（Geoffrey Hinton）2024年剛獲得諾貝爾獎時曾表示：“我認(rèn)為未來十年之內(nèi)，人工智能導(dǎo)致人類滅絕的概率，是一個不可忽略的比例。”

A：

我們認(rèn)為風(fēng)險是存在的，的確應(yīng)該重視風(fēng)險，但是也不能過分地渲染。

Q：您提過一個觀點(diǎn)，即“大模型是影子的影子”，這個比喻是怎么來的？

A：

大模型是一種機(jī)器智能，這種智能雖與人的智能有相似之處，但本質(zhì)上仍不相同。它確實(shí)從輪廓上反映了人類的語言，不過在諸多細(xì)節(jié)上還是與人類語言存在差異。大模型主要反映的是人類語言的習(xí)慣與統(tǒng)計(jì)規(guī)律，而像邏輯推理、因果關(guān)系等，它并未體現(xiàn)，因此它終究只是人類語言的“影子”。

這句表達(dá)源自“生命是火，思想是火光，語言是光的影子，大模型是影子的影子”。這是我在和哲學(xué)界交流時用的四個類比。有一派認(rèn)為機(jī)器最終能擁有人的智能，我是不同意這種觀點(diǎn)的。人類最本質(zhì)的東西是生命，生命在激發(fā)狀態(tài)下才產(chǎn)生思想，思想在運(yùn)用時會使用語言，通過語言人工智能與人類交互，產(chǎn)生了大模型。這些環(huán)節(jié)的傳遞都是一種投射，類似“光是火的一種投射，影子是光的投射”，大模型是語言的投射，所以它是影子的影子。

Q：那么應(yīng)該如何正確理解大模型？

A：

從理論層面來看，目前對大模型最好的理解就是用“類LC系統(tǒng)”來描述它的底層規(guī)律，但這可能并不夠，因?yàn)椴煌竽Ｐ驮诩?xì)節(jié)行為上存在差異，還需要從算法層面進(jìn)一步探究。而這又與大模型是否開源密切相關(guān)。如果大模型都不開源，外界無法知曉其算法具體是什么，我們對它的認(rèn)知就只能停留在類LC系統(tǒng)理論這一步，因此開源十分必要。

從大眾視角來看，理解大模型可以借助“志象思維”，也就是說，它和我們的日常思維方式類似——無法深究，可能會犯錯——不能完全相信它。不過我認(rèn)為，即便大模型目前在原理上存在局限，它依然可以有諸多應(yīng)用。只要我們做好安全保障與倫理治理工作，它仍然可以為人類提供服務(wù)。同時，我認(rèn)為確實(shí)需要加強(qiáng)人工智能的倫理治理，尤其是人工智能的安全問題。甚至有部分國外學(xué)者提出建議：大模型公司應(yīng)將自身至少1/3的算力用于人工智能安全領(lǐng)域。這一觀點(diǎn)是有一定道理的。

Q：說到治理，有一種做法就是制定相關(guān)標(biāo)準(zhǔn)。不久之前，中國頒布了一項(xiàng)規(guī)定，明確從2025年9月1日起，所有人工智能生成的數(shù)據(jù)都需進(jìn)行標(biāo)注。

A：

制定這類標(biāo)準(zhǔn)并非易事：若標(biāo)準(zhǔn)制定得過于嚴(yán)格，可能會限制人工智能的發(fā)展；若過于寬松，又難以避免未來出現(xiàn)問題。這無疑是個兩難的選擇。我認(rèn)為中國采取的這項(xiàng)舉措非常重要，人工智能生成的內(nèi)容確實(shí)需要標(biāo)注，而這一規(guī)定也讓標(biāo)注的責(zé)任落到了用戶身上。

我認(rèn)為，我們還要加強(qiáng)科普，讓大眾建立這樣的概念：大模型并非百分之百正確。如果已經(jīng)明確告知內(nèi)容是大模型生成的，也提醒了它的結(jié)論不是百分之百正確的，可有人依然選擇百分之百相信，那么由此產(chǎn)生的后果，理應(yīng)由其自身承擔(dān)。

Q：說到人工智能，現(xiàn)在人們想到的幾乎全是大模型，卻忘了其實(shí)還有許多大模型之外的人工智能應(yīng)用。

A：

現(xiàn)在大家了解較多的人工智能類型是“生成式人工智能”，其中就包括大模型。第二類目前已應(yīng)用得非常普遍，我稱之為“規(guī)劃式人工智能”。它最典型的例子就是外賣、快遞配送規(guī)劃等。仔細(xì)想想，外賣場景設(shè)計(jì)其實(shí)極為復(fù)雜：短時間內(nèi)有大量訂單、眾多商家與騎手，要完成訂單分配和騎手任務(wù)規(guī)劃。若靠人工幾乎無法實(shí)現(xiàn)，而借助人工智能就能快速完成分配工作。

第三大類是“分析式人工智能”，更通用的說法是“科學(xué)智能”（AI for Science）。各個學(xué)科在研究中引入人工智能技術(shù)，不僅包括大模型，更多是深度學(xué)習(xí)或其他人工智能技術(shù)，以此發(fā)現(xiàn)科學(xué)數(shù)據(jù)中復(fù)雜的模式。

第四大類是“智能裝備”，涵蓋智能機(jī)器人，以及一些形態(tài)上雖非機(jī)器人但應(yīng)用了機(jī)器人技術(shù)的設(shè)備。以工業(yè)領(lǐng)域?yàn)槔?，除了傳統(tǒng)工業(yè)機(jī)器人，不少設(shè)備因配備傳感器而新增了感知功能，使其能根據(jù)實(shí)際情況變化做出決策，無人機(jī)就是典型代表。這類智能裝備在工業(yè)、農(nóng)業(yè)、交通運(yùn)輸?shù)榷鄠€領(lǐng)域都有應(yīng)用場景。

人工智能至少可分為這四大類。其中，大模型吸引了大部分的注意力，但當(dāng)下其他三類實(shí)際應(yīng)用效果可能更好。

Q：您覺得在大模型領(lǐng)域，下一個“錨點(diǎn)”（關(guān)鍵突破點(diǎn)）是什么？

A：

我認(rèn)為在于邏輯增強(qiáng)。當(dāng)前大模型雖具備極強(qiáng)的能力，但其缺陷也十分明顯，在諸多應(yīng)用場景中，尤其是垂直領(lǐng)域，這些缺陷會成為實(shí)質(zhì)性的障礙。為消除這一障礙，我們需要對大模型進(jìn)行邏輯增強(qiáng)，即通過邏輯手段，讓大模型的輸出達(dá)到高可信度。

袁嵐峰

《錨點(diǎn)》科學(xué)對談人

-本文刊載于《世界科學(xué)》雜志2025年第9期“錨點(diǎn)”專欄-

《世界科學(xué)》雜志版在售中 歡迎訂閱

月刊定價

15元/期

全年訂閱價

180元

點(diǎn)擊左側(cè)圖片或以下方訂閱方式選購

方式一：

掃描二維碼，“雜志鋪”訂閱有折扣～

方式二：

全國各地郵局訂閱 郵發(fā)代號：4-263

方式三：

機(jī)構(gòu)訂閱，請撥打

021-53300839；

021-53300838