設(shè)置星標(biāo) 關(guān)注，從此你的世界多點(diǎn)科學(xué)~

錨點(diǎn)

INTERVIEW

本期《錨點(diǎn)》專欄展示了中國(guó)科學(xué)技術(shù)大學(xué)科技傳播系副主任袁嵐峰研究員與中國(guó)科學(xué)技術(shù)大學(xué)機(jī)器人實(shí)驗(yàn)室主任陳小平教授的對(duì)談內(nèi)容，原題為《大模型為什么不會(huì)數(shù)數(shù)？》。

陳小平

中國(guó)科學(xué)技術(shù)大學(xué)機(jī)器人實(shí)驗(yàn)室主任

導(dǎo)讀：

大模型有什么缺點(diǎn)？許多人都已知道，大模型有時(shí)會(huì)產(chǎn)生幻覺(jué)。但最近，我才知道：大模型居然不會(huì)數(shù)數(shù)！

比如，你若生成一個(gè)包含27個(gè)波浪號(hào)的字符串，然后問(wèn)大模型有多少個(gè)波浪號(hào)。你會(huì)驚訝地發(fā)現(xiàn)，大模型的回答有時(shí)是28個(gè)，有時(shí)是29個(gè)，有時(shí)是25個(gè)……但始終無(wú)法給出正確答案。

如果你打開(kāi)“深度思考”，觀察大模型的“思考”過(guò)程，你就會(huì)發(fā)現(xiàn)，它翻來(lái)覆去地琢磨各種方法，偏偏就不能直截了當(dāng)?shù)財(cái)?shù)出來(lái)。有時(shí)因?yàn)椤八紒?lái)想去”，大模型甚至死機(jī)了。這并不是腦筋急轉(zhuǎn)彎，而是所有大模型普遍存在的問(wèn)題。

為什么會(huì)這樣？我的前輩、同事、中國(guó)科學(xué)技術(shù)大學(xué)機(jī)器人實(shí)驗(yàn)室主任陳小平教授對(duì)此有深入的認(rèn)識(shí)。陳小平教授指出，大模型不僅不會(huì)數(shù)數(shù)，也不會(huì)等量代換，如它無(wú)法從a=b推出2a=2b。這些問(wèn)題的根源，都與大模型輸出的語(yǔ)境相關(guān)性有關(guān)，而這恰又是大模型厲害之處。

Q：數(shù)數(shù)在數(shù)學(xué)上有嚴(yán)格定義，它的理論基礎(chǔ)源于皮亞諾公理。先有一個(gè)數(shù)叫零，存在一個(gè)“加一”的操作，任何一個(gè)自然數(shù)都可以進(jìn)行這個(gè)“加一”操作，所有這些后繼數(shù)無(wú)窮延伸便構(gòu)成自然數(shù)。因此，“加一”就是數(shù)數(shù)，整個(gè)自然數(shù)由零和“加一”操作定義。

A：

是的，掌握這一規(guī)則，便從原理上懂得了如何數(shù)數(shù)。但大模型并非如此，它是通過(guò)大量例子重構(gòu)出數(shù)數(shù)的方式。因此從原理上來(lái)看，它并沒(méi)有掌握數(shù)數(shù)的本質(zhì)，所以大模型不會(huì)數(shù)數(shù)。

Q：針對(duì)大模型必然會(huì)發(fā)生這一現(xiàn)象，您提出了一套公理體系，請(qǐng)問(wèn)這是什么理論體系？

A：

這個(gè)理論叫做“類LC系統(tǒng)”。眾所周知，大模型具有不可解釋性，仍是一個(gè)“黑箱”，其原理不為人知。傳統(tǒng)邏輯是封閉的，只能解決封閉性問(wèn)題，面對(duì)非封閉性問(wèn)題往往無(wú)效。因此，我之前一直在思考能否找到一種反邏輯的方法，也就是跳出邏輯邊界，使其既能解決邏輯無(wú)法解決的問(wèn)題，又能遵守邏輯的可靠性。

ChatGPT發(fā)布后，我深感此事的緊迫性，于是投入較多時(shí)間去研究。我認(rèn)為我提的這套公理體系能夠描述大模型的底層原理。當(dāng)然，這仍是一個(gè)假說(shuō)，其成立與否需要大量實(shí)驗(yàn)來(lái)檢驗(yàn)。

Q：您所說(shuō)的公理體系“類LC”是什么意思？這個(gè)系統(tǒng)有什么特點(diǎn)？

A：

L代表系統(tǒng)（這是邏輯領(lǐng)域的習(xí)慣表述），c代表關(guān)聯(lián)（correlation，即相關(guān)性），因此稱為“類LC系統(tǒng)”。類LC系統(tǒng)的特點(diǎn)在于，它并非單純的邏輯系統(tǒng)，因?yàn)閭鹘y(tǒng)邏輯無(wú)法描述大模型底層原理；也不是純粹的統(tǒng)計(jì)系統(tǒng)，現(xiàn)有的統(tǒng)計(jì)理論不足以闡釋大模型；同時(shí)，它還包含部分決策論規(guī)劃的成分，但決策論規(guī)劃同樣無(wú)法完整描述大模型的底層邏輯。類LC公理體系融合了這三者的部分特點(diǎn)。我們嘗試通過(guò)三條公理來(lái)描述大模型的底層原理。

Q：具體來(lái)說(shuō)，這三條公理是指什么？

A：

在大模型里，有個(gè)基本概念叫Token，我將它翻譯成“語(yǔ)元”，也就是語(yǔ)言的基本單元。大模型是不考慮短語(yǔ)、句子的，它只關(guān)注語(yǔ)元，以及語(yǔ)元和語(yǔ)元間的關(guān)聯(lián)度。

第一條公理是說(shuō)，在一個(gè)給定的上下文里，其中任何一個(gè)語(yǔ)元和另外一個(gè)語(yǔ)元之間都有關(guān)聯(lián)度。

第二條公理相對(duì)復(fù)雜。大模型做預(yù)測(cè)時(shí)，會(huì)綜合上下文中所有語(yǔ)元的關(guān)聯(lián)度。它把所有的Token都拿來(lái)，然后在第一個(gè)語(yǔ)元跟語(yǔ)境里的所有語(yǔ)元之間尋找關(guān)聯(lián)度；第二個(gè)再拿來(lái)，再找所有的關(guān)聯(lián)度……最后選綜合關(guān)聯(lián)度最高的那個(gè)。

這是理論上的情況。而當(dāng)關(guān)聯(lián)度不足以支撐決策的時(shí)候，也就是通過(guò)邏輯、統(tǒng)計(jì)和決策論都找不到通用合理的標(biāo)準(zhǔn)時(shí)，不同的大模型就有它自己的決策選擇，這導(dǎo)致不同大模型會(huì)有不同的表現(xiàn)。大模型出問(wèn)題往往也是在這個(gè)環(huán)節(jié)。

總的來(lái)說(shuō)，第二條公理在做比較但不做選擇，而第三條公理則表達(dá)選擇這個(gè)動(dòng)作。大模型有時(shí)選取綜合關(guān)聯(lián)度最高的，但有時(shí)也不這樣選，比如ChatGPT就不選最高的，甚至有時(shí)為避免表達(dá)啰唆會(huì)故意選較低關(guān)聯(lián)度的結(jié)果。（雖然有時(shí)候這種選擇結(jié)果讓人產(chǎn)生“跑偏”的感覺(jué)，但部分用戶反而覺(jué)得富有創(chuàng)造性。）

而我們?yōu)槭裁捶Q之為“類LC”，原因就在于，其中的公理一和公理二是所有模型都會(huì)遵守的，但公理三因場(chǎng)景不同，大模型輸出的結(jié)果會(huì)有所差異。

從這三條公理可以看出，大模型無(wú)法保證輸出的可靠性，但能夠推導(dǎo)證明出某些結(jié)論。也就是說(shuō)，無(wú)論你提出什么問(wèn)題，它總能給出結(jié)果，這在人工智能中被稱為“全知性”。不過(guò)我認(rèn)為應(yīng)稱之為“偽全知性”。

Q：這就像大家聊的一個(gè)笑話。有人自稱計(jì)算速度很快，當(dāng)別人拋給他一道復(fù)雜的數(shù)學(xué)題時(shí)，他立刻報(bào)出一個(gè)答案，而當(dāng)別人指出他的結(jié)果錯(cuò)誤時(shí)，他卻反問(wèn)：“你就說(shuō)算得快不快吧！”您還觀察到大模型有什么其他特征？

A：

根據(jù)類LC系統(tǒng)來(lái)看，大模型沒(méi)有反思能力。DeepSeek增加了“深度思考”能力，人們往往認(rèn)為它具備了反思能力。但我認(rèn)為嚴(yán)格意義上的反思，是指能夠回頭重新審視自己剛才完成的思考過(guò)程（即決策生成的過(guò)程），并對(duì)該過(guò)程的正確性做出判斷。而大模型在面對(duì)多種方法和不同答案時(shí)，并不會(huì)判斷哪個(gè)正確、哪個(gè)錯(cuò)誤，只是輸出最后一個(gè)答案。

此外，大模型也不具有“傳遞性”。邏輯推理有很多種，包括經(jīng)典邏輯和非經(jīng)典邏輯，它們有一個(gè)共同的底層特性，即傳遞性：如果A能推出B，B能推出C，那么從A一定能推出C。大模型不具備這種傳遞性，但它存在另一種傳遞性。

它的這種傳遞性難以從實(shí)驗(yàn)中觀察到，卻可從類LC系統(tǒng)中推導(dǎo)出來(lái)，被稱為“基于語(yǔ)境擴(kuò)展的傳遞性”。比如，先向大模型提出一個(gè)問(wèn)題，它會(huì)給出一個(gè)回答，大模型會(huì)把這個(gè)輸出的語(yǔ)元納入上下文中；在進(jìn)行下一次預(yù)測(cè)時(shí)，大模型會(huì)基于已納入上下文的語(yǔ)元生成新內(nèi)容，也就是說(shuō)，它會(huì)以這種方式重新考慮自己之前說(shuō)過(guò)的話，這就是它的傳遞性。但這種傳遞性會(huì)引發(fā)一種后果，即“語(yǔ)境糾纏性”。具體來(lái)說(shuō)，當(dāng)大模型在表達(dá)中使用無(wú)關(guān)詞匯時(shí)，這些詞匯會(huì)對(duì)后續(xù)表達(dá)產(chǎn)生影響，最終導(dǎo)致語(yǔ)境陷入糾纏狀態(tài)。

Q：我們是不是可以認(rèn)為，大模型的根本困難就在于語(yǔ)境糾纏性？

A：

直接的表現(xiàn)就在這個(gè)語(yǔ)境糾纏，也就是受語(yǔ)境的干擾，不過(guò)根本機(jī)制還在于自然語(yǔ)言是非封閉的。根據(jù)三條公理，大模型通過(guò)大量例子訓(xùn)練后變成非封閉性的了。過(guò)去的人工智能系統(tǒng)是封閉的，針對(duì)非封閉性問(wèn)題，還具有可靠性；而現(xiàn)在的大模型是非封閉的，去回答非封閉性的問(wèn)題，意味著結(jié)果不完全可控也不可解釋。

Q：您將大模型的思維方式描述為“志象思維”，這個(gè)詞是什么意思？

A：

這個(gè)詞是相較于抽象思維、形象思維提出的。人有形象思維，也有抽象思維。比如做科學(xué)研究時(shí)需要抽象思維，在進(jìn)行藝術(shù)創(chuàng)造時(shí)需要形象思維，而在日常生活、工作中，體現(xiàn)的是另外一種思維方式，我稱之為“日常思維”，它的特點(diǎn)在于“不深究”。

這種思維特性與大模型的關(guān)聯(lián)度預(yù)測(cè)思維方式很像，也就是從概率上來(lái)看，相關(guān)的思考判斷是有道理的。人們?cè)谌粘Ｉ?、工作中處理?wèn)題往往也是這樣——“我”平時(shí)習(xí)慣就是這樣，“我”按照習(xí)慣來(lái)處理。我將這種思考方式概括為“志象思維”。這里的“志”是“標(biāo)志”的意思，對(duì)應(yīng)到大模型里就是語(yǔ)元。

Q：您認(rèn)為大模型的思維方式還有另外一種顯著特征，也就是“弱共識(shí)性”，這個(gè)怎么理解？

A：

抽象思維是需要“強(qiáng)共識(shí)”的。

比如掌握科學(xué)的概念和原理，我認(rèn)為光靠上課和考試達(dá)不到“強(qiáng)共識(shí)”。我們對(duì)牛頓力學(xué)的理解，是否與牛頓本人的理解一致？如果跟牛頓理解的存在偏差，這就意味著我們沒(méi)有和牛頓達(dá)成強(qiáng)共識(shí)。在物理學(xué)的研究中，我認(rèn)為真正的學(xué)者之間是達(dá)到了強(qiáng)共識(shí)的，也就是他們的理解是一致的。但這種一致無(wú)法用文字完全表達(dá)出來(lái)。我再打個(gè)比方：我們學(xué)習(xí)一門科目，即使考了很高的分?jǐn)?shù)，你讓我評(píng)價(jià)自己這門課學(xué)會(huì)了多少，我也認(rèn)為“我只會(huì)一點(diǎn)點(diǎn)”。

科學(xué)界溝通交流是需要強(qiáng)共識(shí)的，但大模型不需要，它們只需要弱共識(shí)就行了——它們只看那個(gè)“標(biāo)志”以及標(biāo)志與標(biāo)志之間的統(tǒng)計(jì)關(guān)聯(lián)。

Q：現(xiàn)在很多人認(rèn)為大模型存在的最大問(wèn)題是“幻覺(jué)”。

A：

說(shuō)到大模型的幻覺(jué)，目前尚未對(duì)“幻覺(jué)”嚴(yán)格定義。我理解這里“幻覺(jué)”是指，在數(shù)據(jù)不充分時(shí)，大模型從數(shù)據(jù)中提取關(guān)聯(lián)度，這個(gè)關(guān)聯(lián)度是有偏差的，然后基于這些有偏差的關(guān)聯(lián)度再進(jìn)行預(yù)測(cè)，結(jié)果可能不正確；即便預(yù)測(cè)結(jié)果正確，也只是統(tǒng)計(jì)意義上的正確，而非邏輯層面的正確。

那么，人們?yōu)楹螘?huì)認(rèn)為大模型存在幻覺(jué)呢？主要原因在于人們對(duì)大模型的內(nèi)部機(jī)理、機(jī)制理解尚不到位。實(shí)際上并非大模型產(chǎn)生了幻覺(jué)，而是人對(duì)大模型產(chǎn)生了幻覺(jué)。

Q：后來(lái)人們開(kāi)發(fā)了改進(jìn)的方法，比如說(shuō)DeepSeek展示了深度思考，也就是“思維鏈”，減少了很多出錯(cuò)的概率。對(duì)于這些改進(jìn)，您怎么看？

A：

我的判斷與很多人不同。不少人認(rèn)為當(dāng)前大模型仍處于早期階段，只要投入更多訓(xùn)練，補(bǔ)充更多數(shù)據(jù)，持續(xù)改進(jìn)算法，其存在的問(wèn)題會(huì)逐漸減少，直至完全消除。但在我看來(lái)，這一目標(biāo)是無(wú)法實(shí)現(xiàn)的。

大模型的增長(zhǎng)曲線起初上升迅速，如今已趨于平緩，再往后甚至?xí)M(jìn)入平臺(tái)期。它確實(shí)會(huì)不斷改進(jìn)，但改進(jìn)帶來(lái)的提升幅度會(huì)越來(lái)越小，而且始終無(wú)法徹底解決這些問(wèn)題。也就是說(shuō)，大模型可以不斷改進(jìn)，但不可避免有出錯(cuò)的概率。

有些人認(rèn)為，當(dāng)大模型的問(wèn)題縮小到一定程度時(shí)，我們就可以忽略這些問(wèn)題。但在我看來(lái)，它不太可能達(dá)到我們期望的那種可忽略的程度。更關(guān)鍵的是，大模型若出問(wèn)題，并非簡(jiǎn)單停留在“算錯(cuò)某些題目”這類錯(cuò)誤上，而是有可能引發(fā)危險(xiǎn)。

我們現(xiàn)在無(wú)法預(yù)判它會(huì)出現(xiàn)何種問(wèn)題，也沒(méi)有應(yīng)對(duì)預(yù)案，而一旦這類問(wèn)題發(fā)生，社會(huì)根本就無(wú)法應(yīng)對(duì)。從科學(xué)角度判斷，這種可能性是存在的。這也正是包括部分國(guó)際知名學(xué)者在內(nèi)的研究者，始終強(qiáng)調(diào)大模型存在危險(xiǎn)的核心原因。

Q：我記得，杰弗里?辛頓（Geoffrey Hinton）2024年剛獲得諾貝爾獎(jiǎng)時(shí)曾表示：“我認(rèn)為未來(lái)十年之內(nèi)，人工智能導(dǎo)致人類滅絕的概率，是一個(gè)不可忽略的比例?！?/p>

A：

我們認(rèn)為風(fēng)險(xiǎn)是存在的，的確應(yīng)該重視風(fēng)險(xiǎn)，但是也不能過(guò)分地渲染。

Q：您提過(guò)一個(gè)觀點(diǎn)，即“大模型是影子的影子”，這個(gè)比喻是怎么來(lái)的？

A：

大模型是一種機(jī)器智能，這種智能雖與人的智能有相似之處，但本質(zhì)上仍不相同。它確實(shí)從輪廓上反映了人類的語(yǔ)言，不過(guò)在諸多細(xì)節(jié)上還是與人類語(yǔ)言存在差異。大模型主要反映的是人類語(yǔ)言的習(xí)慣與統(tǒng)計(jì)規(guī)律，而像邏輯推理、因果關(guān)系等，它并未體現(xiàn)，因此它終究只是人類語(yǔ)言的“影子”。

這句表達(dá)源自“生命是火，思想是火光，語(yǔ)言是光的影子，大模型是影子的影子”。這是我在和哲學(xué)界交流時(shí)用的四個(gè)類比。有一派認(rèn)為機(jī)器最終能擁有人的智能，我是不同意這種觀點(diǎn)的。人類最本質(zhì)的東西是生命，生命在激發(fā)狀態(tài)下才產(chǎn)生思想，思想在運(yùn)用時(shí)會(huì)使用語(yǔ)言，通過(guò)語(yǔ)言人工智能與人類交互，產(chǎn)生了大模型。這些環(huán)節(jié)的傳遞都是一種投射，類似“光是火的一種投射，影子是光的投射”，大模型是語(yǔ)言的投射，所以它是影子的影子。

Q：那么應(yīng)該如何正確理解大模型？

A：

從理論層面來(lái)看，目前對(duì)大模型最好的理解就是用“類LC系統(tǒng)”來(lái)描述它的底層規(guī)律，但這可能并不夠，因?yàn)椴煌竽Ｐ驮诩?xì)節(jié)行為上存在差異，還需要從算法層面進(jìn)一步探究。而這又與大模型是否開(kāi)源密切相關(guān)。如果大模型都不開(kāi)源，外界無(wú)法知曉其算法具體是什么，我們對(duì)它的認(rèn)知就只能停留在類LC系統(tǒng)理論這一步，因此開(kāi)源十分必要。

從大眾視角來(lái)看，理解大模型可以借助“志象思維”，也就是說(shuō)，它和我們的日常思維方式類似——無(wú)法深究，可能會(huì)犯錯(cuò)——不能完全相信它。不過(guò)我認(rèn)為，即便大模型目前在原理上存在局限，它依然可以有諸多應(yīng)用。只要我們做好安全保障與倫理治理工作，它仍然可以為人類提供服務(wù)。同時(shí)，我認(rèn)為確實(shí)需要加強(qiáng)人工智能的倫理治理，尤其是人工智能的安全問(wèn)題。甚至有部分國(guó)外學(xué)者提出建議：大模型公司應(yīng)將自身至少1/3的算力用于人工智能安全領(lǐng)域。這一觀點(diǎn)是有一定道理的。

Q：說(shuō)到治理，有一種做法就是制定相關(guān)標(biāo)準(zhǔn)。不久之前，中國(guó)頒布了一項(xiàng)規(guī)定，明確從2025年9月1日起，所有人工智能生成的數(shù)據(jù)都需進(jìn)行標(biāo)注。

A：

制定這類標(biāo)準(zhǔn)并非易事：若標(biāo)準(zhǔn)制定得過(guò)于嚴(yán)格，可能會(huì)限制人工智能的發(fā)展；若過(guò)于寬松，又難以避免未來(lái)出現(xiàn)問(wèn)題。這無(wú)疑是個(gè)兩難的選擇。我認(rèn)為中國(guó)采取的這項(xiàng)舉措非常重要，人工智能生成的內(nèi)容確實(shí)需要標(biāo)注，而這一規(guī)定也讓標(biāo)注的責(zé)任落到了用戶身上。

我認(rèn)為，我們還要加強(qiáng)科普，讓大眾建立這樣的概念：大模型并非百分之百正確。如果已經(jīng)明確告知內(nèi)容是大模型生成的，也提醒了它的結(jié)論不是百分之百正確的，可有人依然選擇百分之百相信，那么由此產(chǎn)生的后果，理應(yīng)由其自身承擔(dān)。

Q：說(shuō)到人工智能，現(xiàn)在人們想到的幾乎全是大模型，卻忘了其實(shí)還有許多大模型之外的人工智能應(yīng)用。

A：

現(xiàn)在大家了解較多的人工智能類型是“生成式人工智能”，其中就包括大模型。第二類目前已應(yīng)用得非常普遍，我稱之為“規(guī)劃式人工智能”。它最典型的例子就是外賣、快遞配送規(guī)劃等。仔細(xì)想想，外賣場(chǎng)景設(shè)計(jì)其實(shí)極為復(fù)雜：短時(shí)間內(nèi)有大量訂單、眾多商家與騎手，要完成訂單分配和騎手任務(wù)規(guī)劃。若靠人工幾乎無(wú)法實(shí)現(xiàn)，而借助人工智能就能快速完成分配工作。

第三大類是“分析式人工智能”，更通用的說(shuō)法是“科學(xué)智能”（AI for Science）。各個(gè)學(xué)科在研究中引入人工智能技術(shù)，不僅包括大模型，更多是深度學(xué)習(xí)或其他人工智能技術(shù)，以此發(fā)現(xiàn)科學(xué)數(shù)據(jù)中復(fù)雜的模式。

第四大類是“智能裝備”，涵蓋智能機(jī)器人，以及一些形態(tài)上雖非機(jī)器人但應(yīng)用了機(jī)器人技術(shù)的設(shè)備。以工業(yè)領(lǐng)域?yàn)槔?，除了傳統(tǒng)工業(yè)機(jī)器人，不少設(shè)備因配備傳感器而新增了感知功能，使其能根據(jù)實(shí)際情況變化做出決策，無(wú)人機(jī)就是典型代表。這類智能裝備在工業(yè)、農(nóng)業(yè)、交通運(yùn)輸?shù)榷鄠€(gè)領(lǐng)域都有應(yīng)用場(chǎng)景。

人工智能至少可分為這四大類。其中，大模型吸引了大部分的注意力，但當(dāng)下其他三類實(shí)際應(yīng)用效果可能更好。

Q：您覺(jué)得在大模型領(lǐng)域，下一個(gè)“錨點(diǎn)”（關(guān)鍵突破點(diǎn)）是什么？

A：

我認(rèn)為在于邏輯增強(qiáng)。當(dāng)前大模型雖具備極強(qiáng)的能力，但其缺陷也十分明顯，在諸多應(yīng)用場(chǎng)景中，尤其是垂直領(lǐng)域，這些缺陷會(huì)成為實(shí)質(zhì)性的障礙。為消除這一障礙，我們需要對(duì)大模型進(jìn)行邏輯增強(qiáng)，即通過(guò)邏輯手段，讓大模型的輸出達(dá)到高可信度。

袁嵐峰

《錨點(diǎn)》科學(xué)對(duì)談人

-本文刊載于《世界科學(xué)》雜志2025年第9期“錨點(diǎn)”專欄-

《世界科學(xué)》雜志版在售中 歡迎訂閱

月刊定價(jià)

15元/期

全年訂閱價(jià)

180元

點(diǎn)擊左側(cè)圖片或以下方訂閱方式選購(gòu)

方式一：

掃描二維碼，“雜志鋪”訂閱有折扣～

方式二：

全國(guó)各地郵局訂閱 郵發(fā)代號(hào)：4-263

方式三：

機(jī)構(gòu)訂閱，請(qǐng)撥打

021-53300839；

021-53300838