這項(xiàng)由美國(guó)馬里蘭大學(xué)的李明博士領(lǐng)導(dǎo)，聯(lián)合卡內(nèi)基梅隆大學(xué)和紐約州立大學(xué)布法羅分校的研究團(tuán)隊(duì)完成的研究，發(fā)表于2025年12月的《計(jì)算語(yǔ)言學(xué)》期刊（論文編號(hào)：arXiv:2512.18880v1）。該研究專(zhuān)門(mén)探討了一個(gè)看似簡(jiǎn)單卻極為重要的問(wèn)題：當(dāng)ChatGPT等大語(yǔ)言模型面對(duì)一道題目時(shí)，它們能否準(zhǔn)確判斷這道題對(duì)普通學(xué)生來(lái)說(shuō)有多難？

回到我們最熟悉的考試場(chǎng)景。當(dāng)一位經(jīng)驗(yàn)豐富的老師拿到一份試題時(shí)，她往往能憑借多年的教學(xué)經(jīng)驗(yàn)迅速判斷出哪道題會(huì)讓學(xué)生頭疼不已，哪道題學(xué)生能輕松應(yīng)對(duì)。這種能力對(duì)于教育工作者來(lái)說(shuō)至關(guān)重要——它幫助設(shè)計(jì)合適難度的考試，編制循序漸進(jìn)的教材，甚至為不同水平的學(xué)生提供個(gè)性化的學(xué)習(xí)建議。然而，當(dāng)我們把同樣的任務(wù)交給ChatGPT、GPT-4這些強(qiáng)大的人工智能時(shí)，會(huì)發(fā)生什么呢？

研究團(tuán)隊(duì)就像是一群好奇的偵探，決定徹底調(diào)查這個(gè)問(wèn)題。他們收集了超過(guò)20個(gè)不同的大語(yǔ)言模型，包括我們熟知的GPT系列、Claude系列，以及一些專(zhuān)門(mén)針對(duì)推理任務(wù)優(yōu)化的模型。這些模型就像是一個(gè)龐大的"人工智能考試委員會(huì)"，研究團(tuán)隊(duì)要測(cè)試它們能否像人類(lèi)老師一樣準(zhǔn)確評(píng)估題目難度。

為了確保實(shí)驗(yàn)的嚴(yán)謹(jǐn)性，研究團(tuán)隊(duì)精心選擇了四個(gè)截然不同的領(lǐng)域：醫(yī)學(xué)知識(shí)考試（USMLE）、英語(yǔ)閱讀理解（劍橋考試）、SAT數(shù)學(xué)以及SAT閱讀寫(xiě)作。這些考試涵蓋了從專(zhuān)業(yè)知識(shí)到基礎(chǔ)技能的各個(gè)方面，而且最關(guān)鍵的是，所有題目的難度標(biāo)準(zhǔn)都有真實(shí)學(xué)生的考試數(shù)據(jù)作為支撐——就像有成千上萬(wàn)的學(xué)生已經(jīng)"試水"過(guò)這些題目，留下了珍貴的難度評(píng)估數(shù)據(jù)。

研究團(tuán)隊(duì)設(shè)計(jì)了兩種截然不同的測(cè)試方式。第一種方式把AI當(dāng)作"旁觀者"——給它們看題目和標(biāo)準(zhǔn)答案，然后問(wèn)："如果讓學(xué)生來(lái)答這道題，你覺(jué)得有多難？"這就好比讓一個(gè)圍棋高手看著棋譜，評(píng)估普通棋手在某個(gè)局面下會(huì)有多困難。第二種方式則讓AI"親自上場(chǎng)"——直接回答這些題目，通過(guò)它們的答題表現(xiàn)來(lái)推測(cè)題目的實(shí)際難度。

當(dāng)實(shí)驗(yàn)結(jié)果出爐時(shí)，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)令人意外的現(xiàn)象。這些在各種任務(wù)中表現(xiàn)卓越的人工智能，在評(píng)估題目難度這件事上卻表現(xiàn)得相當(dāng)糟糕。具體來(lái)說(shuō)，它們的難度評(píng)估與真實(shí)學(xué)生表現(xiàn)的相關(guān)性普遍很低，平均只有0.28的斯皮爾曼相關(guān)系數(shù)——這個(gè)數(shù)字意味著AI的判斷和學(xué)生的實(shí)際表現(xiàn)之間只有很微弱的聯(lián)系。

更有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)"機(jī)器共識(shí)"現(xiàn)象。雖然這些AI模型都不太能準(zhǔn)確預(yù)測(cè)學(xué)生的困難，但它們彼此之間的評(píng)估卻相當(dāng)一致。這就像是一群從未下過(guò)廚的美食評(píng)論家，雖然他們的評(píng)價(jià)與普通食客的感受相差甚遠(yuǎn)，但彼此之間卻形成了一套自成體系的評(píng)判標(biāo)準(zhǔn)。

為了深入理解這種偏差的根源，研究團(tuán)隊(duì)引入了項(xiàng)目反應(yīng)理論（IRT）這一心理測(cè)量學(xué)的經(jīng)典工具。簡(jiǎn)單來(lái)說(shuō)，就是通過(guò)分析每個(gè)AI模型在不同題目上的表現(xiàn)，推算出從"機(jī)器視角"看每道題的難度。結(jié)果發(fā)現(xiàn)，AI眼中的難題和人類(lèi)學(xué)生眼中的難題之間存在著巨大的鴻溝。

最典型的例子出現(xiàn)在醫(yī)學(xué)考試中。有超過(guò)70%被學(xué)生認(rèn)為最困難的題目，竟然被90%以上的AI模型輕松答對(duì)。這種現(xiàn)象被研究團(tuán)隊(duì)形象地稱(chēng)為"知識(shí)的詛咒"——當(dāng)你掌握了太多知識(shí)時(shí)，反而難以理解初學(xué)者的困惑。就像一個(gè)數(shù)學(xué)教授很難理解為什么小學(xué)生會(huì)覺(jué)得分?jǐn)?shù)運(yùn)算困難一樣，這些"博學(xué)"的AI模型也無(wú)法真正體會(huì)學(xué)生在學(xué)習(xí)過(guò)程中遇到的認(rèn)知障礙。

研究團(tuán)隊(duì)還嘗試了一個(gè)巧妙的實(shí)驗(yàn)：讓AI模型"角色扮演"不同水平的學(xué)生。他們給模型下達(dá)指令："現(xiàn)在你要扮演一個(gè)英語(yǔ)水平較低的學(xué)生"或"請(qǐng)以一個(gè)數(shù)學(xué)基礎(chǔ)薄弱的學(xué)生身份來(lái)答題"。然而，實(shí)驗(yàn)結(jié)果顯示，這種角色扮演的效果微乎其微。AI模型就像是戴著面具的演員，雖然試圖表演不同的角色，但骨子里的"超能力"卻無(wú)法真正隱藏起來(lái)。

這種現(xiàn)象背后隱藏著更深層的問(wèn)題：缺乏內(nèi)省能力。研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)測(cè)試，檢驗(yàn)AI模型能否預(yù)測(cè)自己會(huì)在哪些題目上犯錯(cuò)。結(jié)果發(fā)現(xiàn)，幾乎所有模型在這方面的表現(xiàn)都接近隨機(jī)猜測(cè)的水平。這意味著，當(dāng)AI對(duì)一道題給出高難度評(píng)估時(shí)，它并不意味著AI本身也會(huì)在這道題上遇到困難。換句話說(shuō)，AI的難度判斷與其自身能力之間存在著明顯的脫節(jié)。

這個(gè)發(fā)現(xiàn)對(duì)教育技術(shù)的發(fā)展具有重要啟示。目前，許多教育科技公司正在開(kāi)發(fā)基于AI的智能教學(xué)系統(tǒng)，希望能夠自動(dòng)生成適合不同學(xué)生水平的題目。然而，這項(xiàng)研究表明，僅僅依靠大語(yǔ)言模型的"直覺(jué)"來(lái)判斷題目難度是遠(yuǎn)遠(yuǎn)不夠的。

研究團(tuán)隊(duì)還發(fā)現(xiàn)，隨著模型規(guī)模的增大和性能的提升，這種偏差問(wèn)題并沒(méi)有得到改善，有時(shí)甚至?xí)兊酶訃?yán)重。這打破了人們常有的一種假設(shè)——認(rèn)為更強(qiáng)大的AI自然會(huì)更好地理解人類(lèi)的認(rèn)知過(guò)程。實(shí)際上，問(wèn)題求解能力的提升和對(duì)人類(lèi)學(xué)習(xí)困難的理解是兩個(gè)完全不同的維度。

在不同學(xué)科領(lǐng)域中，這種偏差的程度也不盡相同。在數(shù)學(xué)推理任務(wù)中，AI的評(píng)估相對(duì)更接近學(xué)生的實(shí)際表現(xiàn)，相關(guān)性能達(dá)到0.41。而在醫(yī)學(xué)知識(shí)領(lǐng)域，這個(gè)數(shù)字卻降至0.13。這種差異反映了不同類(lèi)型知識(shí)結(jié)構(gòu)的特點(diǎn)：數(shù)學(xué)問(wèn)題往往有清晰的邏輯步驟，而醫(yī)學(xué)知識(shí)則更多依賴(lài)于經(jīng)驗(yàn)積累和復(fù)雜的概念理解。

研究團(tuán)隊(duì)嘗試通過(guò)集成多個(gè)模型的預(yù)測(cè)來(lái)改善評(píng)估效果，類(lèi)似于"三個(gè)臭皮匠頂個(gè)諸葛亮"的思路。然而，實(shí)驗(yàn)結(jié)果表明，這種方法的改善效果受限于參與集成的最弱模型。當(dāng)團(tuán)隊(duì)中有表現(xiàn)較差的模型時(shí)，它們會(huì)拖累整體表現(xiàn)，而不是貢獻(xiàn)互補(bǔ)的見(jiàn)解。

另一個(gè)有趣的發(fā)現(xiàn)是，不同角色扮演指令對(duì)模型性能的影響呈現(xiàn)出高度的隨機(jī)性。有時(shí)讓模型扮演"低水平學(xué)生"會(huì)提高難度評(píng)估的準(zhǔn)確性，有時(shí)反而會(huì)降低準(zhǔn)確性，而且這種變化在不同模型和不同領(lǐng)域中都表現(xiàn)得相當(dāng)不穩(wěn)定。不過(guò)，當(dāng)研究團(tuán)隊(duì)將所有角色扮演的結(jié)果取平均值時(shí)，確實(shí)能獲得一定程度的改善，特別是在一些先進(jìn)的模型如GPT-5中，這種改善可以達(dá)到13%。

這種現(xiàn)象揭示了當(dāng)前AI技術(shù)的一個(gè)根本局限：雖然這些模型能夠生成關(guān)于"學(xué)生困難"的合理表述，但這些表述更像是基于文本模式的統(tǒng)計(jì)推斷，而非真正的認(rèn)知建模。它們?nèi)狈?duì)人類(lèi)學(xué)習(xí)過(guò)程的深層理解，無(wú)法模擬學(xué)習(xí)者在接觸新知識(shí)時(shí)的真實(shí)體驗(yàn)。

從實(shí)際應(yīng)用的角度來(lái)看，這些發(fā)現(xiàn)對(duì)當(dāng)前的教育AI發(fā)展提出了重要挑戰(zhàn)。許多自動(dòng)化題目生成系統(tǒng)、自適應(yīng)學(xué)習(xí)平臺(tái)以及智能教學(xué)助手都依賴(lài)于準(zhǔn)確的難度評(píng)估。如果AI無(wú)法可靠地判斷題目對(duì)學(xué)生的難度，這些系統(tǒng)的有效性就會(huì)大打折扣。

然而，這項(xiàng)研究也為未來(lái)的發(fā)展方向指明了道路。研究團(tuán)隊(duì)建議，真正有效的教育AI系統(tǒng)需要結(jié)合學(xué)生的實(shí)際反饋數(shù)據(jù)，而不是僅僅依賴(lài)模型的內(nèi)在判斷。此外，開(kāi)發(fā)專(zhuān)門(mén)針對(duì)教育場(chǎng)景訓(xùn)練的模型，以及建立更精確的認(rèn)知建模機(jī)制，都是值得探索的方向。

研究還揭示了一個(gè)更廣泛的哲學(xué)問(wèn)題：理解一個(gè)問(wèn)題和理解解決這個(gè)問(wèn)題的困難是兩回事。正如一個(gè)成年人可以輕松完成數(shù)學(xué)運(yùn)算，但可能很難理解孩子在學(xué)習(xí)乘法表時(shí)的困惑一樣，AI模型的高性能并不自動(dòng)轉(zhuǎn)化為對(duì)人類(lèi)學(xué)習(xí)困難的敏感性。

這種"能力-理解悖論"在許多領(lǐng)域都有體現(xiàn)。經(jīng)驗(yàn)豐富的醫(yī)生不僅要會(huì)診斷疾病，還要能理解患者的恐懼和困惑；優(yōu)秀的教練不僅要掌握高超的技能，還要能體察運(yùn)動(dòng)員的訓(xùn)練困難。同樣，未來(lái)的教育AI如果要真正發(fā)揮作用，就必須學(xué)會(huì)"換位思考"，真正理解學(xué)習(xí)者的認(rèn)知過(guò)程。

研究團(tuán)隊(duì)通過(guò)大量的數(shù)據(jù)分析發(fā)現(xiàn)，當(dāng)前的大語(yǔ)言模型在處理不同類(lèi)型的認(rèn)知挑戰(zhàn)時(shí)表現(xiàn)出系統(tǒng)性的盲點(diǎn)。它們往往低估了概念理解的困難，高估了機(jī)械計(jì)算的困難。這種偏差模式反映了這些模型訓(xùn)練過(guò)程中的特點(diǎn)——它們更多接觸的是結(jié)構(gòu)化的知識(shí)表述，而缺乏對(duì)知識(shí)獲得過(guò)程的理解。

從技術(shù)實(shí)現(xiàn)的角度來(lái)看，這項(xiàng)研究也為模型評(píng)估提供了新的維度。傳統(tǒng)的AI評(píng)估往往關(guān)注準(zhǔn)確性、流暢性等直接性能指標(biāo)，而這項(xiàng)研究提出了"認(rèn)知對(duì)齊"這一全新的評(píng)估維度。未來(lái)的AI開(kāi)發(fā)可能需要專(zhuān)門(mén)設(shè)計(jì)測(cè)試來(lái)評(píng)估模型對(duì)人類(lèi)認(rèn)知過(guò)程的理解能力。

說(shuō)到底，這項(xiàng)研究揭示了一個(gè)深刻的事實(shí)：技術(shù)能力的進(jìn)步并不等同于認(rèn)知理解的提升。當(dāng)我們驚嘆于AI在各種任務(wù)中的卓越表現(xiàn)時(shí)，也要認(rèn)識(shí)到它們?cè)诶斫馊祟?lèi)思維過(guò)程方面仍然存在根本性的局限。這種認(rèn)識(shí)對(duì)于我們合理期待和有效利用AI技術(shù)具有重要意義，特別是在教育這樣直接關(guān)系到人類(lèi)認(rèn)知發(fā)展的關(guān)鍵領(lǐng)域。

未來(lái)的教育AI發(fā)展可能需要采用混合式的方法，將AI的強(qiáng)大計(jì)算能力與人類(lèi)教師的認(rèn)知洞察相結(jié)合。AI可以處理大量數(shù)據(jù)分析和個(gè)性化內(nèi)容生成，而人類(lèi)教師則提供對(duì)學(xué)生認(rèn)知困難的深度理解和情感支持。這種人機(jī)協(xié)作的模式可能是實(shí)現(xiàn)真正智能化教育的關(guān)鍵所在。

Q&A

Q1：大語(yǔ)言模型在評(píng)估題目難度方面表現(xiàn)如何？

A：表現(xiàn)相當(dāng)糟糕。研究發(fā)現(xiàn)，包括ChatGPT在內(nèi)的20多個(gè)大語(yǔ)言模型，在評(píng)估題目對(duì)學(xué)生難度時(shí)與真實(shí)學(xué)生表現(xiàn)的相關(guān)性平均只有0.28，這意味著AI的判斷與學(xué)生實(shí)際困難程度只有很微弱的聯(lián)系。特別是在醫(yī)學(xué)考試中，有70%被學(xué)生認(rèn)為最難的題目卻被90%以上的AI輕松解答。

Q2：為什么AI模型無(wú)法準(zhǔn)確判斷題目對(duì)學(xué)生的難度？

A：主要原因是"知識(shí)的詛咒"現(xiàn)象。AI模型掌握了大量知識(shí)，反而難以理解初學(xué)者的困惑，就像數(shù)學(xué)教授很難理解小學(xué)生覺(jué)得分?jǐn)?shù)運(yùn)算困難一樣。此外，AI缺乏內(nèi)省能力，無(wú)法預(yù)測(cè)自己會(huì)在哪些題目上犯錯(cuò)，它們的難度判斷與自身能力之間存在明顯脫節(jié)。

Q3：讓AI扮演不同水平的學(xué)生能改善難度評(píng)估嗎？

A：效果非常有限且不穩(wěn)定。研究發(fā)現(xiàn)，讓AI扮演"低水平學(xué)生"或"高水平學(xué)生"的指令效果高度隨機(jī)，有時(shí)會(huì)提高準(zhǔn)確性，有時(shí)反而會(huì)降低。雖然將所有角色扮演結(jié)果取平均能獲得一定改善（如GPT-5提高13%），但AI就像戴著面具的演員，無(wú)法真正隱藏自己的"超能力"。