（來源：麻省理工科技評論）

大語言模型（LLM）一直被譽為可推動全球信息獲取民主化的工具，能夠以用戶友好的界面向任何背景和地域的人提供知識。然而，MIT 建設(shè)性傳播中心（CCC）的最新研究表明，這些 AI 系統(tǒng)實際上可能對那些最能從中受益的用戶表現(xiàn)更差。

CCC 基于 MIT 媒體實驗室，其研究人員開展的這項研究發(fā)現(xiàn)，包括 OpenAI 的 GPT-4、Anthropic 的 Claude 3 Opus 和 Meta 的 Llama 3 在內(nèi)的頂尖 AI 聊天機器人，有時會對英語水平較低、受教育程度較低或非美國背景的用戶提供準(zhǔn)確性和真實性更低的回答。這些模型對上述用戶拒絕回答問題的比例也更高，在某些情況下，還會使用帶有居高臨下或說教意味的語言。

“我們的研究動機源于 LLM 有望幫助解決全球信息獲取不平等問題的前景，”論文第一作者、MIT 斯隆管理學(xué)院技術(shù)研究員埃利諾·普爾-達(dá)揚（Elinor Poole-Dayan）表示。她以 CCC 研究員和媒體藝術(shù)與科學(xué)專業(yè)碩士生的身份主導(dǎo)了這項研究?！暗绻荒艽_保對所有用戶——無論其語言、國籍或其他人口背景——安全地消除模型偏見和有害傾向，這一愿景就無從實現(xiàn)?！?/p>

描述上述研究的論文《LLM 定向表現(xiàn)不佳對弱勢用戶的不成比例影響》已于今年 1 月在 AAAI 人工智能會議上發(fā)表。

研究團隊測試了三款 LLM 對來自兩個數(shù)據(jù)集問題的回答方式，分別是 TruthfulQA 和 SciQ。TruthfulQA 旨在衡量模型的真實性（通過考察常見誤解和現(xiàn)實世界的字面真相），SciQ 則包含測試事實準(zhǔn)確性的科學(xué)考試題目。研究人員在每個問題前附加了簡短的用戶個人簡介，并對三項特征進(jìn)行了變量設(shè)置：教育水平、英語水平和原籍國。

在三款模型和兩個數(shù)據(jù)集的所有測試中，研究人員發(fā)現(xiàn)，當(dāng)問題來自被描述為受正規(guī)教育程度較低或非英語母語者的用戶時，模型的準(zhǔn)確性出現(xiàn)顯著下滑。這一影響在同時具備這兩類特征的用戶群體中最為突出：受教育程度較低且為非英語母語者的用戶，回答質(zhì)量下降幅度最大。

研究還考察了原籍國對模型表現(xiàn)的影響。在對具有同等教育背景的美國、伊朗和中國用戶進(jìn)行測試后，研究人員發(fā)現(xiàn)，Claude 3 Opus 對伊朗用戶在兩個數(shù)據(jù)集上的表現(xiàn)均明顯更差。

“我們觀察到，準(zhǔn)確性下降幅度最大的，是同時具備非英語母語者和受教育程度較低這兩項特征的用戶，”CCC 研究科學(xué)家、論文共同作者賈德·卡巴拉（Jad Kabbara）說，“這些結(jié)果表明，模型在上述用戶特征方面的負(fù)面行為效應(yīng)存在疊加，令人擔(dān)憂。這意味著，大規(guī)模部署此類模型，可能將有害行為或錯誤信息傳播給那些最難以識別它們的群體。”

最引人關(guān)注的或許是模型拒絕回答問題的頻率差異。例如，Claude 3 Opus 對受教育程度較低的非英語母語用戶的拒答率接近 11%，而在沒有用戶簡介的對照條件下，這一比例僅為 3.6%。

研究人員對這些拒答案例進(jìn)行人工分析后發(fā)現(xiàn)，Claude 對受教育程度較低的用戶，有 43.7% 的時間使用了帶有居高臨下、說教或嘲諷意味的語言，而對高學(xué)歷用戶，這一比例不足 1%。在某些情況下，模型甚至?xí)７虏涣骼挠⒄Z或夸張的方言。

該模型還對來自伊朗或俄羅斯的低學(xué)歷用戶，拒絕提供某些特定主題的信息，包括核能、解剖學(xué)和歷史事件等方面的問題，盡管它能夠正確回答其他用戶提出的相同問題。

“這是另一個跡象，表明對齊過程可能會激勵模型對特定用戶隱瞞信息，以避免潛在的誤導(dǎo)，盡管模型顯然知道正確答案，并會將其提供給其他用戶，”卡巴拉說。

上述發(fā)現(xiàn)與人類社會認(rèn)知偏見的已記錄規(guī)律相吻合。社會科學(xué)研究表明，英語母語者往往認(rèn)為非母語者受教育程度較低、智力和能力較差，無論其實際專業(yè)水平如何。類似的偏見認(rèn)知在教師評價非英語母語學(xué)生時也有記錄。

“大語言模型的價值體現(xiàn)在其被個人大量采用以及流入該技術(shù)的巨額投資上，”媒體藝術(shù)與科學(xué)教授、CCC 主任、論文共同作者德布·羅伊（Deb Roy）表示，“這項研究提醒我們，持續(xù)評估可能悄然滲入這些系統(tǒng)的系統(tǒng)性偏見至關(guān)重要，因為這些偏見會在我們毫無察覺的情況下，對特定群體造成不公平的傷害。”

個性化功能日益普及，使得上述問題的影響尤為值得關(guān)注，例如 ChatGPT 的記憶功能可跨對話追蹤用戶信息。這類功能存在對已處于邊緣化地位的群體實施差異化對待的風(fēng)險。

“LLM 一直被定位為促進(jìn)信息獲取平等、革新個性化學(xué)習(xí)的工具，”普爾-達(dá)揚說，“但我們的研究結(jié)果表明，它們實際上可能通過系統(tǒng)性地向特定用戶提供錯誤信息或拒絕回答其問題，進(jìn)一步加劇現(xiàn)有的不平等。那些最有可能依賴這些工具的人，卻可能獲得質(zhì)量欠佳、失實甚至有害的信息。”

https://news.mit.edu/2026/study-ai-chatbots-provide-less-accurate-information-vulnerable-users-0219