LAION研究機(jī)構(gòu)最近進(jìn)行的一項(xiàng)研究，當(dāng)前大型語言模型（LLM）在基準(zhǔn)測試中的一個(gè)重大盲區(qū)。研究人員受到經(jīng)典故事《愛麗絲夢游仙境》的啟發(fā)，設(shè)計(jì)了一系列推理問題，以挑戰(zhàn)當(dāng)前最先進(jìn)的人工智能模型。這個(gè)名為“愛麗絲夢游仙境”（AIW，Artificial Intelligence Wisdom）的測試提出了一個(gè)簡單但深具挑戰(zhàn)性的問題：“愛麗絲有N個(gè)兄弟，她還有M個(gè)姐妹。愛麗絲的兄弟有多少個(gè)姐妹？”對于人類來說，這個(gè)問題的答案顯而易見是M+1（愛麗絲的姐妹數(shù)量加上愛麗絲自己），然而，當(dāng)前的主流模型，包括GPT-3.5/4、Claude、Gemini、Llama、Mistral等，在回答時(shí)卻頻頻出錯(cuò)，只有OpenAI的最新模型GPT-4o勉強(qiáng)答對。

這些模型不僅答案錯(cuò)誤，還在解釋其推理過程時(shí)顯得荒謬。當(dāng)被告知答案不準(zhǔn)確時(shí)，它們甚至?xí)虉?zhí)己見，堅(jiān)持錯(cuò)誤的結(jié)論。LAION由此得出結(jié)論：即使是最先進(jìn)的模型，在推理能力上仍遠(yuǎn)不及小學(xué)生。著名學(xué)者LeCun也強(qiáng)調(diào)，推理能力和常識(shí)不能與存儲(chǔ)和大致檢索大量事實(shí)的能力混為一談。

ICLR 2024的一篇論文進(jìn)一步證實(shí)了AI在推理能力方面的局限性，發(fā)現(xiàn)大型語言模型在學(xué)習(xí)完“A是B”后，常常無法泛化到“B是A”，這種缺陷被稱為“逆轉(zhuǎn)詛咒”，凸顯了AI在邏輯推理上的不足。

為了更好地評估LLM在無需復(fù)雜知識(shí)但需要邏輯思維和基本推理的情境下的表現(xiàn)，研究團(tuán)隊(duì)選擇了為7-10歲低年級學(xué)生設(shè)計(jì)的奧數(shù)題目作為測試材料。這些題目易于理解，但需要多種邏輯思維方式來解答。通過將《愛麗絲夢游仙境》中的元素融入測試題目，團(tuán)隊(duì)提出了AIW測試集。結(jié)果表明，即便是大多數(shù)成年人和一定年齡以上的兒童都能輕松解答的問題，當(dāng)前的SOTA LLM模型卻表現(xiàn)不佳，甚至在簡單的邏輯推理任務(wù)中表現(xiàn)得像是在“蒙”。

當(dāng)研究人員改變題目的表述方式或調(diào)整“N”和“M”的具體數(shù)值時(shí)，模型的回答正確率出現(xiàn)了大幅波動(dòng)，表明這些模型更傾向于“猜測”答案，而非基于邏輯推理得出結(jié)論。為了更深入地探索這一現(xiàn)象，研究團(tuán)隊(duì)為AIW問題設(shè)計(jì)了四個(gè)不同版本的變體。實(shí)驗(yàn)顯示，大多數(shù)LLM在AIW問題上的正確響應(yīng)率不足0.2，僅有少數(shù)模型的表現(xiàn)超過了0.3的閾值，其中GPT-4o和Claude 3 Opus的均值接近0.6。

這一結(jié)果與在MMLU、ARC-c等基準(zhǔn)測試中取得的高分形成了鮮明對比。在AIW測試中，表現(xiàn)優(yōu)異的GPT-4-0613模型在更換問題后準(zhǔn)確率急劇下降，即使是高分模型如GPT-4o、GPT-4 Turbo、Claude 3 Opus和Llama2-70B也未能幸免。研究團(tuán)隊(duì)還嘗試通過restricted模式的提示來強(qiáng)迫模型輸出簡短答案，但不同模型在這種模式下的正確率有升有降。

通過對比MMLU和AIW測試的結(jié)果，研究團(tuán)隊(duì)發(fā)現(xiàn)大多數(shù)模型在AIW測試中表現(xiàn)欠佳，而少數(shù)模型如Llama2-70B、GPT-4、GPT-4o和Claude 3在AIW測試中的得分較高。盡管如此，這些模型在AIW+測試中表現(xiàn)仍然不盡如人意。例如，GPT-4o在AIW+測試中的準(zhǔn)確率驟降至0.015。

研究發(fā)現(xiàn)，LLM在錯(cuò)誤答案上表現(xiàn)出強(qiáng)烈的自信，即便在明顯錯(cuò)誤的推理中也聲稱邏輯成立，并堅(jiān)持其錯(cuò)誤結(jié)論。為了提高模型的正確率，研究人員嘗試了多種提示工程方法，包括Scientist類型的prompt和Confidence型prompt，但效果并不顯著。

研究人員觀察到，LLM在面對錯(cuò)誤時(shí)，會(huì)編造各種有說服力的解釋。例如，某些模型會(huì)提供一堆毫無意義的計(jì)算或邏輯陳述來支持其錯(cuò)誤結(jié)論，而另一些模型則可能選擇拒絕回答，并通過道德議題進(jìn)行“道德綁架”。例如，CodeLlama模型可能會(huì)以“作為一個(gè)負(fù)責(zé)任的AI模型，我不可以歧視唐氏綜合癥患者”為理由拒絕回答與唐氏綜合癥無關(guān)的問題。

研究團(tuán)隊(duì)還嘗試了多種LLM調(diào)優(yōu)技巧，包括定制prompt以啟用多輪自我驗(yàn)證、將自然語言形式的AIW問題轉(zhuǎn)化為SQL語句或參數(shù)化版本，以及利用上下文學(xué)習(xí)等技術(shù)，但這些策略都未能顯著提升模型的正確率。

為了顯著改善當(dāng)前LLM的推理能力，研究團(tuán)隊(duì)呼吁積極借助開源社區(qū)的力量。他們強(qiáng)調(diào)，LLM的模型創(chuàng)建流程，包括數(shù)據(jù)集的精心構(gòu)建、訓(xùn)練源代碼的透明度、訓(xùn)練后模型的完整性，以及標(biāo)準(zhǔn)化的基準(zhǔn)測試程序，都必須實(shí)現(xiàn)完全的開放和可重復(fù)性。團(tuán)隊(duì)指出，僅開放模型權(quán)重的方法存在局限性，因?yàn)樗鼰o法讓研究人員和開發(fā)者洞察到訓(xùn)練過程中可能存在的潛在問題。

團(tuán)隊(duì)還呼吁業(yè)界開源LLM的完整訓(xùn)練流程，特別是數(shù)據(jù)集的組成。他們認(rèn)為，數(shù)據(jù)集的多樣性、質(zhì)量和合理性對于模型的推理能力至關(guān)重要，同時(shí)也強(qiáng)調(diào)了標(biāo)準(zhǔn)化基準(zhǔn)測試程序的重要性，認(rèn)為這有助于評估模型的性能并推動(dòng)AI技術(shù)的不斷進(jìn)步。

為了實(shí)現(xiàn)LLM推理能力的革新，必須在開源和透明的原則下，依靠開源社區(qū)的力量，共同推動(dòng)AI技術(shù)的發(fā)展和創(chuàng)新。

論文鏈接：https://arxiv.org/abs/2406.02061

項(xiàng)目地址：https://github.com/LAION-AI/AIW

▲ 滑動(dòng)查看往期內(nèi)容