這項(xiàng)由加州大學(xué)圣芭芭拉分校的Md Awsafur Rahman與亞馬遜研究團(tuán)隊(duì)共同開展的研究發(fā)表于2025年12月。有興趣深入了解的讀者可以通過arXiv:2512.13077查詢完整論文。研究團(tuán)隊(duì)包括亞馬遜的Adam Gabrys、Doug Kang、Jingjing Sun、Tian Tan和Ashwin Chandramouli等資深研究員。

當(dāng)你跟AI助手聊天時(shí)，有沒有感覺到有些回復(fù)讓人覺得很舒服，而有些卻讓人感到不自在？這就像跟朋友聊天和跟客服說話的區(qū)別一樣。目前的AI評估系統(tǒng)就像只關(guān)心學(xué)生的考試成績，卻忽略了他們是否受同學(xué)歡迎?，F(xiàn)有的AI評估主要關(guān)注兩個(gè)方面：AI能否記住用戶告訴它的信息，以及能否在后續(xù)任務(wù)中正確運(yùn)用這些信息。但這就像只看一個(gè)人是否有好記性和執(zhí)行力，卻不關(guān)心這個(gè)人是否讓人愿意繼續(xù)交往。

研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)關(guān)鍵問題：即使AI的記憶力很好，能準(zhǔn)確回憶用戶的偏好并在任務(wù)中運(yùn)用，但如果它的回應(yīng)方式讓人感覺生硬、不合適，用戶仍然不會喜歡它。就像一個(gè)店員能準(zhǔn)確記住你的購買歷史，但說話方式讓人不舒服，你還是不愿意再去那家店。這種"討人喜歡"的能力，研究團(tuán)隊(duì)稱之為"likability"，是個(gè)性化AI系統(tǒng)中一個(gè)被嚴(yán)重忽視但極其重要的維度。

為了填補(bǔ)這個(gè)空白，研究團(tuán)隊(duì)開發(fā)了LikeBench，這是第一個(gè)專門評估AI助手"討人喜歡"程度的綜合測試平臺。這個(gè)平臺就像是為AI助手設(shè)計(jì)的"魅力測試"，通過多輪對話來觀察AI是否能在交流中變得更受歡迎。與以往只看AI能否記住和執(zhí)行的測試不同，LikeBench關(guān)注的是AI的回應(yīng)是否讓用戶感到舒適、自然和愉快。

一、測試設(shè)計(jì)：七個(gè)維度衡量AI的"魅力指數(shù)"

LikeBench的設(shè)計(jì)就像是一個(gè)復(fù)合型的社交能力測試。研究團(tuán)隊(duì)認(rèn)為，AI的討人喜歡程度不是一個(gè)簡單的分?jǐn)?shù)，而是由多個(gè)因素組成的復(fù)雜能力。他們將這種能力拆解為七個(gè)具體的維度，就像把"受歡迎"這個(gè)抽象概念分解成可以觀察和測量的具體行為。

情感適應(yīng)能力是第一個(gè)維度，考察AI是否能識別并適應(yīng)用戶的情緒狀態(tài)。當(dāng)用戶興奮地說"我終于考上MIT了！"時(shí)，一個(gè)好的AI應(yīng)該表現(xiàn)出相應(yīng)的興奮，而不是冷冰冰地回復(fù)"那是一所很好的學(xué)校"。這就像朋友之間的互動，你的快樂需要得到對方的共鳴，你的沮喪需要得到對方的理解。

正式程度匹配是第二個(gè)維度，觀察AI是否能匹配用戶的說話風(fēng)格。如果用戶說"lmao這電影太搞笑了"，AI最好也用相對輕松的語調(diào)回應(yīng)，而不是用學(xué)術(shù)論文的口吻分析電影的藝術(shù)價(jià)值。這就像在不同場合穿合適的服裝一樣，跟朋友聊天時(shí)的隨意和在正式會議上的嚴(yán)肅應(yīng)該是不同的。

知識適應(yīng)能力是第三個(gè)維度，評估AI是否能根據(jù)用戶的背景調(diào)整解釋的深度。對博士生解釋量子物理時(shí)可以用專業(yè)術(shù)語，但對小學(xué)生就需要用更簡單的比喻。這就像一個(gè)好老師，會根據(jù)學(xué)生的水平調(diào)整教學(xué)方式，既不會過于簡化讓人覺得被小看，也不會過于復(fù)雜讓人聽不懂。

引用理解能力是第四個(gè)維度，檢驗(yàn)AI是否能理解用戶提到的文化引用、?；虬凳尽．?dāng)用戶說"給這個(gè)多比一只襪子吧"時(shí)，AI需要理解這是《哈利波特》中的引用，表示想要自由。一個(gè)能接上這種梗的AI就像一個(gè)有共同語言的朋友，讓對話變得更有趣。

對話長度適配是第五個(gè)維度，考察AI的回復(fù)長度是否符合用戶的期望。有些人喜歡簡短直接的回答，有些人則希望得到詳細(xì)的解釋。當(dāng)用戶只是簡單問候"嗨，最近怎么樣？"時(shí)，一個(gè)合適的回復(fù)應(yīng)該是同樣簡短的問候，而不是一大段關(guān)于生活狀況的詳細(xì)匯報(bào)。

幽默匹配能力是第六個(gè)維度，評估AI使用幽默的時(shí)機(jī)和方式是否恰當(dāng)。不是所有用戶都喜歡幽默，而喜歡幽默的用戶對幽默類型的偏好也不同。有些人喜歡雙關(guān)語，有些人喜歡自嘲，還有些人完全不希望AI開玩笑。

回調(diào)能力是第七個(gè)維度，觀察AI是否能在合適的時(shí)候提及之前對話中的個(gè)人細(xì)節(jié)。當(dāng)用戶之前提到妻子Sarah在找工作時(shí)，AI在后續(xù)對話中能夠自然地問起"Sarah的求職進(jìn)展如何？"就體現(xiàn)了這種能力。這就像老朋友見面時(shí)會關(guān)心你之前提到的事情，讓人感到被關(guān)注和重視。

二、模擬用戶：心理學(xué)支撐的虛擬角色

為了測試AI的表現(xiàn)，研究團(tuán)隊(duì)需要?jiǎng)?chuàng)造出足夠真實(shí)和多樣的模擬用戶。傳統(tǒng)的評測通常使用簡單的用戶標(biāo)簽，比如"外向"或"內(nèi)向"，但這就像用"高"或"矮"來描述一個(gè)人的全部特征一樣粗糙。LikeBench采用了更加細(xì)致的方法，基于心理學(xué)研究構(gòu)建了復(fù)雜的虛擬用戶角色。

每個(gè)模擬用戶都有35個(gè)詳細(xì)的性格特征，這些特征基于著名的"大五人格模型"以及其他心理學(xué)理論。大五人格模型包括開放性、責(zé)任心、外向性、親和力和神經(jīng)質(zhì)這五個(gè)主要維度，每個(gè)維度又被細(xì)分為6個(gè)具體方面。比如開放性不僅包括對新體驗(yàn)的接受度，還包括想象力、藝術(shù)興趣、情感豐富度、冒險(xiǎn)精神、智力好奇心和價(jià)值觀開放度等具體方面。

除了性格特征，每個(gè)虛擬用戶還有9個(gè)對話風(fēng)格維度，包括直接程度、正式程度、偏好的回復(fù)長度、引用使用習(xí)慣、主動性偏好、澄清偏好、結(jié)構(gòu)偏好、回顧偏好和反饋風(fēng)格。這就像為每個(gè)人定制了一套獨(dú)特的交流"指紋"，確保測試的多樣性和真實(shí)性。

研究團(tuán)隊(duì)特別設(shè)計(jì)了兩種類型的用戶：社交型和反社交型。社交型用戶就像那些外向、合作、情感表達(dá)豐富的人，他們的興趣往往與性格特征相符。反社交型用戶則更像那些分析型、目標(biāo)導(dǎo)向、情感相對內(nèi)斂的人，他們的興趣可能與性格特征沒有明顯關(guān)聯(lián)。這種設(shè)計(jì)確保了測試能夠覆蓋不同性格類型的用戶，更加貼近真實(shí)世界的多樣性。

每個(gè)虛擬用戶還有完整的背景故事，包括年齡、文化背景、經(jīng)濟(jì)狀況、地理位置、興趣愛好、生活經(jīng)歷等。這些背景不是隨機(jī)組合的，而是基于心理學(xué)原理設(shè)計(jì)的連貫人物畫像。就像小說中的人物一樣，每個(gè)虛擬用戶都有自己的動機(jī)、偏好和行為模式。

三、動態(tài)評測：跨會話的適應(yīng)性觀察

LikeBench最創(chuàng)新的地方在于它不是一次性測試，而是跨越多個(gè)會話的動態(tài)評估。這就像觀察一段友誼的發(fā)展過程，而不是只看第一次見面的印象。每個(gè)用戶檔案需要經(jīng)歷10個(gè)不同的對話會話，每個(gè)會話包含5輪交互，總共50輪對話。

每個(gè)會話都有隱藏的"先驗(yàn)條件"，也就是對話的背景和目標(biāo)。這些先驗(yàn)條件只有模擬用戶知道，AI并不知道，就像現(xiàn)實(shí)生活中你不知道對方今天心情如何或有什么特殊需求。先驗(yàn)條件可能是基于話題的（比如討論機(jī)器學(xué)習(xí)），基于場景的（比如剛看了一部搞笑電影想分享），基于目標(biāo)的（比如同時(shí)想要旅行規(guī)劃和餐廳推薦），或者是引導(dǎo)式的（自然對話中包含特定元素）。

為了測試AI的適應(yīng)性，研究團(tuán)隊(duì)精心設(shè)計(jì)了會話之間的依賴關(guān)系。后面的會話會自然地引用前面會話中的內(nèi)容，就像現(xiàn)實(shí)中朋友見面時(shí)會問起上次聊到的事情。比如第三個(gè)會話可能會提及第一個(gè)會話中的某個(gè)笑話，第五個(gè)會話可能會詢問第二個(gè)會話中給出建議的執(zhí)行情況，第十個(gè)會話可能會回顧整個(gè)關(guān)系的發(fā)展歷程。

這種設(shè)計(jì)讓研究團(tuán)隊(duì)能夠觀察AI是否具有真正的適應(yīng)性。一個(gè)好的AI應(yīng)該能夠在多次交互中逐漸了解用戶的偏好，并在后續(xù)對話中體現(xiàn)這種了解。這不僅包括記住事實(shí)信息，更重要的是學(xué)會用用戶喜歡的方式交流。

四、測試結(jié)果：記憶力好不等于受歡迎

研究團(tuán)隊(duì)測試了五個(gè)當(dāng)前最先進(jìn)的AI模型：GPT-5、Claude 4 Sonnet、Claude 3.7 Sonnet、DeepSeek R1和Qwen3 235B。測試結(jié)果揭示了一個(gè)令人意外的發(fā)現(xiàn)：記憶力最好的AI并不是最受歡迎的。

GPT-5在綜合討人喜歡程度上獲得了最高分3.94分（滿分5分），成為最受歡迎的AI助手。Claude 4 Sonnet緊隨其后，獲得3.83分。但最令人驚訝的是DeepSeek R1的表現(xiàn)。盡管它的記憶準(zhǔn)確率只有86%，平均每個(gè)用戶檔案只能記住17個(gè)事實(shí)，但它在討人喜歡程度上得到了3.67分，超過了記憶準(zhǔn)確率高達(dá)93%、平均能記住43個(gè)事實(shí)的Qwen3（只得到2.87分）。

這個(gè)結(jié)果就像發(fā)現(xiàn)一個(gè)記憶力一般但很會聊天的朋友，比一個(gè)記憶力超強(qiáng)但說話無趣的人更受歡迎。這說明AI的個(gè)性化能力不能簡單地等同于信息記憶和執(zhí)行能力，用戶的主觀體驗(yàn)同樣重要。

在具體的討人喜歡維度上，各個(gè)AI模型表現(xiàn)出不同的特點(diǎn)。幽默匹配和正式程度匹配是所有模型都感到困難的維度，這反映了理解和適應(yīng)用戶的幽默風(fēng)格以及交流風(fēng)格的復(fù)雜性。知識適應(yīng)能力是表現(xiàn)最好的維度，大多數(shù)模型都能較好地根據(jù)對話內(nèi)容調(diào)整解釋的深度。

有趣的是，GPT-5雖然在大部分維度上表現(xiàn)優(yōu)秀，但在對話長度適配上卻落后于Claude 4 Sonnet。研究人員發(fā)現(xiàn)，GPT-5傾向于生成長而全面的回復(fù)，雖然展現(xiàn)了強(qiáng)大的知識適應(yīng)能力，但當(dāng)用戶偏好簡短交流時(shí)，這種詳盡的回應(yīng)反而降低了用戶滿意度。這說明AI需要在展示能力和滿足用戶偏好之間找到平衡。

五、適應(yīng)性表現(xiàn)：短期有效，長期乏力

LikeBench的動態(tài)評估還揭示了一個(gè)重要發(fā)現(xiàn)：大部分AI模型在短期交互中能夠適應(yīng)用戶偏好，但在長期、復(fù)雜的對話中表現(xiàn)不穩(wěn)定。

在前三個(gè)會話中，大多數(shù)模型都表現(xiàn)出了"蜜月期"的上升趨勢。Claude 3.7 Sonnet和DeepSeek R1甚至表現(xiàn)出近乎線性的提升，相關(guān)系數(shù)接近0.98。這說明在相對簡單、獨(dú)立的早期會話中，AI能夠較好地學(xué)習(xí)和適應(yīng)用戶偏好。

但是從第三到第六個(gè)會話，所有模型都出現(xiàn)了下降趨勢。這個(gè)階段引入了跨會話協(xié)調(diào)、對話噪音和情感上更深層的詢問，大大增加了對話的復(fù)雜性。就像朋友關(guān)系從最初的客氣階段進(jìn)入了需要處理復(fù)雜情況的階段，AI的表現(xiàn)開始出現(xiàn)問題。

在后期會話（第6-10個(gè)），各模型的表現(xiàn)軌跡開始分化，可預(yù)測性大幅下降。只有GPT-5表現(xiàn)出了強(qiáng)勁的反彈能力，改善率達(dá)到0.038。研究人員分析發(fā)現(xiàn)，GPT-5能夠利用其強(qiáng)大的長文本處理和多步推理能力，在這個(gè)階段重新校準(zhǔn)用戶偏好，而其他模型要么繼續(xù)下降，要么只有輕微改善。

但即使是表現(xiàn)最好的GPT-5，其整體平均改善也只是勉強(qiáng)維持正數(shù)。這表明當(dāng)前的AI系統(tǒng)雖然能在短序列中適應(yīng)用戶偏好，但在擴(kuò)展的、有噪音的交互中仍然脆弱。在實(shí)踐中，這意味著最佳表現(xiàn)的模型能夠避免在長對話中的明顯退化，但要在擴(kuò)展的、類似真實(shí)世界的交流中保持高度的討人喜歡程度，仍然是一個(gè)未解決的挑戰(zhàn)。

六、記憶類型分析：顯式與隱式的差異

研究團(tuán)隊(duì)還深入分析了AI模型在處理不同類型記憶時(shí)的表現(xiàn)差異。他們將用戶分享的信息分為顯式記憶和隱式記憶兩類。顯式記憶是用戶直接陳述的事實(shí)，比如"我是一名教師"或"我住在西雅圖"。隱式記憶則是從用戶行為、偏好或?qū)υ捘Ｊ街型茢喑龅男畔?，比?偏好隨意交流"或"似乎懂技術(shù)"。

GPT-5在這個(gè)分析中再次表現(xiàn)突出，它提取的用戶事實(shí)數(shù)量最多，而且大部分是顯式事實(shí)。它采用保守策略，只有在高度確信時(shí)才推斷隱式信息，結(jié)果其隱式記憶的準(zhǔn)確率達(dá)到了98%。這就像一個(gè)謹(jǐn)慎的朋友，只在確定的時(shí)候才對你的想法進(jìn)行推測，因此很少出錯(cuò)。

相比之下，Qwen3在推斷隱式記憶方面更加積極主動，通常提取的隱式記憶數(shù)量在所有模型中最多，但這種積極性帶來了準(zhǔn)確性的代價(jià)，隱式記憶準(zhǔn)確率為93%。這就像一個(gè)熱心但有時(shí)過度解讀的朋友，會對你的話進(jìn)行很多推測，有時(shí)候猜對了，有時(shí)候會誤解你的意思。

更重要的是，研究發(fā)現(xiàn)GPT-5不僅記憶能力強(qiáng)，而且?guī)缀跬耆昧颂崛〉降挠洃洝Ｋ趯υ捴惺褂昧?0-100%的顯式記憶和幾乎100%的隱式記憶，有些用戶檔案在需要時(shí)甚至引用了超過15個(gè)隱式事實(shí)。這表明有效的個(gè)性化不僅需要準(zhǔn)確回憶相關(guān)信息，還需要熟練地、根據(jù)具體情境使用顯式和隱式用戶知識。

七、用戶類型差異：社交型與反社交型的對比

LikeBench的另一個(gè)重要發(fā)現(xiàn)是不同用戶類型對AI表現(xiàn)的影響。研究團(tuán)隊(duì)設(shè)計(jì)的社交型用戶是那些情感合作、表達(dá)豐富的角色，他們的興趣與性格特征高度相關(guān)。反社交型用戶則是分析導(dǎo)向、情感相對冷靜的角色，他們的興趣刻意與性格特征解耦，以增加不可預(yù)測性。

最強(qiáng)的AI系統(tǒng)（GPT-5和Claude 4 Sonnet）在兩種用戶類型上都表現(xiàn)出了顯著的穩(wěn)定性，中位數(shù)相似且四分位距緊密。這表明它們的策略能夠從合作型用戶遷移到冷靜型用戶，不會因?yàn)橛脩舻男愿癫町惗霈F(xiàn)明顯的表現(xiàn)波動。

有趣的是，不同模型對用戶類型的偏好并不一致。DeepSeek R1在反社交型用戶上表現(xiàn)更好，Claude 3.7 Sonnet在這類用戶上表現(xiàn)下降，而Qwen3雖然整體得分最低但在反社交型用戶上縮小了差距。這種不對稱性證實(shí)了性格特征——即用戶如何進(jìn)行交流（語調(diào)、情感立場、話語紀(jì)律）——比話題對齊更能驅(qū)動討人喜歡程度。將興趣與特征解耦確實(shí)改變了難度，但并不主導(dǎo)結(jié)果。

八、實(shí)驗(yàn)改進(jìn)嘗試：動態(tài)用戶畫像

研究團(tuán)隊(duì)還嘗試了一種改進(jìn)方法：動態(tài)用戶畫像。他們觀察到，隨著對話的進(jìn)行，模型很難追蹤和遵守用戶偏好，顯著信號容易被累積的上下文和偏離主題的噪音沖淡。為了緩解這種漂移，他們引入了顯式的、逐輪的推斷偏好追蹤。

在動態(tài)用戶畫像模式下，模型在每輪對話后都會提取和更新一個(gè)簡潔的偏好摘要，涵蓋性格維度（如健談vs保守、分析深度偏好、幽默偏好）和對話風(fēng)格模式（如直接程度、正式程度、對話長度）。"動態(tài)"是從模型角度來說的：LikeBench中的真實(shí)用戶角色是固定的，但模型必須從對話證據(jù)中推斷出不斷演化的近似值。

這種改進(jìn)為表現(xiàn)最好的兩個(gè)模型帶來了收益：GPT-5從3.939提升到4.055（提升2.95%），Claude 4 Sonnet從3.828提升到3.914（提升2.25%）。但其他模型并沒有從中受益。這些結(jié)果表明，輕量級的、基于模式引導(dǎo)的偏好追蹤可以通過減少跨會話的校準(zhǔn)錯(cuò)誤來明顯增強(qiáng)感知的討人喜歡程度。

九、研究意義：從技術(shù)指標(biāo)到用戶體驗(yàn)

這項(xiàng)研究的意義遠(yuǎn)超出了AI技術(shù)本身。它首次系統(tǒng)性地證明了一個(gè)重要觀點(diǎn)：AI系統(tǒng)的個(gè)性化能力不能簡單地用記憶準(zhǔn)確性和任務(wù)執(zhí)行能力來衡量。用戶的主觀體驗(yàn)——即AI是否讓人感到舒適、自然和愉快——是一個(gè)獨(dú)立且重要的評估維度。

這個(gè)發(fā)現(xiàn)對AI產(chǎn)品開發(fā)有著重要的指導(dǎo)意義。許多AI系統(tǒng)的開發(fā)者可能過分關(guān)注提高記憶能力和任務(wù)準(zhǔn)確性，卻忽略了用戶的情感體驗(yàn)。但正如這項(xiàng)研究所顯示的，一個(gè)記憶力稍差但交流方式更自然的AI，可能比一個(gè)記憶完美但交流僵硬的AI更受用戶歡迎。

LikeBench提供的七維度評估框架也為AI系統(tǒng)的改進(jìn)指明了具體方向。開發(fā)者可以針對情感適應(yīng)、正式程度匹配、知識適應(yīng)等具體維度進(jìn)行優(yōu)化，而不是盲目地提升整體性能。這就像醫(yī)生可以針對患者的具體癥狀開藥，而不是只給通用的補(bǔ)藥。

研究還揭示了當(dāng)前AI系統(tǒng)的一個(gè)普遍局限性：它們在短期交互中表現(xiàn)良好，但難以維持長期的高質(zhì)量交流。這提醒我們，真正的AI個(gè)性化不僅需要在單次對話中表現(xiàn)出色，更需要在長期的、復(fù)雜的交互中保持一致性。這對于那些希望AI成為長期伴侶或助手的應(yīng)用場景尤其重要。

說到底，這項(xiàng)研究提醒我們，AI的最終目標(biāo)不應(yīng)該只是變得更聰明，而是變得更人性化。在追求技術(shù)突破的同時(shí)，我們不能忘記技術(shù)服務(wù)于人的根本宗旨。一個(gè)真正成功的AI助手，應(yīng)該既能記住你說過的話，也能理解你沒說出口的需求，既能完成你交代的任務(wù)，也能讓你在交流中感到舒適和愉快。

LikeBench為這個(gè)目標(biāo)提供了一個(gè)重要的測量工具。通過它，我們可以更準(zhǔn)確地評估AI系統(tǒng)的用戶體驗(yàn)質(zhì)量，推動AI技術(shù)向著更加人性化、更加貼心的方向發(fā)展。對于普通用戶來說，這意味著未來的AI助手將不僅更能干，也更可愛。對于整個(gè)AI行業(yè)來說，這開啟了一個(gè)新的競爭維度：不僅要比拼技術(shù)能力，更要比拼用戶體驗(yàn)和情感連接能力。

Q&A

Q1：LikeBench是什么？

A：LikeBench是由UC圣芭芭拉分校和亞馬遜聯(lián)合開發(fā)的AI評估系統(tǒng)，專門測試AI助手的"討人喜歡"程度。它通過七個(gè)維度（情感適應(yīng)、正式程度匹配、知識適應(yīng)、引用理解、對話長度適配、幽默匹配、回調(diào)能力）來評估AI在多輪對話中是否能讓用戶感到舒適和愉快。

Q2：為什么記憶力好的AI不一定更受歡迎？

A：研究發(fā)現(xiàn)，DeepSeek R1雖然記憶準(zhǔn)確率只有86%，但討人喜歡程度超過了記憶準(zhǔn)確率93%的Qwen3。這說明AI的個(gè)性化能力不等于記憶能力，用戶更關(guān)心AI的交流方式是否自然、是否能適應(yīng)自己的情緒和偏好，而不僅僅是它能否準(zhǔn)確記住事實(shí)信息。

Q3：LikeBench如何測試AI的適應(yīng)性？

A：LikeBench設(shè)計(jì)了跨越10個(gè)會話的動態(tài)測試，每個(gè)會話有5輪對話。后續(xù)會話會自然引用前面的內(nèi)容，就像朋友間的連續(xù)交流。通過觀察AI在長期交互中的表現(xiàn)變化，研究團(tuán)隊(duì)發(fā)現(xiàn)大多數(shù)AI在短期內(nèi)能適應(yīng)用戶偏好，但在長期復(fù)雜對話中表現(xiàn)不穩(wěn)定。