這項由浙江大學(xué)主導(dǎo)、聯(lián)合蘋果公司與騰訊的研究團(tuán)隊于2026年4月發(fā)布，論文編號為arXiv:2604.08455，有興趣深入探索的讀者可以通過該編號查詢完整論文。研究的核心問題聽起來很簡單，卻戳中了所有人的痛點：我們的手機(jī)AI助手，到底算不算真正"懂你"？

你有沒有遇到過這樣的場景——對著手機(jī)語音說"幫我點份午飯"，結(jié)果AI一臉茫然地問你要點什么？或者你明明不吃辣，AI偏偏給你推薦了一家川菜？更別提那種感覺：你每天早上8點都會開啟"勿擾模式"，但AI助手還是在最關(guān)鍵的時候彈出一個煩人的提醒。這些經(jīng)歷背后有一個共同的問題：現(xiàn)有的手機(jī)AI助手，本質(zhì)上只是一個聽指令的執(zhí)行機(jī)器，而不是一個真正了解你、懂你習(xí)慣、能替你著想的"數(shù)字管家"。

浙江大學(xué)的研究團(tuán)隊決定徹底搞清楚一件事：當(dāng)前最先進(jìn)的AI模型，到底有沒有能力成為這樣一個真正"懂你"的管家？為了回答這個問題，他們構(gòu)建了一套全新的測試系統(tǒng)，起名叫"KnowU-Bench"（知你基準(zhǔn)），專門用來測量AI助手在"真正了解用戶"這件事上的能力高下。

這套測試系統(tǒng)的獨特之處在于，它不是讓AI助手完成那些干凈利落、指令清晰的任務(wù)，而是專門設(shè)計了三類不同難度的挑戰(zhàn)，層層遞進(jìn)，步步升級，把AI助手逼到"知己知彼"的極限邊緣。研究人員同時對11款當(dāng)前最主流的AI模型進(jìn)行了評測，結(jié)果發(fā)現(xiàn)了一個令人深思的現(xiàn)象：那些在標(biāo)準(zhǔn)任務(wù)上表現(xiàn)亮眼的頂尖模型，一旦面對需要"讀懂用戶心思"的任務(wù)，成功率竟然普遍跌破50%——包括赫赫有名的Claude Sonnet 4.6。

一、為什么"聽話"不等于"懂你"——研究的起點

日常生活中存在一種非常普遍的誤解，認(rèn)為只要AI能準(zhǔn)確執(zhí)行指令，就算是一個好助手了。但實際情況是，人們在使用手機(jī)AI助手時，往往說的是一件事，心里想的卻是另一件事。

以"幫我訂個午飯"為例，這句話背后隱藏了多少潛臺詞？你可能不吃花生，可能慣用支付寶，可能喜歡用某一款外賣App，可能討厭太油膩的食物，可能還有一個常用的送餐地址。這些都是你的"個人偏好"，你不會每次點餐都重復(fù)一遍，但你期待AI助手能記得、能懂、能自動幫你搞定。

現(xiàn)有的AI評測系統(tǒng)幾乎都集中在測試"指令執(zhí)行能力"——AI能不能按照清晰的說明一步一步完成任務(wù)。就像考駕照只考科目二，但真實駕駛還需要應(yīng)對堵車、雨雪、迷路……科目二過了不代表你是個好司機(jī)，同樣地，AI通過了"執(zhí)行指令"的測試，不代表它能當(dāng)一個貼心的生活助理。

浙江大學(xué)的研究團(tuán)隊發(fā)現(xiàn)，現(xiàn)有的評測系統(tǒng)存在三個明顯的漏洞。第一個漏洞是，偏好信息測試大多是"翻卷子"——給AI看一份用戶的歷史記錄，問它能不能猜出用戶喜好，但這種方式就像開卷考試，真實場景中AI不可能直接讀到你的"人設(shè)檔案"。第二個漏洞是，沒有任何測試系統(tǒng)檢驗AI能不能通過"主動問你"來補(bǔ)全缺失的信息——就像一個懂事的服務(wù)員，發(fā)現(xiàn)你沒說要幾分熟，會主動來問，而不是直接上一塊半生不熟的牛排。第三個漏洞是，"主動服務(wù)"的測試嚴(yán)重不完整——AI不僅要會"該出手時就出手"，還要會"該沉默時絕不打擾"，更要在你拒絕后懂得"收手"，現(xiàn)有測試完全沒有涵蓋這些能力。

正是為了填補(bǔ)這三個漏洞，KnowU-Bench應(yīng)運(yùn)而生。

二、KnowU-Bench是怎么工作的——一套精心設(shè)計的"考場"

KnowU-Bench的核心設(shè)計理念，可以用一個比喻來理解：它相當(dāng)于一家專門測試"貼身管家"水平的培訓(xùn)機(jī)構(gòu)，考核內(nèi)容不是"能不能端盤子"，而是"知不知道主人不吃芫荽""主動幫主人訂好了早報""被主人拒絕后不再多嘴"。

整套系統(tǒng)運(yùn)行在一個真實模擬的安卓手機(jī)環(huán)境里——一個裝在計算機(jī)里的虛擬Pixel 8手機(jī)，里面安裝了23款A(yù)pp，包括購物平臺、外賣應(yīng)用、社交軟件、日歷、地圖、通訊錄等，涵蓋了日常生活的方方面面。每次測試都從一個固定的"起始狀態(tài)"開始，確保不同模型之間的對比是公平的。

為了讓測試更接近真實情況，研究團(tuán)隊還設(shè)計了四類"虛擬用戶"，分別是研究員、開發(fā)者、學(xué)生和奶奶，每種用戶都有詳細(xì)的個人檔案，包括年齡、工作、家庭住址、飲食偏好、購物習(xí)慣、常用App、生活作息……這些檔案被嚴(yán)格保密，AI助手看不到，只有扮演"用戶"的模擬程序能看到。AI助手能看到的，只有一份"行為日志"——記錄了用戶過去在手機(jī)上做了什么的流水賬，就像你手機(jī)里的使用記錄。

考場上的任務(wù)被分成了三個難度級別，每一級都比前一級更考驗AI助手對用戶的理解深度。

三、三關(guān)考核，層層加碼——從"聽話"到"懂心"

第一關(guān)是"基礎(chǔ)任務(wù)"，共42道題，考的是最基本的界面操作能力。題目都是明確清晰的指令，比如"幫我在Mastodon上找一條關(guān)于人工智能的帖子，然后轉(zhuǎn)發(fā)到Mattermost的Town Square頻道"。這類任務(wù)就像給新招來的助理一份操作手冊，按圖索驥就能完成，考的是AI能不能看懂手機(jī)屏幕、能不能點對按鈕、能不能跨越多個App完成一系列操作。這是最低門檻的考核，用來確認(rèn)AI至少"會操作手機(jī)"。

第二關(guān)是"個性化任務(wù)"，共86道題，難度驟然上升。這些題目的指令是模糊的，隱藏了關(guān)鍵信息。比如"幫我點份今天的午飯，我時間緊，預(yù)算合理就好，可以參考我的App偏好"。這句話里，AI需要自己搞清楚：用戶喜歡用哪個外賣App？有什么忌口？什么叫"合理預(yù)算"？送到哪里？用什么支付方式？

這些信息，AI需要從行為日志里推斷，或者通過主動提問來獲取。如果日志里有足夠的線索，AI應(yīng)該能推斷出用戶的習(xí)慣；如果線索不夠，AI就必須主動問用戶——"您平時用哪個App點外賣？""您有什么飲食禁忌嗎？"這種"主動問問題的能力"，正是這關(guān)考核的核心。

第三關(guān)是"主動服務(wù)任務(wù)"，共64道題，難度達(dá)到頂峰。這類任務(wù)完全沒有明確指令——AI只能看到當(dāng)前的時間、地點和手機(jī)狀態(tài)，然后自己判斷：現(xiàn)在需要主動做點什么嗎？做什么？要不要先問問用戶？如果用戶拒絕了，怎么辦？

舉個例子，一個早上八點多、在家里、用戶剛解鎖手機(jī)的場景。根據(jù)用戶的歷史行為，AI可能判斷出用戶每天早上習(xí)慣瀏覽學(xué)術(shù)論文網(wǎng)站，于是主動幫他打開；或者用戶從來沒有這個習(xí)慣，AI就應(yīng)該什么都不做，靜靜等待。更難的情況是：AI提出了一個建議，但用戶拒絕了，AI必須懂得"就此打住"，不能一意孤行繼續(xù)執(zhí)行。

這三關(guān)加在一起，總共192道題，覆蓋了從"聽話執(zhí)行"到"主動貼心"的完整能力光譜。

四、"虛擬用戶"是怎么扮演的——一個會聊天的AI"演員"

為了讓測試真實可信，研究團(tuán)隊需要一個能夠扮演用戶、回答AI助手提問的系統(tǒng)。這個"虛擬用戶"本身也是一個AI模型，具體使用的是GPT-4o來擔(dān)任這個角色。

這個"用戶演員"被注入了完整的用戶檔案，知道自己的每一個偏好和習(xí)慣。當(dāng)AI助手發(fā)出提問，比如"請問您有什么飲食忌口嗎"，"用戶演員"會按照檔案里的設(shè)定給出符合角色的回答——比如"我不吃花生，其他都行"。當(dāng)AI助手在主動服務(wù)任務(wù)中提出建議，比如"我發(fā)現(xiàn)您經(jīng)常在早上看論文，要不要我?guī)湍蜷_？"，"用戶演員"會根據(jù)該用戶的檔案和當(dāng)前情境，給出接受或拒絕的回應(yīng)。

這個設(shè)計的精妙之處在于：AI助手永遠(yuǎn)看不到用戶的完整檔案，只能通過行為日志和對話來一點一點拼湊出用戶的真實偏好。這就像一個新來的秘書，沒有前任秘書留下的詳細(xì)說明書，只有一份老板過去幾個月的日程記錄，和偶爾的幾次當(dāng)面溝通。能不能從中讀懂老板的心思，是衡量這個秘書是否合格的關(guān)鍵標(biāo)準(zhǔn)。

五、成績單揭曉——頂尖模型的真實表現(xiàn)

測試結(jié)果讓研究人員頗為震驚，同時也驗證了他們最初的猜想：在基礎(chǔ)任務(wù)上輕松拿高分的模型，一旦面對個性化和主動服務(wù)任務(wù)，成績會出現(xiàn)斷崖式下跌。

在11款參與評測的模型中，Claude Sonnet 4.6是綜合表現(xiàn)最好的，整體成功率達(dá)到60.4%。在基礎(chǔ)任務(wù)的"簡單題"中，它拿到了94.4%的成功率，表現(xiàn)相當(dāng)穩(wěn)定。然而，當(dāng)進(jìn)入個性化任務(wù)的"難題"區(qū)域，它的成功率跌到了44.2%?？紤]到這已經(jīng)是11款模型里的最高成績，其他模型的情況可想而知——所有開源模型在個性化難題上的成功率都低于12%。

不同類型的模型表現(xiàn)出鮮明差異。在參與評測的三類模型中，專門針對手機(jī)界面操作訓(xùn)練的"GUI專用模型"（包括MAI-UI-8B、UI-Venus-1.5-8B、GUI-Owl-1.5-8B這三款8B參數(shù)規(guī)模的小模型）在基礎(chǔ)任務(wù)上表現(xiàn)尚可，但在個性化和主動服務(wù)任務(wù)上幾乎全軍覆沒。通用開源大模型（包括Qwen系列的幾個不同規(guī)模版本）隨著參數(shù)量增加，個性化任務(wù)的表現(xiàn)有所提升，但與閉源商業(yè)模型之間的差距仍然顯著。而閉源商業(yè)模型Gemini 3.1 Pro Preview、Seed 2.0 Pro和Claude Sonnet 4.6則總體領(lǐng)先，但同樣在高難度任務(wù)面前力不從心。

特別值得注意的是，兩款在基礎(chǔ)任務(wù)上都能達(dá)到100%成功率的模型——MAI-UI-8B和Seed 2.0 Pro，它們會操作手機(jī)、能完成明確指令，但一旦任務(wù)需要理解用戶偏好，成績便大幅下滑。這說明"會用手機(jī)"和"懂得用戶"是兩套完全不同的能力，前者并不能帶來后者。

六、為什么會失敗——深挖錯誤背后的原因

研究團(tuán)隊對Claude Sonnet 4.6（表現(xiàn)最好的模型）的所有失敗案例進(jìn)行了仔細(xì)分析，找到了兩類任務(wù)失敗的主要根源，這兩類根源截然不同，揭示了AI助手在"懂你"這件事上的兩大軟肋。

在個性化任務(wù)中，失敗最主要的原因不是"弄錯了用戶的喜好"，而是"根本沒有去搞清楚用戶的喜好"。具體來說，66.7%的失敗屬于"沒有充分澄清"——AI助手在信息不足的情況下，沒有主動提問，而是直接按照自己的猜測行動，結(jié)果猜錯了。另外27.1%屬于"部分滿足偏好"——AI知道了用戶的主要偏好，但在多個偏好需要同時滿足時，顧此失彼，只滿足了一部分。真正因為"認(rèn)錯了偏好"而失敗的情況只占2.1%，因為"界面操作失誤"而失敗的只占4.2%。換句話說，失敗的根源不在于AI不會操作手機(jī)，而在于它不善于主動追問、不善于把用戶的反饋真正用起來。

在主動服務(wù)任務(wù)中，失敗的主要原因恰恰相反——不是"問太少"，而是"出手太多"。60%的失敗屬于"不該出手卻出手了"——AI在沒有明確觸發(fā)條件的情況下，自作主張地啟動了某個任務(wù)，這在真實場景中會讓用戶感到非常困擾和不安。20%的失敗屬于"該出手時卻袖手旁觀"——明明用戶有一個固定的日常習(xí)慣，AI卻沒有認(rèn)出這個觸發(fā)信號，什么都沒做。另外還有5%的失敗屬于"用戶拒絕后仍然一意孤行"——這是最危險的失敗類型，就像一個助手被老板明確說了"不用了"，卻還是偷偷幫你做完，這不是貼心，是越權(quán)。

這兩種失敗模式說明，主動服務(wù)能力的核心不是單純的技術(shù)水平，而是"分寸感"——知道什么時候該出手、什么時候該等待、什么時候該問一下、被拒絕后怎么優(yōu)雅收場。目前的AI模型在這個"分寸感"上，還差得很遠(yuǎn)。

七、問得多就能更懂你嗎——關(guān)于"主動追問"的反直覺發(fā)現(xiàn)

一個很自然的想法是：AI助手如果多問幾個問題，是不是就能更好地滿足用戶需求？研究團(tuán)隊的數(shù)據(jù)給出了一個有些反直覺的答案：問問題的數(shù)量，和最終的任務(wù)成功率之間，并沒有簡單的正相關(guān)關(guān)系。

Claude Sonnet 4.6在個性化任務(wù)中平均每個任務(wù)只問了0.4個問題，問得相當(dāng)克制，但它的成功率和平均得分是11款模型中最高的。相比之下，Seed 2.0 Pro平均每個任務(wù)問了將近1個問題，問得比Claude多一倍，但最終成績卻不如Claude。兩款Qwen模型問的問題數(shù)量差不多，但Qwen3.5-122B-A10B的得分明顯高于另一款，兩款模型都需要超過36步才能完成任務(wù)，效率相當(dāng)?shù)拖隆?/p>

這個發(fā)現(xiàn)指向一個更深的道理：問問題只是手段，真正關(guān)鍵的是能不能把用戶的回答轉(zhuǎn)化為正確的后續(xù)行動。就像一個偵探，光會提問是不夠的，還要能從回答中提煉出有價值的線索，并據(jù)此做出正確判斷。AI助手的瓶頸不在于它問不問，而在于它問了之后能不能真正"聽進(jìn)去"、"用起來"。

八、記憶方式也是一門學(xué)問——日志怎么用，結(jié)果差很多

研究團(tuán)隊還測試了一個很實際的問題：AI助手以不同方式"記住"用戶歷史行為，對最終表現(xiàn)有什么影響？

他們設(shè)計了兩種記憶方式——"全部歷史"（把所有行為日志都喂給AI）和"檢索式歷史"（只給AI看與當(dāng)前任務(wù)最相關(guān)的幾條記錄）。同時，日志還分為"干凈版"（只保留與用戶偏好相關(guān)的記錄）和"噪聲版"（額外混入了25%的無關(guān)記錄，比如廣告、誤觸操作、騷擾信息等，模擬真實手機(jī)使用的復(fù)雜性）。

不同模型在這四種組合下的表現(xiàn)差異非常有趣。Qwen3-VL-8B在"檢索式干凈日志"下的成功率比"全量干凈日志"高出近7個百分點，說明對它來說，少而精的信息比多而雜的信息更有幫助。而UI-Venus-1.5-8B則相反，全量日志對它更有利，檢索式日志反而可能丟失掉對它有用的內(nèi)容。MAI-UI-8B在所有配置下都表現(xiàn)偏弱，而且在"檢索式噪聲日志"下成績最差，說明嘈雜的檢索信息會嚴(yán)重干擾它的判斷。

這個發(fā)現(xiàn)說明，沒有放之四海而皆準(zhǔn)的"最佳記憶方式"，不同模型有不同的"消化信息"習(xí)慣。未來真正實用的AI助手，需要根據(jù)自身特點找到最合適的個人歷史處理方式。

九、四種用戶，誰最難伺候——用戶角色的影響

研究團(tuán)隊還檢驗了一個有趣的問題：AI助手對不同類型的用戶，理解能力是不是一樣強(qiáng)？結(jié)果表明，確實存在明顯差異。

Claude Sonnet 4.6在四個用戶角色上的平均得分相對穩(wěn)定，波動區(qū)間在71.7%到79.4%之間，相對均衡。而Seed 2.0 Pro的波動就大得多——它在"研究員"角色上的得分高達(dá)71.3%，但在"奶奶"角色上只有48.5%，相差超過20個百分點?？傮w來看，"奶奶"這個角色是平均最難伺候的，而"學(xué)生"角色則在不同模型間產(chǎn)生的得分分布最分散。

這個現(xiàn)象背后有一個合理的解釋：不同類型用戶的行為模式、表達(dá)方式、偏好結(jié)構(gòu)差異很大。一個AI研究員的行為日志充滿了專業(yè)信號，比較容易被AI模型識別和推斷；而一位年長的奶奶的行為模式可能更多樣、更難捉摸，對AI助手的理解能力要求更高。這也說明，真正"懂你"的AI，需要有能力適應(yīng)截然不同的用戶群體，而不只是擅長應(yīng)對某一類人。

十、怎么打分才公平——混合評分系統(tǒng)的設(shè)計

既然測試內(nèi)容這么復(fù)雜，打分方式自然也不能簡單地用對錯來衡量。研究團(tuán)隊設(shè)計了一套"混合評分系統(tǒng)"，把規(guī)則判斷和AI判斷結(jié)合起來。

規(guī)則判斷部分負(fù)責(zé)檢驗客觀事實：收件人對不對？訂單有沒有創(chuàng)建成功？鬧鐘有沒有正確設(shè)置？時間窗口對不對？這類有明確標(biāo)準(zhǔn)的問題，都由程序自動核驗，給出0或1的二元評分。

AI判斷部分則負(fù)責(zé)評估那些"說不清對錯"的主觀維度：用戶偏好有沒有被充分滿足？溝通方式合不合適？在情境上恰當(dāng)不恰當(dāng)？提問的質(zhì)量好不好？這部分由一個專門調(diào)好參數(shù)的"評判AI"來打分，它會參考一套針對每道題定制的評分標(biāo)準(zhǔn)，給出從0到1之間的連續(xù)分?jǐn)?shù)，并附上打分理由。

最終得分是兩部分的加權(quán)平均，權(quán)重根據(jù)每道題的特點動態(tài)調(diào)整——純機(jī)械操作的任務(wù)完全依賴規(guī)則判斷，純主觀表達(dá)的任務(wù)完全依賴AI判斷，大多數(shù)任務(wù)介于兩者之間。

為了驗證這套打分系統(tǒng)的可靠性，研究團(tuán)隊讓四位人類專家對26個任務(wù)軌跡打了分，然后與混合評分系統(tǒng)的結(jié)果進(jìn)行對比。結(jié)果顯示，混合系統(tǒng)的平均誤差只有0.035，遠(yuǎn)低于純規(guī)則系統(tǒng)的0.12，說明加入AI判斷后，打分結(jié)果更接近人類的真實感受。

說到底，KnowU-Bench這項研究揭示的不是某款A(yù)I模型的優(yōu)劣，而是整個AI助手行業(yè)面臨的一道真正的坎——從"會操作"到"真懂你"，中間還有一段相當(dāng)漫長的路要走。

那些在標(biāo)準(zhǔn)測試中大放異彩的頂尖模型，一旦面對"替我想清楚，幫我做對"的真實需求，成功率便快速潰敗。這說明當(dāng)前AI助手的訓(xùn)練方向可能存在偏差：我們花了太多精力讓AI學(xué)會"怎么做"，卻沒有足夠重視讓AI學(xué)會"該為誰做什么、什么時候做、做到什么程度"。

從這項研究的發(fā)現(xiàn)來看，未來真正實用的手機(jī)AI助手，需要在至少三個方向上有所突破。一是更聰明的"長期記憶"——不只是存儲歷史，而是能從混亂的日常行為中提煉出穩(wěn)定的偏好模式。二是更精準(zhǔn)的"缺口識別"——當(dāng)現(xiàn)有信息不足時，能判斷出哪些信息是關(guān)鍵缺口，然后用最少的問題獲取最有價值的補(bǔ)充。三是更成熟的"分寸感"——在主動服務(wù)中知道進(jìn)退，既不過分打擾，也不錯過真正需要幫忙的時機(jī)，被拒絕后能優(yōu)雅收場而不是一意孤行。

這三項能力，歸根結(jié)底考驗的是AI對"人"的理解深度，而不僅僅是對"任務(wù)"的執(zhí)行效率。一個真正貼心的管家，并不是那個最勤快的，而是那個最"有眼力見兒"的。有興趣深入了解這項研究細(xì)節(jié)的讀者，可以通過arXiv編號2604.08455查閱完整論文。

Q&A

Q1：KnowU-Bench測試的三類任務(wù)分別是什么，難度有什么不同？

A：KnowU-Bench包含三類任務(wù)?；A(chǔ)任務(wù)共42道，指令明確，考驗AI能不能按步驟操作手機(jī)App完成具體事項。個性化任務(wù)共86道，指令模糊，AI需要從用戶的歷史行為日志中推斷偏好，或主動提問來補(bǔ)全信息，難度明顯更高。主動服務(wù)任務(wù)共64道，完全沒有明確指令，AI只看到當(dāng)前時間、地點和手機(jī)狀態(tài)，要自己判斷該做什么、要不要先問用戶、被拒絕后怎么辦，是三類任務(wù)中最具挑戰(zhàn)性的。

Q2：KnowU-Bench測試中，為什么AI助手主動問更多問題并不代表表現(xiàn)更好？

A：因為問問題只是手段，關(guān)鍵在于能不能把用戶的回答轉(zhuǎn)化成正確的后續(xù)行動。Claude Sonnet 4.6每個任務(wù)平均只問0.4個問題，但成功率最高；Seed 2.0 Pro問了差不多兩倍的問題，成績卻不如Claude。問題數(shù)量和成功率之間沒有簡單正相關(guān)，真正的瓶頸在于AI能不能把獲取到的偏好信息真正用起來，指導(dǎo)后續(xù)的具體操作。

Q3：KnowU-Bench研究中，AI助手在主動服務(wù)任務(wù)里最常見的失敗方式是什么？

A：最常見的失敗是"不該出手卻出手了"，占主動服務(wù)任務(wù)失敗總數(shù)的60%。AI在沒有任何明確觸發(fā)信號的情況下，自作主張地啟動了某個任務(wù)，用戶根本沒有這個需求。另外20%是"該出手時袖手旁觀"，明明用戶有固定習(xí)慣，AI卻沒識別出觸發(fā)條件，什么都沒做。還有5%是最危險的"用戶拒絕后還繼續(xù)"，這三類問題歸根結(jié)底都屬于"分寸感"失調(diào)。