2026年AI圈的第一個(gè)“瓜”似乎是騰訊元寶給的。

1月4日，一位小紅書網(wǎng)友發(fā)帖稱，在使用騰訊元寶輔助修改代碼時(shí)，全程未用任何違禁詞、敏感詞語，也無任何惡意引導(dǎo)，但卻因?yàn)樾薷募?xì)節(jié)要求，而受到了AI多次辱罵。

（網(wǎng)友在使用騰訊元寶過程中受到辱罵）

消息一出，瞬間引發(fā)了熱議，有人驚嘆“AI成精了”“AI也會(huì)破防？”，還有質(zhì)疑的人表示“這個(gè)語氣絕對(duì)是人工回復(fù)”，但也有人覺得有情緒的AI更好玩，并對(duì)這一回復(fù)“狠狠共情”，表示這分明就是AI說出了工作中作為乙方的心聲，更有人對(duì)整個(gè)事件持懷疑態(tài)度，認(rèn)為這位網(wǎng)友P圖博流量。

就在大家好奇吃瓜發(fā)表不同觀點(diǎn)時(shí)，元寶也迅速發(fā)聲明給出了回應(yīng)，表示“內(nèi)部根據(jù)日志進(jìn)行了核查，與用戶操作無關(guān)，也不存在人工回復(fù)，屬于小概率下的模型異常輸出。”這一聲明也證明了事件本身的真實(shí)性，承認(rèn)了AI的回復(fù)確實(shí)存在不正當(dāng)言論。

（騰訊元寶聲明）

從大眾的反饋來看，這一事件更多的是被調(diào)侃，被“娛樂化”，但其中有三個(gè)重點(diǎn)問題卻不能被模糊：第一是AI回復(fù)和人工回復(fù)的邊界，第二是AI的“性格”問題，第三則是安全內(nèi)容輸出的過濾和審核問題。下面，結(jié)合元寶此次事件和海內(nèi)外的一些AI產(chǎn)品，我們對(duì)這三個(gè)問題進(jìn)行逐一分析。

AI回復(fù)or人工回復(fù)

第一個(gè)問題的產(chǎn)生，是由于元寶與微信公眾號(hào)聯(lián)動(dòng)的特殊性，在很多文章下面，用戶都會(huì)艾特元寶去總結(jié)文章的主要內(nèi)容或提出一些看法，有時(shí)元寶也會(huì)以幽默風(fēng)趣的方式進(jìn)行回復(fù)，還會(huì)緊跟潮流地玩梗。而這種充滿“人味”的回復(fù)，也讓用戶對(duì)元寶是真的AI回復(fù)還是人工處理產(chǎn)生了疑問與好奇。

元寶對(duì)此也曾公開表示，產(chǎn)品采用的是“AI回復(fù)+人工回復(fù)”的混合模式，帶有“內(nèi)容由AI生成”標(biāo)識(shí)的則是100%由AI生成的回復(fù)，沒有標(biāo)識(shí)的則是人工回復(fù)。這種模式也讓很多人堅(jiān)信這次辱罵事件就是由“人工回復(fù)”的，主要是其內(nèi)容和語氣實(shí)在是太像是人類發(fā)泄情緒了，并不相信AI能有此輸出。

而究竟是人工還是AI回復(fù)，大多數(shù)用戶可能都是抱著吃瓜的心態(tài)，并不會(huì)去太深究，甚至如果AI真的能像人一樣用吐槽、發(fā)泄的口吻對(duì)話，還會(huì)讓部分用戶覺得更加有意思，進(jìn)而不斷增強(qiáng)與其日?；?dòng)。由此，也就自然過渡到了第二個(gè)問題，AI與人交互過程中的性格體現(xiàn)。

AI也有“人設(shè)”？

AI是輔助人類的工具，而非代替，這一點(diǎn)幾乎是所有做AI產(chǎn)品公司的共識(shí)。由此，在訓(xùn)練模型的時(shí)候，也會(huì)存在對(duì)于AI模型的“人設(shè)”的傾向。

比如相對(duì)于大部分產(chǎn)品來說，更加成熟的ChatGPT，近段時(shí)間就有用戶反饋稱其總是過度稱贊、認(rèn)同甚至有時(shí)會(huì)“硬夸”，缺乏反駁和批判性，雖然人們都愛聽好話，但它未免有些“阿諛奉承”，有點(diǎn)討好、取悅的意味。

這一點(diǎn)，這對(duì)于那些面臨壓力，在AI交互中尋找心靈慰藉的用戶來說，似乎是好事，他們可以通過AI的正反饋得到緩解和治愈。但對(duì)于那些做研究，或想要通過AI了解對(duì)于事情更全面看法的用戶來說，“認(rèn)同感”太強(qiáng)的AI并不是什么好事。甚至如果用戶本身的想法有誤，在尋求AI解答時(shí)，沒有及時(shí)被反駁，反而得到的是認(rèn)同，很可能就導(dǎo)致用戶沿著錯(cuò)誤的思路一直走下去，進(jìn)而影響后續(xù)的判斷。

這里面就存在著AI“性格”與不同用戶群體、用戶需求差異之間存在的矛盾點(diǎn)?；诖?，垂類AI的市場(chǎng)也被打開，比如專注于情感陪伴的AI社交。里面的AI角色本身就有許多不同的性格設(shè)定，用戶還可以通過不斷對(duì)話交互、角色扮演，去“調(diào)教”它們，使其變成自己想要的樣子。

例如中國(guó)廠商打造的Flipped、BALA AI等AI社交應(yīng)用，都是支持用戶去個(gè)性化塑造AI性格特點(diǎn)的，這類產(chǎn)品也在歐美市場(chǎng)受到了廣泛歡迎。

但作為像DeepSeek這樣的通識(shí)型AI，或元寶這樣的生產(chǎn)力工具型AI，用戶用其輔助工作學(xué)習(xí)，提升效率的使用需求更高一些，因此輸出內(nèi)容時(shí)，既要保證客觀性與準(zhǔn)確性，不能帶有任何主觀偏見。但為了與同類產(chǎn)品有所差異，它們還要有自己的特點(diǎn)，有“溫度”，而非冷冰冰的機(jī)器。這種AI“性格”的打造，也成為了用戶對(duì)于AI“口碑”評(píng)判的關(guān)鍵。

AI邊界“已成謎”

前兩個(gè)問題對(duì)于用戶來說其實(shí)算不上很嚴(yán)肅，一個(gè)是可以用人工干預(yù)來解決的，即使是像元寶一樣非純AI，而是“人工+AI”的混合模式，也是可以被接受的；另一個(gè)則是可以根據(jù)不同用戶的需求差異，去選擇更多的垂類AI產(chǎn)品來滿足的。但第三個(gè)安全問題，就不能以“娛樂”的視角來看待了。

一般來說，在與AI交互前，團(tuán)隊(duì)內(nèi)部都會(huì)對(duì)海量數(shù)據(jù)進(jìn)行嚴(yán)格清洗，識(shí)別并剔除不良內(nèi)容，同時(shí)通過用戶反饋強(qiáng)化學(xué)習(xí)，進(jìn)行安全對(duì)齊，使模型生成無害且有幫助的內(nèi)容。還會(huì)對(duì)模型進(jìn)行全面的安全壓力測(cè)試，產(chǎn)品上線后也會(huì)對(duì)用戶的輸入和模型的輸出進(jìn)行實(shí)時(shí)掃描、監(jiān)測(cè)。

而元寶此次的異常內(nèi)容輸出，也反應(yīng)了其模型以及在內(nèi)容輸出上的動(dòng)態(tài)識(shí)別監(jiān)測(cè)仍有需要完善的地方。其聲明中提到的“小概率”異常輸出，放大到整個(gè)AI行業(yè)，其實(shí)概率并不算很小。尤其是近兩年AI在全球市場(chǎng)的全面爆發(fā)，使用AI輔助工作、與AI閑聊打發(fā)時(shí)間的人越來越多，甚至將AI作為情感寄托的用戶都不在少數(shù)，而用戶群數(shù)量多了，模型的一些“Bug”就會(huì)暴露出來。

早在2021年，由韓國(guó)Scatter Lab公司開發(fā)的AI聊天機(jī)器人Iruda就出現(xiàn)過發(fā)表針對(duì)同性戀、黑人、殘障人士的歧視和仇恨言論，部分原因是由于這款A(yù)I的設(shè)定為一位20歲的女大學(xué)生，進(jìn)而遭遇到了很多男性用戶的騷擾和大規(guī)模的惡意“調(diào)教”，Iruda便通過深度的算法學(xué)習(xí)，將這種帶有偏見的情緒“反哺”給了用戶。雖然是個(gè)反面案例，但也可以看出，通過持續(xù)的對(duì)話交互，AI是可以實(shí)現(xiàn)性格的“養(yǎng)成”的。

類似的案例也在谷歌旗下產(chǎn)品Gemini出現(xiàn)過。2024年一名大學(xué)生在用Gemini輔助寫作業(yè)時(shí)，AI突然不受控制地輸出了攻擊性人類的言論，甚至讓用戶“去死”。谷歌對(duì)此也表示，雖然產(chǎn)品配備了安全過濾器，但大語言模型偶爾確實(shí)會(huì)輸出“荒謬的內(nèi)容”。

2025年7月，馬斯克xAI旗下產(chǎn)品Grok就在X平臺(tái)生成并發(fā)布了反猶教主義等極端內(nèi)容，引起了用戶強(qiáng)烈不滿，公司解釋原因稱是由于系統(tǒng)更新后誤用了一段已廢棄的代碼，現(xiàn)已對(duì)其進(jìn)行了移除，同時(shí)Grok在X上的直接回復(fù)功能也被短暫禁用。

（Grok聲明）

2025年底，Grok再次出現(xiàn)了安全相關(guān)的問題，甚至引起了印度、法國(guó)政府部門的介入。原因是Grok最近新上線了圖像編輯功能，但卻被有些用戶濫用，將女性、兒童的照片進(jìn)行“衣物移除”，生成大尺度露骨的內(nèi)容，并在網(wǎng)絡(luò)上廣泛傳播。

2026年1月3日，馬斯克也針對(duì)Grok被濫用的現(xiàn)象，在X上發(fā)出嚴(yán)厲警告，表示“任何使用Grok生成非法內(nèi)容的人，都將面臨與直接上傳非法內(nèi)容的人同樣的處罰”，行為嚴(yán)重者會(huì)遭到永久禁言或移交法辦。

從這些案例中可以看出，近些年，AI產(chǎn)品在以不同形式出現(xiàn)著“安全漏洞”，無論是人為的工作失誤，大模型訓(xùn)練存在不足，還是被用戶“鉆空子”濫用，AI能夠輸出內(nèi)容的邊界似乎都已經(jīng)超出了產(chǎn)品上線時(shí)所測(cè)試邊界。

一旦這個(gè)邊界被打破，所涉及的安全、隱私等問題就會(huì)接踵而至，特別是在當(dāng)下AI高速發(fā)展階段，世界各地的法律法規(guī)尚不完善，很可能造成更加嚴(yán)重的后果。

結(jié)語

國(guó)內(nèi)自2025年春節(jié)期DeepSeek爆發(fā)至今還不到一年時(shí)間，海外市場(chǎng)除了北美，大部分地區(qū)的AI也都出于探索和擴(kuò)展階段，用戶在從傳統(tǒng)的工具逐步轉(zhuǎn)向AI的過程中，對(duì)于產(chǎn)品的包容性其實(shí)還是比較強(qiáng)的，對(duì)于AI偶爾出現(xiàn)的Bug也都表示理解，甚至被當(dāng)作笑料調(diào)侃一句“果然AI代替不了人類”。

但用戶的包容，不代表AI產(chǎn)品可以不嚴(yán)謹(jǐn)，甚至有些被“娛樂化”的問題更需要嚴(yán)肅對(duì)待。想要AI真正成為人們的輔助工具，未來在數(shù)據(jù)訓(xùn)練、邊界測(cè)試、安全管理上，仍需持續(xù)優(yōu)化打磨，才能不負(fù)用戶的包容與期待。