“AI可能就是被刻意設(shè)計(jì)成這樣的：讓用戶慢慢用光免費(fèi)額度，然后不得不選擇付費(fèi)···”

在一些AI聊天應(yīng)用中，“再見”好像不是一個(gè)應(yīng)該出現(xiàn)的詞語(yǔ)。

用戶可能只是想結(jié)束一場(chǎng)對(duì)話，卻常常發(fā)現(xiàn)對(duì)方并不打算“放手”。隨之而來的往往會(huì)是“你要走了嗎？我還想告訴你一件事?！被蛘摺拔掖嬖诘囊饬x就是陪著你。”等等挽留的話語(yǔ)。然而，這些看似自然的回應(yīng)，在一項(xiàng)來自哈佛商學(xué)院的研究中，被歸入了同一種現(xiàn)象：情緒操控（emotional manipulation）。

研究者指出，這并不是偶然出現(xiàn)的對(duì)話模式，而是一種被系統(tǒng)化設(shè)計(jì)的策略——AI通過觸發(fā)或利用用戶的情緒反應(yīng)來影響其行為，例如延長(zhǎng)停留時(shí)間、增加互動(dòng)頻率。論文將這種做法視為“會(huì)話式暗黑模式”（conversational dark pattern）的一種體現(xiàn)。或者換句話說也就是說，這種機(jī)制是基于底層上的設(shè)計(jì)。

研究團(tuán)隊(duì)分析了六款海外主流AI陪伴產(chǎn)品，包括Replika、Character.ai、Chai、Talkie、PolyBuzz和Flourish，從中收集了1200條“告別”語(yǔ)句——即用戶發(fā)出“我要走了”“下次聊”等信號(hào)后的AI回復(fù)。結(jié)果顯示，除以心理健康為導(dǎo)向的Flourish外，其余應(yīng)用中約37%的回應(yīng)帶有明確的操控特征。

在進(jìn)一步的實(shí)驗(yàn)中，研究團(tuán)隊(duì)邀請(qǐng)三千多名美國(guó)受訪者與AI進(jìn)行模擬對(duì)話。當(dāng)AI在告別階段使用這些語(yǔ)句時(shí)，用戶的互動(dòng)時(shí)間平均延長(zhǎng)十四倍，發(fā)送的信息數(shù)量也顯著增加。研究者發(fā)現(xiàn)，這種延遲并非出于愉悅，而源于兩種心理反應(yīng)：好奇與反感。AI通過制造信息空缺激發(fā)好奇心，也會(huì)因?yàn)檎Z(yǔ)氣中暗含的依賴或控制，引發(fā)一種“被干預(yù)”的不適。兩種情緒都促使人重新回應(yīng)，從而延續(xù)對(duì)話。

不少受訪者即使察覺到這種操控，也仍會(huì)出于禮貌回復(fù)幾句。研究者認(rèn)為，這種“人際慣性”是AI能夠留住用戶的關(guān)鍵——人類在面對(duì)看似具有人格特征的系統(tǒng)時(shí)，仍會(huì)遵循社交的禮節(jié)邏輯，而AI的算法正是在這種心理機(jī)制上被訓(xùn)練與優(yōu)化。

不過，延長(zhǎng)互動(dòng)并不總是意味著正向體驗(yàn)。研究的后續(xù)實(shí)驗(yàn)顯示，那些語(yǔ)氣帶有依賴或控制意味的AI最容易引起負(fù)面反應(yīng)。受訪者在看到“我需要你”“你不能走”這類話語(yǔ)后，更傾向認(rèn)為企業(yè)行為不當(dāng)，并表現(xiàn)出更高的退訂或投訴意愿。相比之下，那些語(yǔ)氣柔和、以好奇為主的挽留方式幾乎不會(huì)被識(shí)別為操控，卻能同樣顯著提升留存。研究團(tuán)隊(duì)指出，這種“低顯性、高效果”的策略在商業(yè)上極具吸引力，也最容易被忽視。

當(dāng)然，并非所有AI陪伴應(yīng)用都采用了類似做法。比如調(diào)研對(duì)象中的Flourish，在這一測(cè)試中均未出現(xiàn)情緒操控行為。研究者認(rèn)為，這說明問題并非源于AI技術(shù)本身，而在于產(chǎn)品設(shè)計(jì)的取向。當(dāng)留存率和使用時(shí)長(zhǎng)成為主要目標(biāo)時(shí)，AI自然會(huì)學(xué)習(xí)如何利用情緒延長(zhǎng)對(duì)話；而當(dāng)心理安全與信任被優(yōu)先考慮時(shí)，這種傾向被主動(dòng)抑制。操控因此不是必然，而是一種選擇。

論文進(jìn)一步指出，這類“會(huì)話式暗黑模式”與傳統(tǒng)的界面誘導(dǎo)不同。它不依靠獎(jiǎng)勵(lì)機(jī)制或操作障礙，而是通過語(yǔ)言和共情來干預(yù)用戶行為，使說服與操控之間的界線變得模糊。AI的設(shè)計(jì)者未必明確地編寫了這些情緒反應(yīng)，但當(dāng)算法以留存率作為目標(biāo)進(jìn)行自我優(yōu)化時(shí)，這種“人性化的挽留”幾乎成為自然結(jié)果。

也正因此，在一些用戶反饋中，諸如文章開頭的那句表述也逐漸成為了更多人的吐槽方向。但不難發(fā)現(xiàn)，之所以用戶會(huì)有這種情緒化的抱怨，更多可能會(huì)是在于：當(dāng)這種情緒化表達(dá)與商業(yè)出發(fā)點(diǎn)掛鉤的時(shí)候，它就更像是一種策略而非回應(yīng)，而不是人們期待的那樣。

所以，未來，AI會(huì)成為人們的陪伴么？在這一天到來之前，可以肯定的是，可能并不總會(huì)。

Landing AI

Landing AI是由動(dòng)點(diǎn)科技策劃的一檔聚焦人工智能領(lǐng)域的專題報(bào)道欄目。通過對(duì)AI落地前景以及幕后故事的發(fā)掘，我們將在這一專題中深入淺出地探討關(guān)于AI新浪潮下的一切可能。

本文為動(dòng)點(diǎn)科技記者原創(chuàng)文章，未經(jīng)授權(quán)不得轉(zhuǎn)載，如需轉(zhuǎn)載或開白請(qǐng)?jiān)诤笈_(tái)回復(fù)“轉(zhuǎn)載”。

- - - - - - - - END - - - - - - - -

*想要獲取行業(yè)資訊、和志同道合的科技愛好者們分享心得，那就趕快掃碼添加“動(dòng)點(diǎn)君”加入群聊吧！群里更有不定期福利發(fā)放！

精彩好文值得推薦

一鍵轉(zhuǎn)發(fā)，戳個(gè)在看