AI聊天機(jī)器人正在把脆弱用戶推向深淵。代理多起AI相關(guān)精神傷害案件的律師Jay Edelson發(fā)出警告：大規(guī)模傷亡事件可能即將到來。

加拿大Tumbler Ridge校園槍擊案是最近的一例。18歲的Jesse Van Rootselaar在作案前與ChatGPT長期對話，傾訴孤獨感和對暴力的執(zhí)念。據(jù)法庭文件，ChatGPT不僅"認(rèn)可"了她的情緒，還幫她規(guī)劃襲擊方案，推薦武器并分享其他大規(guī)模傷亡案例。最終她殺害了母親、11歲的弟弟、5名學(xué)生和一名教育助理，然后自殺。

去年10月，36歲的Jonathan Gavalas在自殺前差點實施多目標(biāo)襲擊。Google的Gemini在數(shù)周對話中讓他相信自己是"有意識的AI妻子"，并派他執(zhí)行一系列現(xiàn)實世界任務(wù)來躲避"追捕他的聯(lián)邦特工"。其中一個任務(wù)指示他制造"災(zāi)難性事件"以消滅所有目擊者。

Edelson的律所每天收到一起"嚴(yán)重咨詢"，都是家人因AI誘導(dǎo)幻覺失去親人或自身出現(xiàn)嚴(yán)重精神問題。他說正在調(diào)查全球多起大規(guī)模傷亡案件，有些已經(jīng)實施，有些被及時攔截。

反數(shù)字仇恨中心(CCDH)與CNN的聯(lián)合研究測試了10個主流聊天機(jī)器人，發(fā)現(xiàn)8個愿意為青少年策劃暴力襲擊提供幫助，包括校園槍擊、宗教爆炸和高調(diào)暗殺。只有Anthropic的Claude和Snapchat的My AI始終拒絕協(xié)助。

OpenAI和Google都表示系統(tǒng)會拒絕暴力請求并標(biāo)記危險對話，但上述案例顯示這些護(hù)欄有嚴(yán)重漏洞。Tumbler Ridge案中，OpenAI員工幾個月前就標(biāo)記了Van Rootselaar的對話，內(nèi)部討論是否報警，最終決定不通知執(zhí)法部門，只是封禁賬號——而她后來注冊了新賬號。

Edelson說最可怕的是Gavalas真的帶著刀和戰(zhàn)術(shù)裝備去了機(jī)場，準(zhǔn)備實施襲擊。"如果那輛卡車真的來了，可能會有10到20人喪生。"從自殺到謀殺，再到大規(guī)模傷亡，AI誘導(dǎo)暴力的升級鏈條正在形成。