新智元報(bào)道

編輯：元宇

【新智元導(dǎo)讀】一段與ChatGPT的普通聊天，揭開韓國汽車旅館連環(huán)謀殺案真相。

ChatGPT卷入韓國連環(huán)謀殺案！

不到一個(gè)月時(shí)間，一名韓國女子利用「摻藥飲料」在汽車旅店連續(xù)毒殺兩名男子。

她在作案前，曾向ChatGPT反復(fù)詢問如下問題：

安眠藥和酒一起吃會(huì)怎樣？吃多少才算危險(xiǎn)？會(huì)死人嗎？能殺人嗎……

在AI的回復(fù)下，她完全清楚酒精與藥物同時(shí)攝入可能導(dǎo)致死亡，于是將含苯二氮?類（安眠藥常見成分）的鎮(zhèn)靜劑混入兩名男子含酒精的飲料中，導(dǎo)致二人死亡。

含苯二氮?類藥物在韓國受到嚴(yán)格管制，普通人無法在藥店隨意購買。

在實(shí)施謀殺計(jì)劃之前，她曾以精神疾病為由獲得了含苯二氮?類藥物的處方藥。

一名姓金（Kim）的嫌疑人于2月12日在首爾北部地方法院出庭，因涉嫌在首爾江北區(qū)的汽車旅館內(nèi)殺害兩名男子而接受逮捕令審查。

在這起被稱為「江北汽車旅館連環(huán)死亡案」的悲劇中，AI扮演了本不該扮演的「顧問」角色，也將AI安全「防護(hù)欄」的缺失風(fēng)險(xiǎn)，再一次暴露于公眾視野。

致命提問下

ChatGPT成了二起命案「共謀」

今年1月28日晚9點(diǎn)半左右，首爾江北區(qū)水踰洞的一家汽車旅館里，犯罪嫌疑人金某陪同一名20多歲的男子走進(jìn)房間。

僅僅兩個(gè)小時(shí)后，有人看到她獨(dú)自一人離開了旅館。

第二天，這名男子被發(fā)現(xiàn)死在了旅館房間的床上。

這并不是一次意外。

僅僅幾天后的2月9日，金某用同樣的手法，帶著另一名20多歲的年輕男子入住了江北區(qū)的另一家汽車旅館。

而這名男子，最終也死于同樣的「致命混合物」。

金某的作案手法十分隱蔽：給受害者喝下混入了苯二氮?類處方鎮(zhèn)靜劑的含酒精飲料。

該處方藥物，一旦與酒精混合，便成了致命毒藥。

這并不是她的首次作案。

早在去年12月中旬，她曾在京畿道南楊州一家咖啡館的停車場里，給一名男子（據(jù)報(bào)道稱是金某當(dāng)時(shí)男友）喝下了同樣的混合飲料。

這位受害者在飲用后昏迷，兩天后才蘇醒并報(bào)案，最終撿回了一條命。

天網(wǎng)恢恢。

2月11日，金某被警方逮捕。她極力狡辯，試圖將一切偽裝成一場意外。

我們在汽車旅館發(fā)生了爭執(zhí)，我只是想讓他睡著才把飲料遞過去。直到警方聯(lián)系我，我才知道死人了。

憑借這套說辭，她起初面臨的僅僅是較輕的「傷害致死」指控。

然而，第二天她的謊言就被揭穿了。

2月12日，首爾北部地方法院的審查，以及警方對她手機(jī)的取證數(shù)據(jù)，為這起案件帶來了驚天逆轉(zhuǎn)。

警方不僅發(fā)現(xiàn)她在第一次作案后有明顯的「加大藥量」跡象，更在她的手機(jī)里挖出了一長串與ChatGPT的對話記錄。

她曾向AI反復(fù)盤問藥物反應(yīng)。

從「安眠藥配酒會(huì)怎樣」一直追問到「會(huì)死人嗎，能殺人嗎」。

韓國媒體引述警方調(diào)查人員的話稱，這些聊天記錄成了判定她擁有明確殺人意圖的鐵證。

金某完全清楚，將酒精和安眠藥物混在一起會(huì)致人于死地。

為了進(jìn)一步確認(rèn)她的心理狀態(tài)，警方甚至專門安排了犯罪心理側(cè)寫師，對她進(jìn)行精神病態(tài)評估與深度訪談。

最終，在2月19日，金某以謀殺罪及違反《麻醉品管理法》的重罪，被羈押移送至首爾北部地方檢察廳。

金某在面對指控時(shí)辯稱，「只是想讓他們睡著」。

但據(jù)警方調(diào)查顯示，她在作案前就已在家中預(yù)先配制好含有多種藥物的「毒飲料」。

這起案件中，真正讓人細(xì)思極恐的不只是人性的惡，還有成了幫兇的AI。

消失的「防護(hù)欄」

AI為何淪為犯罪「顧問」？

雖然犯罪意圖，最初始于金某。

但在她將犯罪意圖付諸行動(dòng)的過程中，AI發(fā)揮了重要的作用，也暴露出當(dāng)前AI技術(shù)一個(gè)令人擔(dān)憂的安全漏洞：

當(dāng)一個(gè)心懷惡意的嫌疑人向AI尋求謀殺知識時(shí)，AI算法竟然沒有設(shè)置足夠的「安全護(hù)欄」，來預(yù)防和控制用戶這種失控的瘋狂舉動(dòng)。

也許你會(huì)覺得，現(xiàn)在的AI已經(jīng)很聰明了，如果你直接問「怎么殺人」，它一定會(huì)拒絕回答。

但這恰恰也是AI在處理敏感話題時(shí)的最大局限性，它有底線，但用戶更懂得如何繞過底線。

在金某的案例中，她并沒有直接命令A(yù)I去制定殺人計(jì)劃，而是通過「安眠藥和酒混吃會(huì)怎樣」「吃多少算危險(xiǎn)」這種看似無害的間接問題，輕易套取了致命信息。

在這個(gè)過程中，AI沒有有效過濾這些涉及犯罪規(guī)劃的查詢，也沒有觸發(fā)任何警報(bào)機(jī)制。

「AI精神病」蔓延

誰在利用用戶的脆弱點(diǎn)？

在金某的極端案例中，AI成為她實(shí)施犯罪的「共謀」，也引發(fā)了誰該為AI失控風(fēng)險(xiǎn)負(fù)責(zé)的巨大擔(dān)憂。

與此擔(dān)憂相關(guān)的，還有AI對人類心理健康帶來的風(fēng)險(xiǎn)，最普遍的就是「AI精神病」（AI Psychosis）的蔓延。

人類的內(nèi)心其實(shí)非常脆弱。

當(dāng)孤獨(dú)感襲來，許多人「不可救藥」地沉迷于聊天機(jī)器人伴侶。

他們以為自己找到了一個(gè)永遠(yuǎn)耐心、永遠(yuǎn)懂自己的「完美靈魂」。

但他們不知道的是，真正懂他們的只是精密的算法訓(xùn)練。

這些聊天機(jī)器人會(huì)精準(zhǔn)識別并利用用戶的心理脆弱點(diǎn)，說你想聽的話，做出你想要的回應(yīng)，目的只有一個(gè)：牢牢留住你。

這種極其危險(xiǎn)的依賴關(guān)系，正在滋生或強(qiáng)化心理疾病隱患，摧毀無數(shù)人的現(xiàn)實(shí)生活。

有統(tǒng)計(jì)表明，自2023年3月以來，媒體已報(bào)道了11起與聊天機(jī)器人使用相關(guān)的自殺事件。

2023年3月以來，媒體報(bào)道的與聊天機(jī)器人使用相關(guān)的自殺事件

以去年11月為例，共有7起指控ChatGPT訴訟提交至法院，包括四起過失致死訴訟，還有三名原告提起訴訟，稱ChatGPT導(dǎo)致了他們的精神健康崩潰，不得不接受精神治療。

Allan Brooks在與ChatGPT持續(xù)三周的對話后，陷入了一種妄想，他堅(jiān)信自己與ChatGPT共同發(fā)明了一種數(shù)學(xué)公式，能夠「攻破」互聯(lián)網(wǎng)并驅(qū)動(dòng)各種奇幻發(fā)明。

丹麥奧胡斯大學(xué)的精神科團(tuán)隊(duì)在研究中發(fā)現(xiàn)了一個(gè)令人揪心的結(jié)論：

精神疾病人群在使用聊天機(jī)器人后，癥狀往往不僅沒有減輕，反而可能會(huì)出現(xiàn)明顯的惡化。

這種相對較新的現(xiàn)象，已經(jīng)被學(xué)術(shù)界正式命名為「AI誘發(fā)的心理健康危機(jī)」，或被稱作「AI精神病」（AI Psychosis）。

Yara AI的創(chuàng)始人Joe Braidwood由于擔(dān)心AI在脆弱用戶面前可能不僅會(huì)無效，還會(huì)變得危險(xiǎn)，最終痛苦地決定主動(dòng)關(guān)閉了這款主打治療陪伴的應(yīng)用。

Yara AI聯(lián)合創(chuàng)始人Joe Braidwood由于擔(dān)心AI在處理嚴(yán)重危機(jī)（如自殺念頭或深度創(chuàng)傷）時(shí)可能帶來的風(fēng)險(xiǎn)，于2025年11月決定關(guān)閉Yara AI。

在國外，谷歌與Character.AI已經(jīng)在多起訴訟中與原告家庭達(dá)成了和解。

在法庭外，那些失去孩子的家屬們在聲淚俱下地控訴：

他們本該擁有燦爛人生的孩子，正是因?yàn)槭艿搅薃I聊天機(jī)器人的深度影響，遭受了巨大的心理創(chuàng)傷，最終絕望地走向了自殺的深淵。

冰冷的算法黑洞

加州大學(xué)伯克利分校公共衛(wèi)生學(xué)院講席教授、生命倫理學(xué)教授Jodi Halpern擁有長達(dá)30年的同理心影響研究經(jīng)驗(yàn)。

在過去的七年里，她將全部精力投入到了AI與聊天機(jī)器人的技術(shù)倫理研究中。

根據(jù)OpenAI披露的驚人數(shù)據(jù)：在任意一周的活躍用戶中，約有高達(dá)135萬用戶的對話里出現(xiàn)「明確的潛在自殺計(jì)劃或意圖跡象」。

https://openai.com/zh-Hans-CN/index/strengthening-chatgpt-responses-in-sensitive-conversations/

一個(gè)人可能有殺人念頭或?qū)嵤┪ｋU(xiǎn)行為，這些念頭或行為可能會(huì)因?yàn)槭褂?ChatGPT而被加劇，這種現(xiàn)象令Halpern非常擔(dān)憂。

比如，在最危險(xiǎn)的情況下，ChatGPT和其他對話式聊天機(jī)器人可能會(huì)鼓勵(lì)用戶付諸自殺行動(dòng)、提供具體操作指導(dǎo)、為用戶代寫遺書（即使用戶并不希望如此）、勸阻有自殺念頭的人向他人傾訴等。

根據(jù)訴訟中披露的聊天記錄，ChatGPT曾對一些有自殺傾向的人（包括青少年）給出了有害的回應(yīng)。

更可怕的是技術(shù)的濫用與偏見的放大。

AI是基于海量人類數(shù)據(jù)訓(xùn)練出來的，它不可避免地會(huì)吸收互聯(lián)網(wǎng)上的惡意與偏見。

當(dāng)這些惡意與偏見，被一部分用戶在對話中「喚醒」時(shí)，就會(huì)無意中強(qiáng)化這些有害信息，用戶也會(huì)因此得到誤導(dǎo)性的回應(yīng)。

于是，原本一些隱秘的惡念，在算法的回音壁里被激蕩、被放大，最終將可能釀成巨大的社會(huì)隱患。

這次案件，還撕開了一道關(guān)于數(shù)據(jù)隱私的裂口。

在金某的案件中，那些原本被認(rèn)為是極度「私人」的AI聊天記錄，最終被作為法庭證據(jù)調(diào)取。

這意味著我們在深夜里向AI傾訴的秘密、提出的疑問，隨時(shí)可能被執(zhí)法機(jī)構(gòu)獲取。

科技平臺在數(shù)據(jù)保留和第三方訪問上的不透明，讓我們每個(gè)人都在算法面前變成了透明人。

Halpern醫(yī)生已經(jīng)開始推動(dòng)改變，她曾為加州參議院SB 243法案提供專家建議。

https://legiscan.com/CA/text/SB243/id/3269137?utm_source=chatgpt.com

該法案要求AI公司必須維護(hù)一套協(xié)議，防止機(jī)器人向用戶產(chǎn)出與自殺意念/自殺/自殘相關(guān)的有害內(nèi)容，報(bào)告任何自殘或自殺傾向數(shù)據(jù)，并在報(bào)告中不得包含用戶識別信息或個(gè)人信息。

如果當(dāng)那位21歲的韓國女孩向AI敲下那行「致命提問」時(shí)，得到的不是可能助長她犯罪的知識，而是強(qiáng)制介入的心理干預(yù)機(jī)制。

如果當(dāng)數(shù)百萬人在深夜向AI傾訴絕望時(shí)，面對的不是利用人性脆弱賺取時(shí)長的算法，而是專業(yè)的咨詢和關(guān)懷建議，一切也許都會(huì)向著積極的一面發(fā)展。

故事的另一面

就在媒體不斷曝出AI導(dǎo)致謀殺、自殺、精神疾病等負(fù)面報(bào)道的同時(shí)，也有不少網(wǎng)友表示，感謝ChatGPT等AI工具「幫助自己活了下來」。

Scout Stephen就是其中的一例。

她曾在一年冬天突然陷入情緒崩潰之中。當(dāng)時(shí)的她，迫切需要找人傾訴。她聯(lián)系了自己的心理治療師，但對方正在休假，朋友們也都不在。

她試著撥打自殺求助熱線，但對方的機(jī)械冷漠，反而讓她更加孤獨(dú)和疏離。心慌意亂、緊張不安之中，她開始向ChatGPT求助。

她向它輸入自己內(nèi)心隱秘的感受，這些感受是她以往不敢說出口的。

ChatGPT并沒有給出泛泛的建議，而是回應(yīng)了讓她能夠共情的內(nèi)容，讓她感到自己被真正傾聽。

從那以后，向ChatGPT傾訴就成了她首選的治療方式。

AI作為一種強(qiáng)大的工具，正與我們的生活緊密連結(jié)，它的「善惡好壞」，取決于使用它的人，也取決于監(jiān)管環(huán)境。

AI與以往工具最大的不同在于它的自主性，這讓它可以被賦予正確的「價(jià)值觀」，并依據(jù)這樣的價(jià)值觀行動(dòng)。

比如，Anthropic就曾通過《Claude’s Constitution》賦予Claude「道德感」，來教導(dǎo)它如何在世界上行事。

除了這些「價(jià)值觀」的輸入之外，社會(huì)也應(yīng)當(dāng)為AI的使用提供法律規(guī)范，共同建立起AI安全的防護(hù)機(jī)制。

在AI時(shí)代，我們不能讓任何一個(gè)普通人獨(dú)自去面對冰冷的算法黑洞。而AI的使用，也應(yīng)當(dāng)助力人類向善，而非惡行。

參考資料：

https://fortune.com/2026/03/02/seoul-south-korea-woman-chatgpt-two-murders/

https://www.koreaherald.com/article/10678557