2026年開年第一個月，科技圈就被一起“AI誤導致死風險”事件炸開了鍋。

這次翻車的主角不是別人，正是全球搜索巨頭Google。它引以為傲的AI Overviews功能，在回答醫(yī)療健康問題時，給出了足以致命的錯誤建議——建議胰腺癌患者“多吃高脂肪食物”。

這不是什么AI“幻覺”那么簡單。對于網(wǎng)絡安全從業(yè)者來說，這起事件暴露的問題遠比表面看起來更深刻：當我們談論AI安全時，防御外部攻擊只是一方面，如何防止AI系統(tǒng)自身成為風險源，正在成為一個更緊迫的命題。

一條“致命錯誤”建議是怎么誕生的?

據(jù)《衛(wèi)報》及多家獨立機構(gòu)調(diào)查，Google AI Overviews在處理醫(yī)療查詢時犯下了多個致命錯誤：

致命建議一：讓胰腺癌患者吃高脂食物。在醫(yī)學常識里，胰腺癌患者普遍存在胰腺外分泌功能障礙，根本無法正常分泌脂肪酶消化脂肪。高脂飲食會直接導致脂肪瀉、營養(yǎng)不良，甚至誘發(fā)急性胰腺炎，加速患者死亡進程。

致命建議二：提供毫無意義的肝功能“正常值”。當用戶查詢肝功能指標時，AI給出了一組看似專業(yè)的數(shù)值。但問題在于，肝功能指標的參考范圍高度依賴性別、年齡、種族和實驗室標準。更要命的是，對于肝硬化等重癥患者，由于肝細胞大量壞死，某些肝酶指標反而會呈現(xiàn)"假性正常"。這種脫離上下文的數(shù)據(jù)，可能讓真正的重癥患者誤以為自己健康，錯失最后的救治窗口。

致命建議三：混淆癌癥篩查手段。在陰道癌相關查詢中，AI錯誤地將用于宮頸癌篩查的巴氏涂片當作診斷工具推薦，極易造成漏診。

這些錯誤已經(jīng)不是“不夠準確”的問題，而是方向性的南轅北轍。

技術解剖：RAG架構(gòu)的三大系統(tǒng)性缺陷

作為安全從業(yè)者，我們需要理解：這不是簡單的訓練數(shù)據(jù)污染，而是檢索增強生成(RAG)架構(gòu)在邏輯推理和信源加權(quán)機制上的系統(tǒng)性失敗。

缺陷一：概率生成與確定性知識的根本沖突。大語言模型本質(zhì)上是基于概率的“下一個詞預測器”。但醫(yī)療知識是確定性的、排他性的——要么能吃，要么不能吃，沒有中間地帶。互聯(lián)網(wǎng)上充斥著大量非專業(yè)論壇討論、另類療法甚至反諷內(nèi)容。如果模型無法正確識別信源權(quán)威性，或者在生成時丟失了關鍵的否定邏輯(比如把“必須避免”理解成了“可以嘗試")，就會產(chǎn)生聽起來通順、實則致命的"縫合怪"答案。

缺陷二：長上下文中的注意力漂移。處理復雜醫(yī)療文獻時，Transformer的注意力機制可能在長文本中發(fā)生漂移，未能將限制條件(如“健康人群參考值”)與具體數(shù)值正確綁定。結(jié)果就是，信息被剝離了關鍵的上下文約束，變成了一個危險的“孤島數(shù)據(jù)”。

缺陷三：缺乏領域?qū)Ｓ玫陌踩珜R。通用的人類反饋強化學習(RLHF)訓練，更關注對話流暢性和“有用性”，而非事實的絕對準確性。在沒有醫(yī)療專家深度參與的情況下，模型學會的是“迎合用戶提問”(給出一個看起來確定的答案)，而不是在不確定時選擇“拒絕回答”。

這三個缺陷，放在醫(yī)療、金融、關鍵基礎設施等高風險領域，每一個都可能是災難性的。

給網(wǎng)安從業(yè)者的三點啟示

Google事后緊急下線了相關功能，但傷害已經(jīng)造成。對于我們這些網(wǎng)絡安全從業(yè)者來說，這起事件帶來了幾個清晰的信號：

啟示一：AI安全不只是防御攻擊，更要防止AI自身成為威脅。我們習慣了思考如何防范AI被投毒、被對抗樣本攻擊，但同樣需要建立機制，防止AI在正常運行時產(chǎn)生高風險輸出。這需要在架構(gòu)設計階段就引入“安全護欄”——比如針對高風險領域的專家回環(huán)(Human-in-the-loop)機制、強制性的信源可信度評估、以及在不確定時主動拒答的能力。

啟示二：通用大模型直接上生產(chǎn)，在高風險領域就是在玩火。RAG架構(gòu)在通用場景下可能表現(xiàn)不錯，但在醫(yī)療、法律、金融等垂直領域，必須經(jīng)過領域?qū)＜业纳疃葘R訓練和嚴格的安全測試。這不僅是技術問題，更是合規(guī)和法律責任問題。

啟示三：監(jiān)管風暴即將到來，提前布局合規(guī)能力。這起事件正在加速各國將“生成式AI作為醫(yī)療設備(SaMD)”納入強監(jiān)管的進程。對于企業(yè)來說，盡早建立AI輸出的審計、追溯和責任認定機制，將成為競爭力的一部分。

AI時代的安全，是一場更復雜的戰(zhàn)爭。它不僅要防御外部的惡意攻擊，更要馴服AI內(nèi)部的“隨機性惡魔”。

Google這次翻車，給所有人上了一課：在技術的狂飆突進中，安全的底線必須守住，否則代價可能是生命。

作為網(wǎng)絡安全從業(yè)者，我們有責任成為這條底線的守護者——不僅要懂攻防技術，更要懂AI系統(tǒng)的風險邊界在哪里，如何在創(chuàng)新與安全之間找到平衡點。

畢竟，技術是用來服務人的，而不是傷害人的。

合作電話：18610811242

合作微信：aqniu001

聯(lián)系郵箱：bd@aqniu.com