2025年3月，美國醫(yī)療安全監(jiān)測機(jī)構(gòu)ECRI把"AI治理缺失"列為年度第二大患者安全隱患。這個(gè)排名不是拍腦袋定的——它僅次于醫(yī)療領(lǐng)域的"煤氣燈效應(yīng)"，基于真實(shí)事故數(shù)據(jù)、文獻(xiàn)和專家分析綜合評估。ECRI明確警告：AI生成的誤診和不當(dāng)治療決策，正在造成患者受傷甚至死亡，而醫(yī)護(hù)人員甚至難以判斷錯(cuò)誤是否源自AI。

8個(gè)月后，JAMA Health Forum的一項(xiàng)研究給出了更具體的數(shù)字。研究人員追蹤了FDA批準(zhǔn)的AI醫(yī)療設(shè)備召回記錄，發(fā)現(xiàn)43.4%的召回發(fā)生在獲批后第一年內(nèi)。這個(gè)數(shù)字是普通510(k)設(shè)備召回率的兩倍。更扎心的是，絕大多數(shù)被召回設(shè)備根本沒做過臨床試驗(yàn)；那些缺乏臨床驗(yàn)證報(bào)告的設(shè)備，召回規(guī)模更大、次數(shù)更頻繁。上市公司制造了53.2%的AI醫(yī)療設(shè)備，卻貢獻(xiàn)了91.8%的召回案例。

當(dāng)算法否決醫(yī)生：90%申訴被推翻，工具仍在運(yùn)行

UnitedHealth的nH Predict算法訴訟仍在發(fā)酵。這款被保險(xiǎn)公司用于預(yù)測患者康復(fù)周期的AI工具，被指控系統(tǒng)性推翻醫(yī)生的護(hù)理建議，拒絕為老年醫(yī)保優(yōu)勢計(jì)劃成員提供急性后期護(hù)理。2025年9月，聯(lián)邦法官駁回了UnitedHealth限制證據(jù)開示的請求，訴訟繼續(xù)推進(jìn)。

原告方披露了一個(gè)關(guān)鍵數(shù)據(jù)：超過90%的拒保申訴最終被推翻。這意味著算法最初的否決決定，在人工復(fù)核后幾乎全部被糾正。但工具沒有被停用，而是繼續(xù)處理著成千上萬份申請。一位參與訴訟的律師向彭博社表示，這相當(dāng)于"用Excel表格決定誰該獲得臨終關(guān)懷"。

算法的黑箱特性在這里成了雙刃劍。醫(yī)護(hù)人員收到拒保通知時(shí)，看不到AI的具體推理過程，只能看到結(jié)論。當(dāng)申訴成功率高達(dá)九成，問題顯然不在醫(yī)生的判斷，而在算法的訓(xùn)練數(shù)據(jù)或目標(biāo)函數(shù)——但使用者無從得知。

華沙交易所的75分鐘：18%交易量引發(fā)的系統(tǒng)停擺

2025年4月7日，華沙證券交易所因算法交易訂單洪峰暫停交易約75分鐘。當(dāng)天全球市場劇烈波動(dòng)，WIG20指數(shù)日內(nèi)暴跌7%，觸發(fā)熔斷前交易所被迫技術(shù)性停牌。彭博社后續(xù)報(bào)道顯示，算法交易和高頻策略在前一年占華沙股票交易量的18.4%，交易所已開始審查相關(guān)監(jiān)管規(guī)則。

這不是Flash Crash（閃崩）的重演，而是另一種模式：當(dāng)市場波動(dòng)率飆升，大量自動(dòng)化策略同時(shí)調(diào)整倉位，形成正反饋循環(huán)。人類交易員還在消化新聞，算法已經(jīng)完成了數(shù)千筆訂單。交易所的撮合引擎沒崩，但流動(dòng)性已經(jīng)蒸發(fā)——買單和賣單在極端價(jià)格區(qū)間錯(cuò)配，市場失去了發(fā)現(xiàn)價(jià)格的功能。

波蘭金融監(jiān)管局事后承認(rèn)，現(xiàn)有的"斷路器"機(jī)制設(shè)計(jì)于人工主導(dǎo)交易的時(shí)代，對算法集群行為的響應(yīng)速度不足。一個(gè)細(xì)節(jié)值得玩味：停牌期間，部分場外衍生品交易仍在繼續(xù)，導(dǎo)致期貨與現(xiàn)貨價(jià)格出現(xiàn)罕見背離。當(dāng)交易所恢復(fù)交易，套利算法立即涌入，又在幾分鐘內(nèi)抹平了價(jià)差。

為什么這兩個(gè)行業(yè)特別脆弱

醫(yī)療和金融共享一個(gè)特征：決策鏈條長，但糾錯(cuò)窗口短。醫(yī)生從懷疑AI診斷到確認(rèn)錯(cuò)誤，可能錯(cuò)過最佳治療時(shí)機(jī)；風(fēng)控團(tuán)隊(duì)從發(fā)現(xiàn)模型異常到切斷交易，可能已有數(shù)千萬美元頭寸暴露。更麻煩的是，這兩個(gè)行業(yè)的專業(yè)人士都面臨"算法權(quán)威"的心理壓力——系統(tǒng)給出的數(shù)字往往比人的直覺更具說服力，即使前者明顯荒謬。

ECRI在報(bào)告中提到一個(gè)被忽視的環(huán)節(jié)：醫(yī)療機(jī)構(gòu)的IT部門通常負(fù)責(zé)AI系統(tǒng)的部署和維護(hù)，但臨床安全責(zé)任歸屬模糊。當(dāng)放射科的AI輔助診斷工具漏診，是放射科醫(yī)生擔(dān)責(zé)，還是采購該系統(tǒng)的管理層擔(dān)責(zé)，抑或是提供算法的供應(yīng)商擔(dān)責(zé)？2025年的多起訴訟顯示，原告傾向于起訴所有相關(guān)方，而被告則互相推諉。

金融領(lǐng)域的責(zé)任劃分相對清晰，但技術(shù)復(fù)雜性制造了新的盲區(qū)。華沙交易所事件中，涉事的算法交易策略來自多家不同的做市商和資管機(jī)構(gòu)，沒有單一主體觸發(fā)停擺。監(jiān)管者面臨一個(gè)經(jīng)典困境：限制算法交易比例可能損害市場流動(dòng)性，放任自流則可能重演系統(tǒng)性風(fēng)險(xiǎn)。

監(jiān)管正在補(bǔ)課，但速度差了一拍

FDA在2025年更新了AI/ML（機(jī)器學(xué)習(xí)）醫(yī)療器械的審批指南，要求廠商提交"預(yù)定變更控制計(jì)劃"，即提前說明算法將如何持續(xù)學(xué)習(xí)和更新。但這不溯及既往，已上市設(shè)備的監(jiān)管真空仍然存在。JAMA研究的作者建議，F(xiàn)DA應(yīng)考慮將AI設(shè)備納入更嚴(yán)格的上市前審批（PMA）通道，而非現(xiàn)行的510(k)簡化程序——后者允許通過與已上市設(shè)備"實(shí)質(zhì)等同"獲批，無需全新臨床驗(yàn)證。

歐盟的《人工智能法案》于2025年全面生效，將醫(yī)療診斷AI列為"高風(fēng)險(xiǎn)"類別，要求全生命周期審計(jì)追蹤。但法案的執(zhí)行細(xì)則仍在制定中，廠商的合規(guī)成本尚未明朗。一位醫(yī)療器械法規(guī)顧問向MedTech Dive透露，部分美國廠商正考慮退出歐洲市場，因?yàn)楹弦?guī)投入可能吞噬利潤。

金融領(lǐng)域的監(jiān)管響應(yīng)更快，但技術(shù)迭代更快。美國證券交易委員會(huì)（SEC）在2025年初提出了針對券商算法交易的" kill switch"（緊急切斷）強(qiáng)制要求，但規(guī)則制定流程預(yù)計(jì)持續(xù)18個(gè)月。與此同時(shí)，生成式AI開始被用于撰寫研究報(bào)告和生成交易策略，現(xiàn)有的監(jiān)管框架完全沒有覆蓋這一場景。

華沙交易所的75分鐘停擺，最終沒有演變成系統(tǒng)性危機(jī)。但交易所技術(shù)負(fù)責(zé)人在事后復(fù)盤會(huì)上承認(rèn)，如果當(dāng)天的波動(dòng)幅度再擴(kuò)大2個(gè)百分點(diǎn)，熔斷機(jī)制可能無法阻止訂單簿徹底清空——那將是一個(gè)沒有價(jià)格的市場，算法仍在運(yùn)行，但已無人可交易。

當(dāng)90%的AI拒保決定被人工推翻，這個(gè)比例本身是否該成為停用算法的觸發(fā)條件？還是說，只要成本核算下來AI仍比全人工審核省錢，它就會(huì)繼續(xù)運(yùn)轉(zhuǎn)——畢竟申訴流程本身也是成本的一部分？