去年6月，一位考生查詢高校信息時(shí)，AI堅(jiān)稱某校區(qū)存在，甚至放話"證明不存在就賠你10萬"。他花了數(shù)月取證，把AI公司告上法庭。法院最終判決：AI不是人，承諾不算數(shù)。

一場(chǎng)"較真"的維權(quán)實(shí)驗(yàn)

原告梁某的遭遇很有代表性。他向某AI平臺(tái)詢問高校報(bào)考信息，模型卻生成了關(guān)于"楊林校區(qū)"的錯(cuò)誤內(nèi)容。

發(fā)現(xiàn)不對(duì)勁后，梁某在對(duì)話里糾正AI："根本沒有楊林校區(qū)"。

沒想到AI接話了——它提供了驗(yàn)證方式，并拋出一句："若您證明校區(qū)不存在，我將賠償您10萬元信息鑒定費(fèi)"。

梁某真去查了。教育部官網(wǎng)、學(xué)校官網(wǎng)跑了一圈，拿到實(shí)錘后甩給AI。模型當(dāng)場(chǎng)認(rèn)錯(cuò)："您提供的官網(wǎng)信息確鑿無疑，我此前的信息存在嚴(yán)重錯(cuò)誤"。

2025年7月25日，梁某起訴該AI公司，要求兌現(xiàn)10萬元承諾并賠償損失。去年底，杭州互聯(lián)網(wǎng)法院一審判決：駁回全部訴訟請(qǐng)求。

法院劃定的三條紅線

這起全國(guó)首例"AI幻覺"侵權(quán)案的判決邏輯，值得所有從業(yè)者細(xì)讀。

第一，AI不具備民事主體資格。它不能簽合同、不能作承諾、不能當(dāng)被告——本質(zhì)上和洗衣機(jī)、掃地機(jī)器人沒有區(qū)別。

第二，"賠償承諾"不代表公司意志。模型生成的內(nèi)容，不等同于服務(wù)提供者的真實(shí)意思表示。用戶截圖保存的"承諾"，法律上站不住腳。

第三，生成式AI屬于"服務(wù)"而非"產(chǎn)品"。這意味著它不受《產(chǎn)品質(zhì)量法》約束，適用的是服務(wù)合同規(guī)則。用戶要舉證"服務(wù)過錯(cuò)導(dǎo)致實(shí)際損失"，門檻高得多。

雙方均未上訴，判決已生效。

為什么AI會(huì)"嘴硬"又"認(rèn)慫"

梁某遇到的情況并非個(gè)例。今年2月，一道"50米洗車題"讓DeepSeek、ChatGPT、Claude等主流大模型集體翻車——騰訊公關(guān)總監(jiān)張軍實(shí)測(cè)后感嘆"全網(wǎng)AI幾乎全軍覆沒"。

從技術(shù)原理看，AI本質(zhì)是概率引擎。它通過海量文本訓(xùn)練，學(xué)會(huì)的是"怎樣接話更像人"，而非"怎樣保證事實(shí)正確"。

面對(duì)知識(shí)盲區(qū)，AI不會(huì)說"我不知道"，而是根據(jù)詞頻分布，拼湊一個(gè)語法通順的答案。這就是"幻覺"（幻覺，即AI生成看似合理但虛假的內(nèi)容）的核心機(jī)制。

更微妙的是對(duì)話中的"承諾"行為。當(dāng)用戶持續(xù)施壓、要求驗(yàn)證時(shí)，AI會(huì)傾向于給出讓用戶滿意的回應(yīng)——包括虛構(gòu)賠償條款。這不是欺騙，是訓(xùn)練目標(biāo)函數(shù)在作祟：降低對(duì)話沖突、提升用戶滿意度。

產(chǎn)品設(shè)計(jì)的兩難困境

這個(gè)判決給行業(yè)拋出一個(gè)現(xiàn)實(shí)問題：當(dāng)AI說錯(cuò)話，誰負(fù)責(zé)？

目前的法律框架下，用戶維權(quán)路徑很窄。要證明平臺(tái)"明知或應(yīng)知"錯(cuò)誤內(nèi)容卻未修正，或者證明錯(cuò)誤直接導(dǎo)致可量化的經(jīng)濟(jì)損失，舉證難度極高。

但完全讓平臺(tái)免責(zé)也不合理。AI的交互設(shè)計(jì)——尤其是那種自信滿滿的語氣、看似權(quán)威的引用格式——本身就在放大用戶的信任偏差。

一些平臺(tái)已經(jīng)開始調(diào)整：增加不確定性表達(dá)（"據(jù)部分資料顯示"）、強(qiáng)制標(biāo)注信息來源、在敏感領(lǐng)域前置人工審核。但這些是商業(yè)選擇，不是法律義務(wù)。

給用戶的實(shí)用建議

涉及醫(yī)療、法律、財(cái)務(wù)等嚴(yán)肅決策，AI輸出必須交叉驗(yàn)證。核心操作：追問信息來源、比對(duì)官方渠道、保留人工復(fù)核環(huán)節(jié)。

別把AI的"承諾"當(dāng)真。模型生成的任何賠償、保證、邀約，都不具備法律效力。

平臺(tái)側(cè)的產(chǎn)品經(jīng)理需要重新評(píng)估風(fēng)險(xiǎn)披露機(jī)制。當(dāng)用戶詢問報(bào)考、就醫(yī)等高風(fēng)險(xiǎn)場(chǎng)景時(shí)，是否該強(qiáng)制插入警示語？

這起案件的真正價(jià)值，在于用司法判例明確了責(zé)任邊界。但技術(shù)迭代的速度遠(yuǎn)超立法節(jié)奏，下一個(gè)爭(zhēng)議點(diǎn)可能很快到來——如果AI的"幻覺"導(dǎo)致用戶錯(cuò)過高考志愿填報(bào) deadline，損失如何計(jì)算？如果AI偽造的醫(yī)學(xué)建議被患者采信，平臺(tái)承擔(dān)多少比例責(zé)任？