• 緊急警告：AI反饋循環(huán)正在瓦解我們對現(xiàn)實的感知。再見了，互聯(lián)網(wǎng)！

作者：ToxSec2025年11月24日

緊急警告：AI反饋循環(huán)正在破壞我們對現(xiàn)實的感知。

簡而言之：上次我講了社交層面的噩夢：個性化回音室正在摧毀共識現(xiàn)實。這次來說說它不可逆轉(zhuǎn)的技術原因：用AI生成的內(nèi)容訓練的AI就像是復制品的復制品。質(zhì)量不斷下降，直到真相變得面目全非。

• “復印效應” 已經(jīng)出現(xiàn)

你早覺得互聯(lián)網(wǎng)不對勁了，這點我們之前說過?，F(xiàn)在說說它在結(jié)構(gòu)層面崩塌的原因。

AI是在人類紛繁復雜、精彩紛呈的互聯(lián)網(wǎng)環(huán)境中訓練出來的。如今，這些AI正向網(wǎng)絡傾瀉數(shù)十億條合成文章、評論和帖子。更糟糕的是，下一代AI將基于這些被污染的數(shù)據(jù)進行訓練。

這是個惡性循環(huán)。

接下來發(fā)生的事情有一個專業(yè)術語：模型崩潰。

想象一下，這就好比復印一份復印件再復印一份。第一版清晰銳利，第二版也還不錯。到了第十版呢？就變得模糊不清、扭曲變形，幾乎看不出原圖的模樣了。

這種情況現(xiàn)在正在我們的互聯(lián)網(wǎng)上發(fā)生。當AI不再從真實人類經(jīng)驗學習，而是從其他AI生成的內(nèi)容里學，真相就會被 “其他AI說法的平均值” 取代。獨特的視角消失了，細微差別也隨之消亡。最終剩下的只是一堆聽起來權(quán)威卻毫無意義的千篇一律的同質(zhì)化信息。

過度自信是最危險的 “漏洞”

這才是最可怕的地方。

AI是“預測引擎”，而不是“真相引擎”。它的核心工作就是生成統(tǒng)計上最有可能出現(xiàn)的下一個詞，這使得它即使完全錯誤，也能聽起來信心十足。

這就形成了一個虛假信息的洗白過程：

1.AI在一篇博客文章中自信地拋出一個虛假 “事實”。

2.其他AI爬蟲會收錄這篇文章，學到同樣的錯誤。

3.人們看到某個“事實”在多個網(wǎng)站上重復出現(xiàn)，就想當然地認為它是經(jīng)過驗證的。

4.更多AI基于這種“共識”進行訓練，并進一步放大錯誤。

通過純粹的重復，AI產(chǎn)生的幻覺最終變成了人們接受的現(xiàn)實。這其中并無惡意，只是機器在執(zhí)行其預設的任務，卻帶來了災難性的副作用。

問題遠不止事實偏差那么簡單。偏見被無限放大才是真正的噩夢。

AI從人類混亂且充滿偏見的互聯(lián)網(wǎng)中學習，然后以研究論文般的“學術權(quán)威感”，將我們最惡劣的刻板印象呈現(xiàn)給我們。算法沒有 “傷害” 概念，它只是識別訓練數(shù)據(jù)中頻繁出現(xiàn)的模式。

結(jié)果就是，問責機制出現(xiàn)真空。

如果AI撒謊，導致你蒙受經(jīng)濟損失或名譽受損，誰該為此負責？是開發(fā)它的開發(fā)者？部署它的公司？還是發(fā)出指令的用戶？我們被越來越多“看似合理的謊言”包圍，卻找不到明確的責任人，也沒有清晰的追責路徑。

新的生存規(guī)則

當機器大規(guī)模自信撒謊時，該怎么辦？

不要把AI當作專家來對待，而應該把它當作一個過于自信的實習生。

它速度很快，口齒伶俐，但缺乏實際經(jīng)驗。如果你不核實它的工作，它還會一本正經(jīng)地捏造信息來源。

以下是您的新工作流程：

• 讓它 “亮明底牌”

提問時務必加上以下內(nèi)容：“請?zhí)峁┠阏擖c的來源和鏈接?！?/p>

然后逐一核實。點擊鏈接看看，可能一半都是編造的或無關的。

• 質(zhì)疑它的答案

讓它反駁自己：“現(xiàn)在請給我三個理由，說明為什么這個答案是錯誤的。”

這會暴露邏輯漏洞，迫使你進行批判性思考，而不是接受第一個自信的回答。

• 提問要非常具體

不要問：“經(jīng)濟形勢如何？”

要問：“根據(jù)美國經(jīng)濟分析局的數(shù)據(jù)，2024年第三季度美國的季度GDP數(shù)據(jù)是多少？”

提問越具體，AI越難用模糊的套話糊弄你。

能解決“污染”問題嗎？

保持警惕是必要的，但這并不能解決結(jié)構(gòu)性崩潰的問題。

要大規(guī)模地遏制模式崩潰，我們需要系統(tǒng)性的解決方案：

• 數(shù)字水印：給所有合成內(nèi)容打上“AI生成”的標記，雖不完美（壞人會去除），但能增加大規(guī)模欺騙的難度，讓用戶有機會區(qū)分人機內(nèi)容。
• 認證數(shù)據(jù)集：對于高風險領域而言，經(jīng)過認證的數(shù)據(jù)集至關重要。我們需要的是經(jīng)過人工審核和驗證的數(shù)據(jù)集，而不是在混亂的開放網(wǎng)絡上訓練醫(yī)療或科學AI。如果我們打算讓AI做出關乎生死的重要決定，它需要學習的是經(jīng)過驗證的真相，而不是從Reddit上抓取的統(tǒng)計平均值。
• 人機協(xié)作系統(tǒng)：對于關鍵性工作而言，人機協(xié)作系統(tǒng)必不可少。新聞報道、法律分析、醫(yī)療診斷：這些都需要判斷力、倫理道德和背景知識，而算法從根本上缺乏這些。AI應該輔助專家，絕不能取代他們。

底線

模型崩潰不是遙遠的未來，而是正在發(fā)生的事?；ヂ?lián)網(wǎng)正在用自身的數(shù)據(jù)進行訓練，而數(shù)據(jù)質(zhì)量卻在每一代都在下降。

我們正在眼睜睜地看著“真相的技術基礎架構(gòu)”實時崩潰。

常見問題解答

問題一：什么是AI模型崩潰？
答：模型崩潰是指AI使用AI生成的內(nèi)容進行訓練。就像復印件的復印件一樣，模型質(zhì)量會隨著每一代的迭代而下降。模型會遺忘現(xiàn)實世界的細節(jié)，并放大通用模式，從而產(chǎn)生準確性和多樣性都降低的輸出結(jié)果。

問2：如何識別AI生成的內(nèi)容？
答：注意觀察語法是否過于完美、語氣是否平庸、結(jié)構(gòu)是否重復以及是否存在缺乏來源的模糊事實陳述。這類文章通常感覺“空洞”，技術上正確但缺乏人性化的視角。

問3：我應該相信AI生成的內(nèi)容嗎？
答：不應該，必須進行核實。AI擅長頭腦風暴和初稿撰寫，但它會憑空捏造事實，并對此深信不疑。切勿在未交叉核對多個可靠的人工來源之前，輕易相信任何關鍵信息。

問4：用AI做研究的最佳方式是什么？

答：將AI作為起點，用于頭腦風暴生成關鍵詞、概括主題或?qū)ふ覞撛谛畔碓础Ｈ缓?，利用可信的?shù)據(jù)庫、期刊和人工機構(gòu)進行實際研究。務必核實所有信息。

本文編譯自substack，原文作者ToxSec

https://substack.com/@toxsec/p-175913709