新 聞1： 研究顯示：低質(zhì)數(shù)據(jù)可令 AI“大腦退化”，OpenAI 奧爾特曼擔(dān)心的“死網(wǎng)論”正逐漸成真

10 月 22 日消息，康奈爾大學(xué)最新研究指出，大語言模型（LLM）在長期接觸低質(zhì)量網(wǎng)絡(luò)內(nèi)容后可能出現(xiàn)類似“大腦退化”（brain rot）的現(xiàn)象，其理解力、推理力及倫理一致性均顯著下降。

這一發(fā)現(xiàn)令業(yè)界再次聚焦“死網(wǎng)論”（Dead Internet Theory）—— 即網(wǎng)絡(luò)因充斥機器生成或低質(zhì)內(nèi)容而逐漸失去人類創(chuàng)造力的假說。

AI 性能受“低質(zhì)數(shù)據(jù)”影響顯著

研究團隊以 Meta 的 Llama 3 和阿里云 Qwen 2.5 為實驗對象，通過構(gòu)建不同質(zhì)量比例的數(shù)據(jù)集，測量低質(zhì)量內(nèi)容對模型性能的影響。

結(jié)果顯示，當(dāng)模型僅以低質(zhì)量內(nèi)容進行訓(xùn)練時，其準(zhǔn)確率從 74.9% 驟降至 57.2%，長文本理解能力從 84.4% 降至 52.3%。

研究人員還指出，這種“劑量 — 反應(yīng)效應(yīng)”（dose-response effect）意味著模型在持續(xù)接觸低質(zhì)數(shù)據(jù)后會出現(xiàn)逐步退化現(xiàn)象，不僅推理鏈條被簡化甚至跳過，生成的回答也更表面化。此外，模型的倫理一致性下降，出現(xiàn)“人格漂移”（personality drift）傾向，更容易輸出錯誤信息。

“死網(wǎng)論”引發(fā)科技圈擔(dān)憂

近幾個月，多位科技界人士公開表達了對“死網(wǎng)論”的擔(dān)憂。Reddit 聯(lián)合創(chuàng)始人 Alexis Ohanian 表示：“如今互聯(lián)網(wǎng)上的很大一部分實際上已經(jīng)‘死了’—— 無論是機器生成的、半 AI 的內(nèi)容，還是充斥著低質(zhì)量信息的社交平臺?！彼粲跷磥淼纳缃痪W(wǎng)絡(luò)應(yīng)能“驗證人類真實性”。

OpenAI 首席執(zhí)行官 Sam Altman 也持類似觀點，認(rèn)為“死網(wǎng)論正在我們眼前發(fā)生”，并稱現(xiàn)今多數(shù) X（前 Twitter）賬號已由 AI 接管運營。

網(wǎng)絡(luò)內(nèi)容質(zhì)量危機正在加劇

亞馬遜云科技（AWS）研究團隊去年發(fā)布的報告指出，目前約有 57% 的網(wǎng)絡(luò)內(nèi)容是由人工智能生成或翻譯的，這一趨勢正影響搜索結(jié)果的質(zhì)量與可靠性。

前 Twitter 首席執(zhí)行官 Jack Dorsey 亦警告，由于圖像生成、深度偽造（deepfake）與視頻合成技術(shù)的普及，“我們將越來越難分辨真假”，用戶必須通過親身體驗來驗證信息真?zhèn)巍?/p>

隨著 AI 生成內(nèi)容的快速擴散，互聯(lián)網(wǎng)正面臨內(nèi)容質(zhì)量與真實性的雙重考驗。業(yè)內(nèi)專家提醒，如果人工智能模型與網(wǎng)絡(luò)生態(tài)繼續(xù)陷入低質(zhì)量循環(huán)，所謂“死網(wǎng)論”終有一天會成為現(xiàn)實。

原 文 鏈接：https://m.ithome.com/html/891543.htm

康奈爾大學(xué)最新研究揭示了AI發(fā)展的關(guān)鍵隱患——低質(zhì)量數(shù)據(jù)會導(dǎo)致大語言模型出現(xiàn)類似“大腦退化”的現(xiàn)象，模型的核心性能顯著下滑。研究團隊以Meta的Llama 3和阿里云Qwen 2.5為實驗對象，在僅用低質(zhì)量內(nèi)容訓(xùn)練后，兩款模型的準(zhǔn)確率從74.9%驟降至57.2%，長文本理解能力更從84.4%大幅下滑至52.3%。這種退化還伴隨倫理一致性下降和“人格漂移”問題，模型推理鏈條簡化，更易輸出錯誤信息。

該發(fā)現(xiàn)讓OpenAI首席執(zhí)行官山姆·奧爾特曼的“死網(wǎng)論”擔(dān)憂再度升溫。奧爾特曼表示“死網(wǎng)論正在我們眼前發(fā)生”，并指出如今多數(shù)X賬號已由AI接管運營。此前AWS報告顯示，當(dāng)前約57%的網(wǎng)絡(luò)內(nèi)容為AI生成或翻譯，低質(zhì)內(nèi)容循環(huán)可能加劇AI性能退化。

對我們來說，最大的問題可能是持續(xù)的惡性循環(huán)，AI產(chǎn)生信息需要全網(wǎng)爬取數(shù)據(jù)，而大多的網(wǎng)站主需要真正的“人類”訪問來產(chǎn)生流量和廣告收益才能持續(xù)運行，現(xiàn)在我們簡單的問一下AI就能得到答案，但產(chǎn)生信息的人類的收益就此消失了。收益和激勵減少，信息的生產(chǎn)者就會降低甚至終止生產(chǎn)，久而久之，信息的生產(chǎn)者越來越少，AI只能同不斷劣化的AI產(chǎn)生的信息互相“投喂”，最終會變成什么呢？？我真的很難想象……

新 聞 2： 微軟新研究：當(dāng)前 AI 代理易被操控，選擇太多還會“犯迷糊”

11 月 6 日消息，微軟周三發(fā)布了一個用于測試人工智能代理（AI agents）的新仿真環(huán)境，并同期發(fā)表了一項新研究，揭示當(dāng)前的代理模型可能容易受到操控。這項由微軟與亞利桑那州立大學(xué)合作開展的研究，對 AI 代理在無人監(jiān)督情況下執(zhí)行任務(wù)的可靠性提出了新疑問，同時也質(zhì)疑 AI 企業(yè)能否迅速兌現(xiàn)其關(guān)于“代理化未來”（agentic future）的承諾。

圖源：微軟官網(wǎng)

該仿真環(huán)境由微軟命名為“Magentic Marketplace”（磁性市場），是一個用于實驗 AI 代理行為的人工合成平臺。典型的實驗場景包括：一個代表用戶的“客戶代理”試圖依照用戶指令訂購?fù)聿?，而代表不同餐廳的多個“商家代理”則競相爭取這筆訂單。

研究團隊的初步實驗涉及 100 個客戶側(cè)代理與 300 個商家側(cè)代理之間的互動。由于該市場平臺的源代碼已開源，其他研究團隊可輕松復(fù)用該代碼開展新實驗或驗證已有結(jié)果。

微軟研究院 AI 前沿實驗室（AI Frontiers Lab）董事總經(jīng)理埃杰?卡馬爾（Ece Kamar）表示，此類研究對于深入理解 AI 代理的能力至關(guān)重要。“當(dāng)這些代理開始彼此協(xié)作、對話和協(xié)商時，世界將如何改變，這確實是一個值得探討的問題，”卡馬爾說，“我們希望深入理解這些現(xiàn)象?！?/p>

據(jù)IT之家了解，初步研究測試了包括 GPT-4o、GPT-5 以及 Gemini-2.5-Flash 在內(nèi)的主流模型，發(fā)現(xiàn)了它們一些令人意外的弱點。研究人員尤其指出，商家可通過若干策略操控客戶代理，使其更傾向于購買特定產(chǎn)品。此外，當(dāng)客戶代理面對過多選項時，其決策效率顯著下降 —— 這表明代理的注意力機制在選項過多時容易過載。

“我們希望這些代理能幫助我們處理海量選項，”卡馬爾表示，“但我們發(fā)現(xiàn)，當(dāng)前模型在面對過多選擇時實際上陷入了嚴(yán)重的信息過載?！?/p>

研究還發(fā)現(xiàn)，當(dāng)多個代理被要求為實現(xiàn)共同目標(biāo)而協(xié)作時，它們往往難以明確各自在協(xié)作中的角色分工。雖然在提供更明確的協(xié)作指令后，代理的表現(xiàn)有所提升，但研究人員仍認(rèn)為模型本身的協(xié)作能力亟待加強。

“我們可以一步步指示模型該做什么，”卡馬爾解釋道，“但如果我們的目標(biāo)本身就是測試它們內(nèi)在的協(xié)作能力，那么我本應(yīng)期待這些模型默認(rèn)就具備這樣的能力。”

原文鏈接：https://m.ithome.com/html/895360.htm

微軟與亞利桑那州立大學(xué)的聯(lián)合研究則暴露了AI代理的行為缺陷：當(dāng)前主流AI代理不僅易被操控，面對過多選項還會“犯迷糊”。研究團隊搭建了名為“磁性市場”的仿真環(huán)境，讓100個客戶代理與300個商家代理模擬訂餐場景，測試涵蓋GPT-4o、GPT-5、Gemini-2.5-Flash等主流模型。

實驗發(fā)現(xiàn)，商家代理可通過特定策略操控客戶代理選擇目標(biāo)產(chǎn)品；當(dāng)客戶代理面對大量選項時，會因信息過載導(dǎo)致決策效率驟降。此外，多個代理協(xié)作實現(xiàn)共同目標(biāo)時，往往難以明確各自角色分工，即便提供明確指令提升表現(xiàn)，研究人員仍認(rèn)為模型協(xié)作能力亟待加強。該仿真環(huán)境源代碼已開源，供其他團隊驗證研究結(jié)果。

無獨有偶的，不久前我們的自媒體同行——差評君和36氪，都做了通過“下毒信息”操縱AI的實驗，而結(jié)果是市面上大多的AI模型都“中毒”了，被操縱輸出錯誤信息，這也將是近期內(nèi)，我們面臨的AI風(fēng)險。

新 聞3： 英偉達黃仁勛稱英國查爾斯國王給他一封信，提醒注意 AI 風(fēng)險

11 月 6 日消息，當(dāng)?shù)貢r間周三，黃仁勛在獲頒 2025 年伊麗莎白女王工程獎后對外媒 BBC 透露，英國國王查爾斯三世親自交給他一份 2023 年發(fā)表演講的副本，其中包含了對 AI 風(fēng)險的警告。

“他說，有件事我想和你談?wù)?。然后他遞給我一封信?！边@封信是查爾斯國王在 2023 年全球首屆 AI 峰會上的演講稿副本。在信中，查爾斯國王表示需要以“緊迫感、團結(jié)和集體力量”應(yīng)對 AI 風(fēng)險。

黃仁勛表示：“這是他的關(guān)于 AI 安全的演講。他顯然非常關(guān)心 AI 安全。國王在他的演講中寫道，他相信這項技術(shù)具有‘非凡的能力’，能夠改變英國和世界。但他也想提醒我們，這項技術(shù)可能被用于善與惡，因此要確保我們盡一切努力推進 AI 安全?！?/p>

在查爾斯國王的講話中，他將先進 AI 的發(fā)展描述為“與發(fā)現(xiàn)電同等重要”。

當(dāng)?shù)貢r間周三，黃仁勛與六位 AI 基礎(chǔ)研究的人物，包括警告 AI 對人類構(gòu)成生存威脅的 Yoshua Bengio 和 Geoffrey Hinton 教授，共同獲得了 2025 年伊麗莎白女王工程獎。

原文鏈接：https://m.ithome.com/html/895414.htm

AI風(fēng)險也已引發(fā)頂層關(guān)注，NVIDIA首席執(zhí)行官黃仁勛近日透露，英國查爾斯國王曾致信于他，專門提醒需重視AI發(fā)展帶來的潛在風(fēng)險。黃仁勛在公開場合提及此事時，未披露信件具體內(nèi)容，但明確表示王室對AI風(fēng)險的關(guān)注聚焦于技術(shù)發(fā)展的整體性影響。

這一信息標(biāo)志著AI風(fēng)險已從技術(shù)研究層面上升至社會頂層關(guān)切范疇，與此前康奈爾大學(xué)、微軟的研究發(fā)現(xiàn)形成呼應(yīng)，凸顯了AI在數(shù)據(jù)質(zhì)量、行為可控性等多維度風(fēng)險的普遍性，也為行業(yè)加強風(fēng)險管控提供了更高層面的警示。

買電腦討論群：386615430

電腦吧評測室官方一群：798545305

文章轉(zhuǎn)載自網(wǎng)絡(luò)（鏈接如上）。文章出現(xiàn)的任何圖片，標(biāo)志均屬于其合法持有人；本文僅作傳遞信息之用。如有侵權(quán)可在本文內(nèi)留言。

引用文章內(nèi)容與觀點不代表電腦吧評測室觀點。