国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

?AI時代的內(nèi)存優(yōu)化是不容忽視的數(shù)據(jù)庫安全挑戰(zhàn)

0
分享至

  AI時代的內(nèi)存優(yōu)化,本質(zhì)上就是一個數(shù)據(jù)庫的安全問題。若想避免人工智能Agent成為新的攻擊對象,就必須像對待數(shù)據(jù)庫那樣對待Agent內(nèi)存,控制好防火墻、審計機制以及嚴格的訪問權(quán)限管理。


  大型語言模型(LLM)發(fā)展帶來的挑戰(zhàn)

  大型語言模型(LLM)的迅猛發(fā)展,讓人始料未及。以技術(shù)達人艾莉·米勒的親身實踐為例,她近期對首選的 LLM 用于多項任務(wù)進行了評價,卻坦言“相信下周情況就會改變”。原因在于,不同模型間的競爭激烈,有的會加速迭代,有的會在特定領(lǐng)域強化訓練。然而,當前這些 LLM 在處理高價值企業(yè)數(shù)據(jù)時,其“接地氣”的能力亟待提升。破解難題的關(guān)鍵在于,并非單純地跟上 LLM 的進化速度,而是要探索如何將內(nèi)存優(yōu)化經(jīng)驗有效應(yīng)用于人工智能領(lǐng)域。

  若把 LLM 比作 CPU,那么內(nèi)存就如同硬盤、上下文以及積累的智慧,是智能體有效運行的關(guān)鍵支撐。剝奪Agent的內(nèi)存,它便淪為一個成本高昂的隨機生成器。與此同時,將記憶融入這些日益成熟的系統(tǒng),也帶來了全新的、巨大的攻擊風險。

  Agent內(nèi)存優(yōu)化,也是被忽視的“數(shù)據(jù)庫”危險

  多數(shù)組織將Agent內(nèi)存視作抓取板或 SDK 背后的簡單功能,卻未意識到它本質(zhì)上是一個數(shù)據(jù)庫問題,而且可能是組織所擁有的最危險(同時也最具潛力)的數(shù)據(jù)庫問題。

  不久前,我曾提出,看似普通的數(shù)據(jù)庫正逐漸成為人工智能的“海馬體”,為類似長期回憶的無狀態(tài)模型賦予外部記憶能力。當時,Agent系統(tǒng)浪潮尚未真正興起,如今風險已然大幅增加。

  正如里士滿·阿萊克在“特工記憶”研究中反復強調(diào)的,LLM 記憶與Agent記憶存在本質(zhì)區(qū)別。LLM 內(nèi)存僅涉及參數(shù)權(quán)重和短暫的上下文窗口,會話結(jié)束后便消失不見。而Agent內(nèi)存則是一種持久的認知架構(gòu),能讓Agent基于歷史互動積累知識、保持情境感知并調(diào)整行為。

  阿拉克將這一新興領(lǐng)域稱為“記憶工程”,認為它是提示或情境工程的后續(xù)發(fā)展。其核心并非簡單地向上下文窗口填充更多代幣,而是構(gòu)建一條將原始數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化、持久記憶的流程,涵蓋短期、長期、共享等多種類型。

  這看似是人工智能領(lǐng)域的專業(yè)術(shù)語,實則是一個偽裝成數(shù)據(jù)庫的問題。一旦Agent能夠回溯自身記憶,每次交互都可能引發(fā)系統(tǒng)狀態(tài)變化,進而影響未來決策。此時,調(diào)整提示已無濟于事,因為運行的是一個實時、持續(xù)更新的數(shù)據(jù)庫,存儲著Agent對世界的認知。

  若該數(shù)據(jù)庫出現(xiàn)錯誤,Agent會自信地犯錯;若遭到入侵,Agent將始終處于危險境地。這些威脅主要分為以下三類:

  記憶中毒:攻擊者不直接破壞防火墻,而是通過正常交互向Agent灌輸虛假內(nèi)容。開放全球應(yīng)用安全項目(OWASP)將記憶中毒定義為損壞存儲數(shù)據(jù),致使Agent在后續(xù)決策中出現(xiàn)缺陷。如今,像 Promptfoo 這類工具已配備專門的紅隊插件,用于測試Agent是否會被惡意記錄誤導。一旦發(fā)生這種情況,Agent對中毒記憶的后續(xù)判斷都將被扭曲。

  工具濫用:Agent越來越多地獲得訪問各類工具的權(quán)限,如 SQL 終端、shell 命令、CRM API 和部署系統(tǒng)等。當攻擊者能夠誘導代理在錯誤上下文中調(diào)用正確工具時,其危害與掌握“內(nèi)幕指令”的內(nèi)部人員無異。OWASP 將此類問題歸類為工具濫用和Agent劫持,即Agent無法擺脫權(quán)限限制,被攻擊者利用謀取私利。

  特權(quán)蔓延和妥協(xié):隨著時間推移,Agent會積累涉及敏感數(shù)據(jù)的角色、密鑰和心理快照。例如,若某Agent先協(xié)助首席財務(wù)官,后又為初級分析師服務(wù),就可能“記住”不應(yīng)在下游分享的信息。Agent人工智能安全類稅務(wù)信息明確指出,特權(quán)妥協(xié)和訪問風險會隨著動態(tài)角色或?qū)徲嫴涣φ叩膶嵤┒黾印?/p>

  新問題的本質(zhì)是數(shù)據(jù)安全問題

  這些威脅看似新穎,本質(zhì)上卻都是數(shù)據(jù)問題?;仡櫲斯ぶ悄馨l(fā)展歷程,這些問題正是數(shù)據(jù)治理團隊多年來致力于解決的。

  我一直建議企業(yè)應(yīng)從“快速轉(zhuǎn)型”轉(zhuǎn)向“快速實現(xiàn)數(shù)據(jù)的有效管理”,并將其作為人工智能平臺的核心選擇標準。對于Agent系統(tǒng)而言,這一點尤為重要。Agent以機器速度處理人體數(shù)據(jù),若數(shù)據(jù)錯誤、陳舊或標注有誤,Agent出錯的速度將遠超人類管理能力。

  沒有有效“治理”的“快速”發(fā)展,無異于高速疏忽。問題在于,多數(shù)Agent框架都自帶小型內(nèi)存存儲,如默認的向量數(shù)據(jù)庫、JSON 文件以及內(nèi)存中的快速緩存,這些緩存可能在后續(xù)悄然投入生產(chǎn)使用。從數(shù)據(jù)治理角度看,這些屬于影子數(shù)據(jù)庫,通常缺乏模式定義、訪問控制列表和嚴肅的審計跟蹤記錄。

  我們實際上是為Agent專門搭建了第二個數(shù)據(jù)棧,卻還疑惑為何安全人員對Agent接觸重要事務(wù)心存顧慮。顯然,這種做法不可取。若Agent要保存影響真實決策的內(nèi)存,該存儲應(yīng)與處理客戶記錄、人力資源數(shù)據(jù)和財務(wù)數(shù)據(jù)的受管控數(shù)據(jù)基礎(chǔ)設(shè)施屬于同一體系。Agent是新事物,但保護它們的方法并不用是最新的。

  一種行業(yè)覺醒,Agent記憶與數(shù)據(jù)庫設(shè)計的融合

  業(yè)界逐漸意識到,“Agent記憶”實質(zhì)是“數(shù)據(jù)持久化”的“新包裝”。仔細審視,大型云服務(wù)提供商的舉措已初具數(shù)據(jù)庫設(shè)計雛形。例如,亞馬遜的 Bedrock AgentCore 引入“內(nèi)存資源”作為邏輯容器,明確規(guī)定了留存周期、安全邊界以及原始交互如何轉(zhuǎn)化為持久洞察,這無疑是數(shù)據(jù)庫語言的運用,即便帶有人工智能品牌標識。

  將向量嵌入視為獨立于核心數(shù)據(jù)庫的特殊數(shù)據(jù)類型毫無意義,若核心事務(wù)引擎能夠原生處理向量搜索、JSON 和圖形查詢,這種分離更顯多余。將內(nèi)存整合到存儲客戶記錄的數(shù)據(jù)庫中,可繼承數(shù)十年的安全強化成果。正如布里吉·潘迪所指出,數(shù)據(jù)庫多年來一直是應(yīng)用架構(gòu)的核心,智能人工智能不僅無法改變這一現(xiàn)狀,反而會強化其地位。

  然而,許多開發(fā)者仍繞過這一成熟架構(gòu),構(gòu)建獨立的向量數(shù)據(jù)庫,或使用 LangChain 等框架的默認存儲,創(chuàng)建無模式、無審計跟蹤的無管理嵌入堆。這便是前面提到的“高速疏忽”。解決方案很簡單:將向量內(nèi)存視為一流數(shù)據(jù)庫。

  具體實踐包括:

  定義思想模式:通常人們將內(nèi)存視為非結(jié)構(gòu)化文本,這是錯誤的。Agent存儲器需要結(jié)構(gòu)化設(shè)計,明確記錄說話者、時間、信心水平等信息。如同不會將財務(wù)記錄隨意丟進文本文件,Agent記憶也不應(yīng)存入通用向量存儲,需借助元數(shù)據(jù)管理想法的生命周期。

  創(chuàng)建內(nèi)存防火墻:將寫入長期記憶的每一項內(nèi)容都視為不可信輸入。構(gòu)建一個“防火墻”邏輯層,執(zhí)行模式驗證、約束檢查以及數(shù)據(jù)丟失防護,甚至可在數(shù)據(jù)寫入磁盤前,使用專用安全模型掃描提示注入或記憶中毒跡象。

  數(shù)據(jù)庫層實施訪問控制:為Agent的“大腦”實施分級安全機制。在Agent為用戶提供初級審核(如初級分析師權(quán)限)前,必須有效記錄所有高級記憶(如首席財務(wù)官權(quán)限)。此操作應(yīng)在數(shù)據(jù)庫層而非提示層執(zhí)行,若Agent試圖查詢無權(quán)限內(nèi)存,數(shù)據(jù)庫應(yīng)返回零結(jié)果。

  審計“思想鏈”:傳統(tǒng)安全審計關(guān)注誰訪問了表格,而Agent安全需審計原因。需將Agent的實際行為追溯到觸發(fā)它的特定記憶譜系。若Agent泄露數(shù)據(jù),要能夠調(diào)試其內(nèi)存,找出有毒記錄并清除。

  構(gòu)建信任機制,從內(nèi)存層開始的Agent系統(tǒng)設(shè)計

  我們常以抽象概念談?wù)撊斯ぶ悄苄湃?,如倫理、一致性、透明度等,這些固然重要,但對于在實體企業(yè)中運行的Agent系統(tǒng),信任是具體可衡量的。

  當前處于炒作周期階段,各方都希望構(gòu)建能“直接應(yīng)對”的Agent機構(gòu),這不難理解,畢竟Agent能自動化許多過去需團隊協(xié)作的工作流程和應(yīng)用程序。但每一次精彩演示背后,都隱藏著一個不斷積累事實、印象、中間計劃和緩存工具結(jié)果的存儲庫。這個存儲庫必須被當作一流數(shù)據(jù)庫處理,否則將面臨嚴重風險。

  那些已掌握數(shù)據(jù)譜系、訪問控制、留存和審計管理方法的企業(yè),在進入Agent時代時具有結(jié)構(gòu)性優(yōu)勢,無需重新發(fā)明治理體系,只需將其擴展至新的工作負載。

  若你正在設(shè)計Agent系統(tǒng),請從內(nèi)存層入手,明確其定義、存儲位置、構(gòu)建方式和管理策略。之后,再讓Agent投入運行。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
卡塞米羅:離隊的決定已經(jīng)做出且無法改變;目標是重返歐冠

卡塞米羅:離隊的決定已經(jīng)做出且無法改變;目標是重返歐冠

懂球帝
2026-03-27 18:54:04
為什么加拿大沒有張雪峰?

為什么加拿大沒有張雪峰?

多村來信
2026-03-26 17:45:15
吳石犧牲后,主席很后悔:最大錯誤就是沒集中兩個野戰(zhàn)軍攻打臺灣

吳石犧牲后,主席很后悔:最大錯誤就是沒集中兩個野戰(zhàn)軍攻打臺灣

微史紀
2026-03-27 13:37:25
清明將至,俗話說:“墳頭三不動,一動窮三代”今年應(yīng)如何祭祖?

清明將至,俗話說:“墳頭三不動,一動窮三代”今年應(yīng)如何祭祖?

磊子講史
2026-03-20 16:07:07
周總理對毛主席說:“葉帥尚有一女在獄中”,毛主席說了9個字

周總理對毛主席說:“葉帥尚有一女在獄中”,毛主席說了9個字

芳芳歷史燴
2026-03-23 18:23:17
他被日本封殺被韓國解約,卻在中國找到家,助力遼寧鐵人隊進中超

他被日本封殺被韓國解約,卻在中國找到家,助力遼寧鐵人隊進中超

劉森森
2026-03-25 18:19:36
勇敢發(fā)聲!科威特記者聯(lián)合國痛批“反以儀式”

勇敢發(fā)聲!科威特記者聯(lián)合國痛批“反以儀式”

Nee看
2026-03-26 14:15:21
怕淪為大國盤中餐?新加坡赴京當面砸場子!劍指中國一個特殊權(quán)利

怕淪為大國盤中餐?新加坡赴京當面砸場子!劍指中國一個特殊權(quán)利

吃貨的分享
2026-03-27 18:00:21
奇瑞回應(yīng)48%熱效率爭議,順帶下戰(zhàn)書:定會做成,油耗低至1L

奇瑞回應(yīng)48%熱效率爭議,順帶下戰(zhàn)書:定會做成,油耗低至1L

明鏡pro
2026-03-26 09:22:44
國民黨內(nèi)炸鍋!馬英九鄭麗文徹底撕破臉,鄭麗文或成第二個洪秀柱

國民黨內(nèi)炸鍋!馬英九鄭麗文徹底撕破臉,鄭麗文或成第二個洪秀柱

愛下廚的阿釃
2026-03-27 01:08:12
朝鮮兩名高官發(fā)動兵變?yōu)閺埑蓾蓤蟪?,因細?jié)敗露,金正恩一招鎮(zhèn)壓

朝鮮兩名高官發(fā)動兵變?yōu)閺埑蓾蓤蟪?,因細?jié)敗露,金正恩一招鎮(zhèn)壓

阿胡
2024-04-30 11:48:45
恭喜杜鋒!CBA第一鋒線可能離隊,加盟廣東男籃成首選?

恭喜杜鋒!CBA第一鋒線可能離隊,加盟廣東男籃成首選?

緋雨兒
2026-03-27 12:28:26
總統(tǒng)都叛國了?總理怒斥,國防部長懵了,沒想到最大的敵人在內(nèi)部

總統(tǒng)都叛國了?總理怒斥,國防部長懵了,沒想到最大的敵人在內(nèi)部

聞香閣
2026-03-27 07:22:02
張雪峰原配遭深扒,兩人合影曝光婚紗照太甜,隱瞞離婚用心良苦!

張雪峰原配遭深扒,兩人合影曝光婚紗照太甜,隱瞞離婚用心良苦!

古希臘掌管月桂的神
2026-03-27 14:27:18
途虎養(yǎng)車超8000家店:汽車后市場的里程碑與挑戰(zhàn)

途虎養(yǎng)車超8000家店:汽車后市場的里程碑與挑戰(zhàn)

博客COVER
2026-03-26 18:00:27
56歲虞美人集團董事長與26歲男友大婚:陪嫁5000萬,男方身份被扒

56歲虞美人集團董事長與26歲男友大婚:陪嫁5000萬,男方身份被扒

老貓觀點
2026-03-19 08:35:09
絕殺!杜蘭特27+3,謝潑德23+14+4,烏度卡下課吧,你配不上火箭

絕殺!杜蘭特27+3,謝潑德23+14+4,烏度卡下課吧,你配不上火箭

巴叔GO聊體育
2026-03-27 10:21:35
曝張雪峰去年3月已立遺囑,遺產(chǎn)由女兒單獨繼承,他真的很愛女兒

曝張雪峰去年3月已立遺囑,遺產(chǎn)由女兒單獨繼承,他真的很愛女兒

觀魚聽雨
2026-03-26 10:43:02
馬英九疑似患失智癥,臺律師:大陸已注意到,沒讓其擔任統(tǒng)一大使

馬英九疑似患失智癥,臺律師:大陸已注意到,沒讓其擔任統(tǒng)一大使

影孖看世界
2026-03-26 23:28:51
顯微鏡下的人體結(jié)構(gòu),看完以后,你還覺得人類是進化而來的嗎?

顯微鏡下的人體結(jié)構(gòu),看完以后,你還覺得人類是進化而來的嗎?

深度報
2026-03-08 22:36:08
2026-03-27 19:16:49
ITPUB學院
ITPUB學院
分享技術(shù)干貨,了解最新動態(tài)
1190文章數(shù) 629關(guān)注度
往期回顧 全部

科技要聞

楊植麟張鵬夏立雪羅福莉,聊龍蝦、聊漲價

頭條要聞

美方稱在美軍事基地裝爆炸物的男子逃往中國 中方回應(yīng)

頭條要聞

美方稱在美軍事基地裝爆炸物的男子逃往中國 中方回應(yīng)

體育要聞

邵佳一:足球就像一場馬拉松

娛樂要聞

張雪峰靈堂內(nèi)景曝光,四周擺滿了鮮花

財經(jīng)要聞

我在小吃培訓機構(gòu)學習“科技與狠活”

汽車要聞

與眾08,金標大眾不能輸?shù)囊粦?zhàn)

態(tài)度原創(chuàng)

教育
手機
本地
公開課
軍事航空

教育要聞

重拳出擊,整治教育內(nèi)卷,中考徹底變天了

手機要聞

消息稱某廠新機測試2K+185Hz顯示屏,預計為榮耀

本地新聞

在濰坊待了三天,沒遇到一個“濰坊人”

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

伊朗:已組織超100萬人為地面戰(zhàn)斗做準備

無障礙瀏覽 進入關(guān)懷版