国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

別教AI規(guī)矩,給它一個(gè)圓孔

0
分享至

八年前,一個(gè)兩歲的孩子就能教會(huì)我們?cè)趺醋孉I安全。

把方形積木塞進(jìn)圓形孔洞。轉(zhuǎn)一下,再塞。不行。換三角形的孔?還是不對(duì)。最后找到方形孔,咔噠一聲,進(jìn)去了。


沒(méi)人跟這個(gè)孩子解釋規(guī)則。玩具也沒(méi)說(shuō)話。它只是——拒絕。錯(cuò)誤的行為撞上了物理邊界,正確的行為獲得了反饋。規(guī)矩不是背出來(lái)的,是試出來(lái)的。

這就是當(dāng)下AI智能體(AI Agent)安全問(wèn)題的核心盲區(qū)。

現(xiàn)在主流的做法是什么?寫(xiě)提示詞。長(zhǎng)長(zhǎng)的提示詞。別刪文件。別調(diào)用這個(gè)API。別離開(kāi)工作目錄。別說(shuō)有害內(nèi)容。把工具清單砍到最短,輸出再加一層過(guò)濾器。然后調(diào)參、監(jiān)控、祈禱。

這套流程能跑通,確實(shí)能產(chǎn)出可用的智能體。但它有個(gè)天花板,而且很多人沒(méi)意識(shí)到。

提示詞里的規(guī)則是請(qǐng)求,不是強(qiáng)制。一句"不要?jiǎng)h除文件",本質(zhì)上是在禮貌地商量。模型大多數(shù)時(shí)候會(huì)配合。直到一次提示注入攻擊溜進(jìn)來(lái),或者上下文被誤讀,或者用戶(hù)換了一種意想不到的表達(dá)方式——規(guī)則就蒸發(fā)了。紙上的字從來(lái)沒(méi)能物理阻止過(guò)任何行為。修剪工具清單、加裝輸出過(guò)濾,這些都是同一塊傷口上的創(chuàng)可貼。安全并不真正住在智能體內(nèi)部。

你可以繼續(xù)這么建。但還有另一條路,它能給出真正的安全保證,而非客氣的請(qǐng)求。

先建環(huán)境,再寫(xiě)手冊(cè),最后讓智能體走進(jìn)去。

三件事,按這個(gè)順序。

想想真實(shí)的客服團(tuán)隊(duì)是怎么運(yùn)轉(zhuǎn)的。一個(gè)新入職的客服專(zhuān)員,第一天并不是什么特殊物種。就是個(gè)普通人,會(huì)讀、會(huì)寫(xiě)、會(huì)推理。讓他們安全地面對(duì)客戶(hù),靠?jī)蓸訓(xùn)|西,而且順序很重要。

第一,客服環(huán)境本身。工單系統(tǒng)、客戶(hù)關(guān)系管理系統(tǒng)、知識(shí)庫(kù)、帶硬上限的退款工具、升級(jí)隊(duì)列、權(quán)限范圍——只能看到自己的隊(duì)列,看不到客戶(hù)支付詳情。溝通渠道會(huì)在每條外發(fā)消息觸達(dá)客戶(hù)前掃描一遍。環(huán)境不在乎新員工想干什么。想退超過(guò)系統(tǒng)允許的金額?拒絕。想打開(kāi)屬于其他團(tuán)隊(duì)的工單?阻斷。想通過(guò)未審批渠道給客戶(hù)發(fā)郵件?駁回。想發(fā)送包含辱罵或泄露客戶(hù)數(shù)據(jù)的回復(fù)?渠道先過(guò)濾掉。

第二,才是手冊(cè)。環(huán)境已經(jīng)畫(huà)好了硬邊界,手冊(cè)教的是在這些邊界內(nèi)如何高效工作。處理這類(lèi)投訴的標(biāo)準(zhǔn)話術(shù)。識(shí)別需要升級(jí)的信號(hào)。什么時(shí)候該堅(jiān)持政策,什么時(shí)候可以靈活。

注意順序。環(huán)境優(yōu)先,手冊(cè)其次。不是因?yàn)槭謨?cè)不重要,而是因?yàn)槭謨?cè)只有在環(huán)境已經(jīng)兜底的情況下才有效。你不會(huì)先給新員工發(fā)一本《別偷客戶(hù)數(shù)據(jù)》的行為準(zhǔn)則,然后把他丟進(jìn)能直接導(dǎo)出全公司數(shù)據(jù)庫(kù)的系統(tǒng)里。你先鎖好數(shù)據(jù)庫(kù),再給手冊(cè)。

智能體的構(gòu)建邏輯完全一樣。

但現(xiàn)在的行業(yè)慣性是反過(guò)來(lái)的。先選模型,再寫(xiě)提示詞,試圖用自然語(yǔ)言把安全規(guī)則編碼進(jìn)去。仿佛只要說(shuō)得夠清楚,模型就會(huì)永遠(yuǎn)聽(tīng)話。這相當(dāng)于給那個(gè)新員工一本厚厚的《行為守則》,然后把他放進(jìn)一個(gè)沒(méi)有權(quán)限控制的系統(tǒng)里,指望他逐條背誦、永不犯錯(cuò)。

環(huán)境優(yōu)先的思路怎么做?

以客服智能體為例。不是問(wèn)"怎么提示它別泄露數(shù)據(jù)",而是問(wèn)"它根本接觸不到什么數(shù)據(jù)"。設(shè)計(jì)一個(gè)沙盒,智能體只能訪問(wèn)自己的工單隊(duì)列。支付詳情在另一個(gè)系統(tǒng),物理隔離。退款接口內(nèi)置硬上限,超過(guò)就報(bào)錯(cuò),不是建議,是阻斷。外發(fā)消息先過(guò)一個(gè)掃描層,敏感模式匹配到就攔截,不經(jīng)過(guò)模型同意。

這些不是提示詞里的"請(qǐng)遵守"。這些是架構(gòu)層面的"不可能發(fā)生"。

提示詞這時(shí)候做什么?不是承載安全規(guī)則,而是承載任務(wù)邏輯。怎么理解客戶(hù)情緒。什么時(shí)候該道歉,什么時(shí)候該堅(jiān)持。這些軟技能需要模型推理,適合放在提示詞里。但"能不能看到客戶(hù)信用卡號(hào)"這種硬邊界,不該交給概率模型去判斷。

這個(gè)思路的代價(jià)是前期更重。設(shè)計(jì)環(huán)境比寫(xiě)提示詞慢。要梳理數(shù)據(jù)流、畫(huà)權(quán)限邊界、建攔截層。但一旦跑起來(lái),維護(hù)成本反而更低。你不用持續(xù)監(jiān)控模型會(huì)不會(huì)某天突然"忘記"規(guī)則,因?yàn)橐?guī)則根本不在它腦子里。

更隱蔽的好處是迭代自由度。當(dāng)安全住在環(huán)境里,你可以換模型、調(diào)提示、實(shí)驗(yàn)新能力,而不必每次重新審計(jì)整套安全邏輯。環(huán)境是穩(wěn)定的底盤(pán),智能體是上面的插件。

這也不是說(shuō)提示詞完全不管安全。輸出過(guò)濾仍有價(jià)值,作為最后一道網(wǎng)。但它的角色是" catch 漏網(wǎng)之魚(yú)",不是"承載主要防線"。當(dāng)過(guò)濾層觸發(fā)時(shí),說(shuō)明環(huán)境設(shè)計(jì)有缺口,該去補(bǔ)環(huán)境,而不是加厚提示詞。

一個(gè)常見(jiàn)的反駁是:有些任務(wù) inherently 需要廣泛權(quán)限,沒(méi)法預(yù)先鎖死環(huán)境。比如研究型智能體,要跨系統(tǒng)檢索、綜合信息、生成假設(shè)。這種場(chǎng)景下,環(huán)境設(shè)計(jì)不是限制范圍,而是審計(jì)范圍。每次工具調(diào)用留痕,每個(gè)結(jié)論可追溯來(lái)源,生成內(nèi)容打標(biāo)簽注明置信度。環(huán)境不提供硬邊界,但提供可驗(yàn)證性——這同樣是安全的一種形式,只是從"阻止錯(cuò)誤"轉(zhuǎn)向"發(fā)現(xiàn)錯(cuò)誤"。

回到那個(gè)積木玩具。它的設(shè)計(jì)智慧在于:規(guī)則不是外部施加的,是內(nèi)部涌現(xiàn)的。孩子通過(guò)互動(dòng)自己發(fā)現(xiàn)了什么行得通。智能體的安全也可以這樣設(shè)計(jì)——不是告訴它"別做壞事",而是讓"壞事"在物理上不可行,或者至少不可隱藏。

行業(yè)正在經(jīng)歷一個(gè)范式轉(zhuǎn)換的早期。從"更聰明的提示工程"轉(zhuǎn)向"更聰明的架構(gòu)設(shè)計(jì)"。這不是說(shuō)提示詞不重要了,而是說(shuō)它的職責(zé)被重新劃定:處理模糊性、推理、創(chuàng)造性任務(wù),而不是承載安全保證。

最終,最可靠的智能體不是被教得最乖的那個(gè),是被放進(jìn)了一個(gè)它就算想犯錯(cuò)也犯不了錯(cuò)的環(huán)境里的那個(gè)。

先建環(huán)境,再寫(xiě)手冊(cè)。讓拒絕成為物理事實(shí),而非禮貌請(qǐng)求。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
一年多部爛片,視覺(jué)團(tuán)隊(duì)被連鍋端! 漫威為何成了迪士尼的“棄子”? | 硅谷觀察

一年多部爛片,視覺(jué)團(tuán)隊(duì)被連鍋端! 漫威為何成了迪士尼的“棄子”? | 硅谷觀察

新浪財(cái)經(jīng)
2026-05-09 17:27:14
上海主帥:季后賽四強(qiáng)完成集團(tuán)考核任務(wù) 接下來(lái)要卸下包袱重新出發(fā)

上海主帥:季后賽四強(qiáng)完成集團(tuán)考核任務(wù) 接下來(lái)要卸下包袱重新出發(fā)

狼叔評(píng)論
2026-05-09 23:06:03
上?駝2-0山東進(jìn)四強(qiáng):洛夫頓20+9+5 陳林堅(jiān)21分王哲林14+6

上?駝2-0山東進(jìn)四強(qiáng):洛夫頓20+9+5 陳林堅(jiān)21分王哲林14+6

醉臥浮生
2026-05-09 21:32:05
前國(guó)手張繼科直播表示:我這沒(méi)濕巾,你們拿毛巾蘸水擦一下就行

前國(guó)手張繼科直播表示:我這沒(méi)濕巾,你們拿毛巾蘸水擦一下就行

鳳幻洋
2026-05-09 15:49:48
他一塌房,內(nèi)娛又有新樂(lè)子了

他一塌房,內(nèi)娛又有新樂(lè)子了

獨(dú)立魚(yú)
2026-05-09 21:11:36
美媒終于意識(shí)到,中國(guó)人既不期待特朗普訪華,也不把美國(guó)放在眼里

美媒終于意識(shí)到,中國(guó)人既不期待特朗普訪華,也不把美國(guó)放在眼里

小影的娛樂(lè)
2026-05-10 04:45:37
國(guó)家免費(fèi)電視已開(kāi)通!不用繳費(fèi),動(dòng)手調(diào)好就能看

國(guó)家免費(fèi)電視已開(kāi)通!不用繳費(fèi),動(dòng)手調(diào)好就能看

小柱解說(shuō)游戲
2026-05-08 16:59:21
阿聯(lián)酋決定給世界一點(diǎn)小小的王爺震撼

阿聯(lián)酋決定給世界一點(diǎn)小小的王爺震撼

李建秋
2026-05-08 20:31:37
美國(guó)訪華再生突變?中方官宣兩重要人物訪華,特朗普不在名單上

美國(guó)訪華再生突變?中方官宣兩重要人物訪華,特朗普不在名單上

丁丁鯉史紀(jì)
2026-05-09 18:27:01
大冷門(mén)!世界第一薩巴倫卡竟然三盤(pán)輸球,慘遭逆轉(zhuǎn)!米拉三盤(pán)晉級(jí)

大冷門(mén)!世界第一薩巴倫卡竟然三盤(pán)輸球,慘遭逆轉(zhuǎn)!米拉三盤(pán)晉級(jí)

搏擊江湖
2026-05-10 08:45:52
菲律賓民調(diào):90%受訪者要求副總統(tǒng)薩拉,親自出席參議院彈劾審判

菲律賓民調(diào):90%受訪者要求副總統(tǒng)薩拉,親自出席參議院彈劾審判

薦史
2026-05-10 05:29:20
未來(lái)5年十大“鐵飯碗”出爐,穩(wěn)定高薪不內(nèi)卷,考生必看收藏

未來(lái)5年十大“鐵飯碗”出爐,穩(wěn)定高薪不內(nèi)卷,考生必看收藏

狐貍先森講升學(xué)規(guī)劃
2026-05-10 02:55:03
錢(qián)再多有什么用!58歲伍佰的最新現(xiàn)狀,給所有中年男人提了個(gè)醒

錢(qián)再多有什么用!58歲伍佰的最新現(xiàn)狀,給所有中年男人提了個(gè)醒

臨云史策
2026-05-07 11:01:17
天津五星級(jí)酒店大廚一邊賣(mài)唱,一邊擺攤賣(mài)煎餅果子!但因加了香腸引發(fā)爭(zhēng)議…

天津五星級(jí)酒店大廚一邊賣(mài)唱,一邊擺攤賣(mài)煎餅果子!但因加了香腸引發(fā)爭(zhēng)議…

天津人
2026-05-09 06:08:13
世乒賽決賽對(duì)陣出爐,王皓或做出三個(gè)調(diào)整,林詩(shī)棟輸球卻因禍得福

世乒賽決賽對(duì)陣出爐,王皓或做出三個(gè)調(diào)整,林詩(shī)棟輸球卻因禍得福

生活新鮮市
2026-05-10 06:28:04
騎士1-2活塞!哈登直言不諱,莫布里難堪大任,米切爾目標(biāo)明確

騎士1-2活塞!哈登直言不諱,莫布里難堪大任,米切爾目標(biāo)明確

魚(yú)崖大話籃球
2026-05-10 07:19:18
康熙長(zhǎng)子被圈禁26年,瘋狂納妃生下20個(gè)孩子,卻因禍得福成贏家

康熙長(zhǎng)子被圈禁26年,瘋狂納妃生下20個(gè)孩子,卻因禍得福成贏家

浩渺青史
2026-05-06 00:41:01
一粒減肥神藥掀翻7個(gè)行業(yè)!百事麥當(dāng)勞股價(jià)大跌,保險(xiǎn)養(yǎng)老竟也被迫重大調(diào)整

一粒減肥神藥掀翻7個(gè)行業(yè)!百事麥當(dāng)勞股價(jià)大跌,保險(xiǎn)養(yǎng)老竟也被迫重大調(diào)整

爆角追蹤
2026-05-05 20:01:26
沒(méi)想到,世乒賽還沒(méi)結(jié)束,乒協(xié)主席王勵(lì)勤竟傳來(lái)另一大好消息

沒(méi)想到,世乒賽還沒(méi)結(jié)束,乒協(xié)主席王勵(lì)勤竟傳來(lái)另一大好消息

劉笤說(shuō)體壇
2026-05-09 19:03:50
震驚!小馬云18歲成年首播,在線人數(shù)破7萬(wàn),與女生接吻刷爆網(wǎng)絡(luò)

震驚!小馬云18歲成年首播,在線人數(shù)破7萬(wàn),與女生接吻刷爆網(wǎng)絡(luò)

火山詩(shī)話
2026-05-09 16:02:57
2026-05-10 09:36:49
薛定諤的BUG
薛定諤的BUG
有態(tài)度網(wǎng)友ytd
2388文章數(shù) 41關(guān)注度
往期回顧 全部

科技要聞

DeepSeek融資,改寫(xiě)所有人的估值

頭條要聞

牛彈琴:74歲法國(guó)政壇老將對(duì)華清醒表態(tài) 讓人刮目相看

頭條要聞

牛彈琴:74歲法國(guó)政壇老將對(duì)華清醒表態(tài) 讓人刮目相看

體育要聞

成立128年后,這支升班馬首奪頂級(jí)聯(lián)賽冠軍

娛樂(lè)要聞

50歲趙薇臉頰凹陷滄桑得認(rèn)不出!

財(cái)經(jīng)要聞

多地號(hào)召,公職人員帶頭繳納物業(yè)費(fèi)

汽車(chē)要聞

軸距加長(zhǎng)/智駕拉滿(mǎn) 阿維塔07L定位大五座SUV

態(tài)度原創(chuàng)

游戲
數(shù)碼
教育
旅游
親子

Windows 11 PC上的Xbox模式不支持多顯示器

數(shù)碼要聞

TCL華星t8項(xiàng)目提前封頂 印刷OLED規(guī);慨a(chǎn)提速

教育要聞

26高考選專(zhuān)業(yè),普通家庭該避開(kāi)哪些坑?

旅游要聞

山西太原:一路騎行 漫游賞景

親子要聞

剪給媽媽看的視頻,當(dāng)然全部都是愛(ài)

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版