近期，開源AI智能體OpenClaw引發(fā)的“養(yǎng)龍蝦”熱潮在社交平臺(tái)上迅速傳播，在展示出人工智能潛力的同時(shí)，也引發(fā)了業(yè)界對(duì)于大模型安全問題的廣泛關(guān)注。隨著大模型能力持續(xù)增強(qiáng)，其在復(fù)雜交互中的安全邊界問題逐漸顯現(xiàn)。在此背景下，以深知對(duì)話風(fēng)控模型（以下簡(jiǎn)稱“對(duì)話風(fēng)控模型”）為代表的一批創(chuàng)新成果，正以更貼近實(shí)際應(yīng)用的方式回應(yīng)這些挑戰(zhàn)。

大模型浪潮下的安全挑戰(zhàn)

伴隨大模型技術(shù)的快速普及與應(yīng)用，越來(lái)越多的企事業(yè)單位積極投身于大模型私有化部署，以期在智能化浪潮中搶占先機(jī)，提升核心競(jìng)爭(zhēng)力。然而，技術(shù)躍遷的背后，由大模型技術(shù)引發(fā)的安全風(fēng)險(xiǎn)問題亦日益凸顯。

面對(duì)大模型及相關(guān)應(yīng)用帶來(lái)的新型安全挑戰(zhàn)，相關(guān)風(fēng)險(xiǎn)問題已在業(yè)內(nèi)引發(fā)廣泛關(guān)注。多方公開信息顯示，部分開源AI智能體在默認(rèn)或不當(dāng)配置情況下存在較高安全風(fēng)險(xiǎn)，容易遭受網(wǎng)絡(luò)攻擊并導(dǎo)致敏感信息泄露。同時(shí)，在私有化部署場(chǎng)景中，一些服務(wù)器長(zhǎng)期暴露在公網(wǎng)環(huán)境中，模型本身也可能存在被攻擊的隱患，整體安全狀況仍有待進(jìn)一步完善。從實(shí)際應(yīng)用情況來(lái)看，大模型安全問題已不再局限于傳統(tǒng)系統(tǒng)層面的漏洞，而是進(jìn)一步延伸至大模型自身以及大模型應(yīng)用層面的安全，包括提示詞注入、惡意誘導(dǎo)、隱蔽表達(dá)、敏感信息套取等，對(duì)現(xiàn)有安全機(jī)制提出了新的要求。

一種面向?qū)嶋H應(yīng)用的安全實(shí)踐

彩智科技創(chuàng)始人、中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)杰出會(huì)員徐劍軍帶領(lǐng)團(tuán)隊(duì)提出“對(duì)話風(fēng)控模型”，以解決大模型在嚴(yán)肅場(chǎng)景中的“幻覺”問題。他說：“幻覺是一個(gè)表面現(xiàn)象，根本原因就是知識(shí)工程和大模型都有各自的邊界。”

徐劍軍介紹可信知識(shí)模型

據(jù)悉，“對(duì)話風(fēng)控模型”采用組件化插入模式，可與原有基座大模型深度協(xié)同配合，相當(dāng)于在基座大模型、應(yīng)用智能體等大模型應(yīng)用前端，增設(shè)了一道專業(yè)的安全“防火墻”。用戶所有訴求均先經(jīng)過對(duì)話風(fēng)控模型，由該模型基于自然語(yǔ)言上下文理解，對(duì)潛在風(fēng)險(xiǎn)進(jìn)行快速識(shí)別，并可識(shí)別變體拼寫、諧音代稱等隱蔽表達(dá)形式，同時(shí)可針對(duì)風(fēng)險(xiǎn)問題提供安全代答服務(wù)。

對(duì)話風(fēng)控模型工作流程示意圖

該對(duì)話風(fēng)控模型主要由風(fēng)險(xiǎn)研判模型和安全代答模型構(gòu)成。其中，風(fēng)險(xiǎn)研判模型負(fù)責(zé)完成對(duì)輸入的風(fēng)險(xiǎn)識(shí)別與分類，實(shí)現(xiàn)風(fēng)險(xiǎn)的主動(dòng)發(fā)現(xiàn)、實(shí)時(shí)預(yù)警。安全代答模型則負(fù)責(zé)對(duì)識(shí)別出的重點(diǎn)關(guān)注類和隱藏條件預(yù)警類問題進(jìn)行回應(yīng)，按照“事實(shí)澄清－政策引用－正向引導(dǎo)”的三段式原則進(jìn)行回應(yīng)，兼顧風(fēng)險(xiǎn)防控與服務(wù)體驗(yàn)。對(duì)于部分存在安全風(fēng)險(xiǎn)的提問，模型并非簡(jiǎn)單拒答，而是根據(jù)風(fēng)險(xiǎn)研判結(jié)果，靈活觸發(fā)安全代答模式或攔截機(jī)制。當(dāng)啟動(dòng)安全代答模式時(shí)，模型將依托權(quán)威文件構(gòu)建的動(dòng)態(tài)更新知識(shí)庫(kù)提供回應(yīng)，回復(fù)內(nèi)容均可溯源至官方權(quán)威文件。

共筑AI安全防線，推動(dòng)人工智能行穩(wěn)致遠(yuǎn)

構(gòu)建面向人工智能時(shí)代的安全防護(hù)能力，是當(dāng)前大模型應(yīng)用過程中需要持續(xù)關(guān)注的重要問題之一。

從行業(yè)發(fā)展來(lái)看，對(duì)話風(fēng)控模型所體現(xiàn)的，是一種外部化、低耦合的安全防護(hù)思路。通過技術(shù)解耦和API服務(wù)方式，研發(fā)團(tuán)隊(duì)可以將更多精力放在模型性能提升和核心業(yè)務(wù)打磨上，減少安全模塊與業(yè)務(wù)邏輯相互牽制帶來(lái)的開發(fā)壓力。這種路徑有助于降低大模型研發(fā)與應(yīng)用的綜合成本，也為專用領(lǐng)域大模型的安全落地提供了新的實(shí)踐參考。（作者：徐妍迪）