一場(chǎng)悲劇，

一場(chǎng)鬧劇，

若干年后，

可能會(huì)被認(rèn)定為國(guó)內(nèi)“AI安全第一案”。

聞所未聞，駭人聽(tīng)聞，匪夷所思。

我所熟悉的，

和AI有關(guān)，

和安全有關(guān)的團(tuán)隊(duì)，

都在第一時(shí)間討論和復(fù)盤(pán)。

攻擊者手段多，隱蔽性強(qiáng)，

甚至有一部分專家直接告訴我：

防不住，根本防不住。

一方面，工作人員通宵達(dá)旦解決故障，

很難想到故障來(lái)自“內(nèi)鬼”。

另一方面，訓(xùn)練大模型是大系統(tǒng)工程，

周期長(zhǎng)，環(huán)節(jié)多，

哪怕沒(méi)有惡意破壞，

動(dòng)不動(dòng)就會(huì)出現(xiàn)故障。

甄別出哪些是惡意“故障”非常困難，

防不??？真這樣嗎？

（一）漏洞與損失

1.自“古”以來(lái)，AI大模型訓(xùn)練沒(méi)有出過(guò)這么大的安全事件。

2.本質(zhì)是，在AI大模型的訓(xùn)練中搞五花八門(mén)的破壞。

3.并不是多有技術(shù)含量的“黑客”招數(shù)。

4.但是，很隱秘，不易被發(fā)現(xiàn)。

5.從“古”至今，IT專家們（當(dāng)然包括AI），

從來(lái)沒(méi)有像今天這樣，操作如此昂貴的設(shè)備。

GPU太貴了，成千上萬(wàn)卡更是價(jià)值數(shù)十億。

惡意破壞會(huì)給企業(yè)帶來(lái)巨額損失。

6.攻擊者有實(shí)時(shí)攻防能力，

在內(nèi)部（Debug）群里觀察，，

每當(dāng)有人排查故障的時(shí)候，

有針對(duì)性地把代碼改回去。

讓人難以確定故障根源，

從而加劇追蹤難度。

7.攻擊者對(duì)訓(xùn)練整個(gè)工程過(guò)程和底層軟件很了解。

8.AI訓(xùn)練的工程細(xì)節(jié)環(huán)環(huán)相扣，

攻擊者下手多個(gè)環(huán)節(jié)。

訓(xùn)練前，模型加載，漏洞攻擊。

訓(xùn)練中，強(qiáng)行結(jié)束多卡實(shí)驗(yàn)。

訓(xùn)練后，改動(dòng)計(jì)算結(jié)果。

9.Huggingface里的一個(gè)公共庫(kù)里面的一個(gè)模型加載函數(shù)，

在反序列化未受信任的數(shù)據(jù)時(shí)，

可能執(zhí)行數(shù)據(jù)中的惡意代碼。

攻擊者利用了這個(gè)漏洞。

值得注意的是，

使用模型（訓(xùn)練，推理）第一步都要用到這個(gè)函數(shù)

這是用于加載模型的保存狀態(tài)的函數(shù)。

需要補(bǔ)充一點(diǎn)，安全漏洞無(wú)法杜絕，

雖然是來(lái)自第三方供應(yīng)商的風(fēng)險(xiǎn)，

但是從企業(yè)的角度，不能把責(zé)任全推給供應(yīng)商，

企業(yè)需要有措施來(lái)做補(bǔ)償控制。

10.將基礎(chǔ)軟件做更高層次的抽象接口，

確實(shí)能方便使用，

但是當(dāng)訓(xùn)練結(jié)果不盡如人意，

一般情況下，會(huì)找數(shù)據(jù)或者模型本身的原因。

不會(huì)或者很少檢查基礎(chǔ)軟件。

就好比，開(kāi)車(chē)時(shí)有異常，會(huì)檢查車(chē)輛，很少檢查路況。

這個(gè)攻擊不易被發(fā)覺(jué)。

11.有條件觸發(fā)攻擊。

觸發(fā)條件選擇256卡以上范圍，

通常，都是8卡16卡訓(xùn)練任務(wù)，屬小型任務(wù)。

小任務(wù)中，查看訓(xùn)練結(jié)果的行為更為高頻，

也更容易發(fā)現(xiàn)異常，但是破壞性小，損失小。

攻擊者瞄準(zhǔn)256卡大型任務(wù)，

一旦成功破壞，企業(yè)損失大。

12.惡意修改優(yōu)化器可能會(huì)調(diào)整參數(shù)，

使得模型無(wú)法正常訓(xùn)練。

因?yàn)閮?yōu)化器的作用是控制模型訓(xùn)練過(guò)程中的參數(shù)更新，

13.惡意修改隨機(jī)種子，

會(huì)導(dǎo)致實(shí)驗(yàn)結(jié)果無(wú)法復(fù)現(xiàn)，

甚至多次運(yùn)行同一個(gè)模型得到完全不同的結(jié)果。

隨機(jī)種子是控制隨機(jī)過(guò)程的一個(gè)關(guān)鍵參數(shù)。

AI大模型訓(xùn)練很多操作，如權(quán)重初始化、

數(shù)據(jù)打亂、訓(xùn)練批次生成等，

都依賴隨機(jī)數(shù)生成。

14.惡意使用Sleep函數(shù)，任務(wù)暫停。

這樣會(huì)影響GPU的使用，

從而降低GPU利用率。

這是工程團(tuán)隊(duì)工作效率的重要指標(biāo)。

GPU要一直干活，利用率才高 ，

當(dāng)計(jì)算：休息 = 1:1，使用率只有50%。

資源消耗攻擊。

15.攻擊者通過(guò)修改梯度方向，

動(dòng)態(tài)改變模型的優(yōu)化方向，

導(dǎo)致模型參數(shù)更新錯(cuò)誤，

使得模型訓(xùn)練出的結(jié)果是錯(cuò)誤的。

這是一種經(jīng)典的模型投毒攻擊，

攻擊者通過(guò)篡改訓(xùn)練過(guò)程來(lái)影響模型的表現(xiàn)。

16.攻擊者的權(quán)限是不是太大了？

最后，打一個(gè)比方，

一些人正在埋頭考試，攻擊者在：

攻擊答題設(shè)備，

干擾答題過(guò)程，

篡改答案。

（二）可以防，代價(jià)大

我和來(lái)自兩家互聯(lián)網(wǎng)大廠的首席安全官，

都聊了好一會(huì)。

理論上，可以防。

加強(qiáng)權(quán)限的梳理和隔離，

加強(qiáng)漏洞的跟蹤管理，

加強(qiáng)動(dòng)態(tài)加載代碼的管控，

加強(qiáng)對(duì)異常情況的監(jiān)控和審計(jì)等等。

防的代價(jià)是什么？

執(zhí)行難度有多高？

安全意識(shí)是個(gè)好東西，

希望你有，我有大家有。

但是，說(shuō)得難聽(tīng)點(diǎn)，

上班是來(lái)干活的，

不是來(lái)防賊的。

誰(shuí)不希望在信任真誠(chéng)的環(huán)境里干活，

企業(yè)如此，社會(huì)環(huán)境也如此。

這種事件發(fā)生概率雖小，

但是，引發(fā)的管理成本卻可以很大。

從公司一把手的視角看這個(gè)事件，

必須防住，怎么可能防不住。

安全手段加強(qiáng)，

降低整個(gè)組織效率。

增加員工抵觸和管理成本

還有一個(gè)更為重要的要素，

AI的競(jìng)爭(zhēng)，是時(shí)間的競(jìng)爭(zhēng)，

且不只是企業(yè)間的競(jìng)爭(zhēng)，

甚至是地緣的競(jìng)爭(zhēng)，

AI的資源很難按時(shí)按量地分配給安全。

所有的安全措施，都伴隨成本。

措施越強(qiáng)，成本越高。

如果安全和效率非要選出一個(gè)第一，

選哪個(gè)？

一位AI大佬對(duì)我說(shuō)，

這次的惡性事件只是一個(gè)開(kāi)始。

AI是一個(gè)新事物，

AI安全更是一個(gè)新事物。

每次安全事件都會(huì)提高安全的水位線。

可惜沒(méi)有100%的安全，

且暗地里都標(biāo)好了價(jià)格。

（完）