Building AI systems you can trust

構(gòu)建你能信任的AI系統(tǒng)

https://www.gi-de.com/en/spotlight/trends-insights/building-ai-systems-you-can-trust

本文探討了如何構(gòu)建可信的AI系統(tǒng)，提出了五個(gè)關(guān)鍵原則：

1) 信任需從系統(tǒng)底層構(gòu)建，而非假設(shè)，包括公平性、魯棒性測(cè)試等；

2) 可信性是多維度且依賴于上下文的；

3) 信任是動(dòng)態(tài)的，需持續(xù)監(jiān)測(cè)和評(píng)估；

4) 量化可信性有助于治理；

5) 創(chuàng)建信任需要跨學(xué)科團(tuán)隊(duì)合作。強(qiáng)調(diào)將可信性作為基礎(chǔ)層構(gòu)建AI系統(tǒng)，可轉(zhuǎn)化為競(jìng)爭(zhēng)優(yōu)勢(shì)，幫助組織在AI經(jīng)濟(jì)中脫穎而出。

2022年，富國(guó)銀行（Wells Fargo）因其信用評(píng)估算法被發(fā)現(xiàn)對(duì)黑人和拉丁裔申請(qǐng)人系統(tǒng)性地分配更高的風(fēng)險(xiǎn)分?jǐn)?shù)而受到審查，與財(cái)務(wù)背景相似的白人申請(qǐng)人相比，這種情況更為突出。1 這一案例突顯了組織在匆忙部署AI系統(tǒng)時(shí)面臨的最大挑戰(zhàn)之一：AI真的可以被信任嗎？

在富國(guó)銀行的案例中，這并不是惡意設(shè)計(jì)的問題；相反，該AI只是從反映了數(shù)十年歧視性實(shí)踐的歷史借貸模式中學(xué)習(xí)，然后大規(guī)模地延續(xù)了這些模式。但是，如果要在銀行和金融、身份驗(yàn)證以及公共基礎(chǔ)設(shè)施等安全關(guān)鍵領(lǐng)域成功實(shí)施AI，此類偏見是不可接受的。除了潛在的監(jiān)管罰款外，此類事件還會(huì)對(duì)客戶關(guān)系造成不可修復(fù)的損害，并侵蝕組織長(zhǎng)期成功所依賴的信任。

新的法規(guī)，例如歐盟AI法案，對(duì)于不合規(guī)行為可處以高達(dá)3500萬歐元或全球年度收入7%的罰款，2 被引入以幫助組織實(shí)現(xiàn)AI合規(guī)，并為安全且可靠地部署AI系統(tǒng)設(shè)立護(hù)欄。然而，僅從合規(guī)角度看待安全AI會(huì)錯(cuò)失一個(gè)更大的機(jī)會(huì)。

用可信AI應(yīng)對(duì)AI威脅

“消費(fèi)者、利益相關(guān)者和監(jiān)管機(jī)構(gòu)越來越要求像AI這樣的技術(shù)提供更大的透明度和問責(zé)制，”Veridos的AI負(fù)責(zé)人Letizia Bordoli表示?！斑@特別具有挑戰(zhàn)性，因?yàn)锳I系統(tǒng)往往作為黑箱運(yùn)行，具有復(fù)雜的依賴關(guān)系，并在新環(huán)境中表現(xiàn)出不可預(yù)測(cè)的行為。因此，組織有責(zé)任以可信的方式部署AI，尤其是在那些可能顯著影響人們生活的應(yīng)用中?！?/p>

許多組織面臨的一個(gè)問題是：究竟如何構(gòu)建值得信任的AI系統(tǒng)？以及，如何可靠地評(píng)估、量化并將對(duì)AI系統(tǒng)的信任嵌入到開發(fā)過程中？

什么是可信AI？

組織必須采取的第一步是理解可信AI究竟意味著什么。為了支持這一點(diǎn)，在歐洲委員會(huì)人工智能高級(jí)別專家組的推動(dòng)下，AI社區(qū)確立了七項(xiàng)原則，這些原則作為可信且符合倫理的AI的通用定義。

這些原則成為了諸如歐盟AI法案等框架的基礎(chǔ)，包括人類能動(dòng)性和監(jiān)督；技術(shù)魯棒性和安全性；隱私和數(shù)據(jù)治理；透明度；多樣性、非歧視和公平性；社會(huì)和環(huán)境福祉；以及問責(zé)制。

然而，這些原則往往仍然是抽象的，為實(shí)際應(yīng)用提供了很少的指導(dǎo)。組織需要一個(gè)框架，將這些高層原則轉(zhuǎn)化為可衡量的實(shí)踐，這些實(shí)踐可以嵌入到開發(fā)過程和組織文化中。

可信AI的基礎(chǔ)

這只是Veridos與紐倫堡-埃爾蘭根弗里德里希-亞歷山大大學(xué)（Friedrich-Alexander University of Erlangen-Nuremberg）的專家合作，開發(fā)一個(gè)全面的、基于度量的框架來評(píng)估和量化AI可信性的原因之一。以下是該研究中的五個(gè)關(guān)鍵要點(diǎn)：

1. 信任必須被設(shè)計(jì)出來，而不是被假設(shè) 許多組織會(huì)等待信任問題出現(xiàn)——通過丑聞、審計(jì)失敗或監(jiān)管行動(dòng)——然后才做出反應(yīng)。這是錯(cuò)誤的方法?？尚判员仨殢牡讓娱_始構(gòu)建到系統(tǒng)中，使用與已知風(fēng)險(xiǎn)相關(guān)的特定評(píng)估方法。這些方法可以包括：

• 群體公平性度量，這些度量通過評(píng)估AI結(jié)果是否在人口統(tǒng)計(jì)群體（例如年齡、性別、種族）之間公平分布，來識(shí)別并消除隱藏的歧視。

• 顯著性圖魯棒性測(cè)試（這些測(cè)試檢查當(dāng)輸入略微變化時(shí)，AI解釋是否保持一致），以驗(yàn)證AI決策過程的可靠性，確保長(zhǎng)期信任。

• 成員推斷測(cè)試（這些測(cè)試檢查攻擊者是否能夠逆向工程模型來確定使用了哪些數(shù)據(jù)訓(xùn)練AI），通過模擬攻擊者是否能夠確定特定數(shù)據(jù)點(diǎn)是否被用于模型訓(xùn)練，來檢測(cè)隱私漏洞，從而揭示潛在的數(shù)據(jù)泄露風(fēng)險(xiǎn)和隱私保護(hù)不足的問題。

2. 可信性是多維度的且依賴于上下文 不存在通用的可信AI度量。最重要的維度完全取決于所涉及的應(yīng)用和風(fēng)險(xiǎn)。高風(fēng)險(xiǎn)系統(tǒng)（如身份驗(yàn)證）可能將魯棒性和問責(zé)制置于首位，而面向消費(fèi)者的應(yīng)用可能強(qiáng)調(diào)透明度和人類監(jiān)督，以維持用戶信心。

3. 信任不是靜態(tài)的——它可能隨時(shí)間變化 大多數(shù)AI治理框架錯(cuò)誤地將評(píng)估視為一次性任務(wù)。但是AI系統(tǒng)在持續(xù)演化：模型發(fā)生漂移，對(duì)手開發(fā)新型攻擊方法，運(yùn)營(yíng)環(huán)境發(fā)生變化。監(jiān)測(cè)和持續(xù)評(píng)估必須成為AI運(yùn)營(yíng)的標(biāo)準(zhǔn)部分，就像云服務(wù)的正常運(yùn)行時(shí)間監(jiān)測(cè)一樣。

4. 量化能夠?qū)崿F(xiàn)治理 通過將公平性和隱私等原則轉(zhuǎn)化為量化指標(biāo)，可信性變得可審計(jì)且可問責(zé)。這為有意義的AI風(fēng)險(xiǎn)管理、合規(guī)自動(dòng)化以及提供對(duì)AI系統(tǒng)可信性實(shí)時(shí)可見性的內(nèi)部治理儀表板打開了大門。

5. 創(chuàng)造信心需要跨學(xué)科團(tuán)隊(duì) 沒有單一團(tuán)隊(duì)能夠“擁有”信任。AI工程師、UX研究人員、倫理學(xué)者、安全專家以及廣泛的專業(yè)人員必須在整個(gè)開發(fā)生命周期中協(xié)作，以確?？尚判载灤┫到y(tǒng)嵌入。

將信任轉(zhuǎn)化為競(jìng)爭(zhēng)優(yōu)勢(shì)采用這些原則將幫助組織設(shè)計(jì)和構(gòu)建將信任嵌入作為基礎(chǔ)層的可信AI系統(tǒng)。這種主動(dòng)方法將幫助它們與那些在信任失敗發(fā)生后才做出反應(yīng)的組織區(qū)分開來。 在一個(gè)將越來越以AI為基礎(chǔ)的未來經(jīng)濟(jì)中，將會(huì)有壓力要求跟上每一個(gè)發(fā)展，以保持領(lǐng)先。與其盡快部署最先進(jìn)的AI系統(tǒng)，真正的領(lǐng)導(dǎo)者將是那些花時(shí)間可持續(xù)地構(gòu)建利益相關(guān)者可以信任的系統(tǒng)的人。

關(guān)鍵要點(diǎn)

? 隨著AI采用的加速，組織迫切需要框架，以便構(gòu)建和評(píng)估可信系統(tǒng)。

? 信任必須被設(shè)計(jì)出來，而不是被假設(shè)。然而，不存在“可信AI”的通用定義。

? 采取主動(dòng)的合規(guī)方法可以創(chuàng)造競(jìng)爭(zhēng)優(yōu)勢(shì)。構(gòu)建可信AI系統(tǒng)的組織將使自己與競(jìng)爭(zhēng)對(duì)手區(qū)分開來。

https://www.gi-de.com/en/spotlight/trends-insights/building-ai-systems-you-can-trust