Trustworthy AI: From Principles to Practices

可信AI：從原則到實(shí)踐

https://dl.acm.org/doi/epdf/10.1145/3555803

人工智能（AI）技術(shù)的快速發(fā)展已經(jīng)使得各種基于AI的系統(tǒng)得以部署。然而，許多當(dāng)前的AI系統(tǒng)被發(fā)現(xiàn)容易受到不可察覺攻擊的影響、對(duì)代表性不足的群體存在偏見、缺乏用戶隱私保護(hù)。這些缺陷降低了用戶體驗(yàn)，并侵蝕了人們對(duì)所有AI系統(tǒng)的信任。在本綜述中，我們?yōu)锳I從業(yè)者提供了一個(gè)構(gòu)建可信AI系統(tǒng)的全面指南。我們首先介紹AI可信性的重要方面的理論框架，包括魯棒性、泛化能力、可解釋性、透明度、可重復(fù)性、公平性、隱私保護(hù)以及問責(zé)制。為了統(tǒng)一當(dāng)前可用但碎片化的可信AI方法，我們將它們組織成一個(gè)系統(tǒng)化的方法，該方法考慮AI系統(tǒng)的整個(gè)生命周期，從數(shù)據(jù)獲取到模型開發(fā)，再到系統(tǒng)開發(fā)和部署，最終到持續(xù)監(jiān)測(cè)和治理。在這個(gè)框架中，我們?yōu)閺臉I(yè)者和利益相關(guān)者（例如研究人員、工程師和監(jiān)管者）提供了具體的行動(dòng)項(xiàng)，以提升AI的可信性。最后，我們指出了可信AI系統(tǒng)未來發(fā)展的關(guān)鍵機(jī)遇和挑戰(zhàn)，其中我們強(qiáng)調(diào)了向全面可信AI系統(tǒng)進(jìn)行范式轉(zhuǎn)變的必要性。

CCS 概念：? 計(jì)算方法論 → 人工智能；機(jī)器學(xué)習(xí)；? 一般與參考 → 綜述和概述；

附加關(guān)鍵詞和短語：可信AI、魯棒性、泛化能力、可解釋性、透明度、可重復(fù)性、公平性、隱私保護(hù)、問責(zé)制

1 引言

人工智能（AI）的快速發(fā)展持續(xù)為社會(huì)帶來顯著的經(jīng)濟(jì)和社會(huì)效益。隨著AI在交通、金融、醫(yī)療、安全和娛樂等領(lǐng)域的廣泛應(yīng)用，社會(huì)越來越意識(shí)到這些系統(tǒng)需要值得信賴。這是因?yàn)椋b于這些AI系統(tǒng)的普遍性，利益相關(guān)者的信任一旦被破壞，可能會(huì)導(dǎo)致嚴(yán)重的社會(huì)后果。這種信任的破壞可能包括自動(dòng)化系統(tǒng)在招聘和貸款決策中的偏見處理[49, 146]，甚至可能導(dǎo)致人類生命的喪失[52]。相比之下，AI從業(yè)者，包括研究人員、開發(fā)人員和決策者，傳統(tǒng)上一直將系統(tǒng)性能（即準(zhǔn)確性）視為其工作流程中的主要指標(biāo)。這一指標(biāo)遠(yuǎn)遠(yuǎn)不足以反映AI系統(tǒng)的可信度。為了提高AI系統(tǒng)的可信度，應(yīng)該考慮系統(tǒng)性能之外的多個(gè)方面，包括但不限于其魯棒性、算法公平性、可解釋性和透明度。

盡管大多數(shù)關(guān)于AI可信度的學(xué)術(shù)研究都集中在模型的算法屬性上，但僅靠算法研究的進(jìn)步是不足以構(gòu)建值得信賴的AI產(chǎn)品的。從工業(yè)角度來看，一個(gè)AI產(chǎn)品的生命周期包括多個(gè)階段，包括數(shù)據(jù)準(zhǔn)備、算法設(shè)計(jì)、開發(fā)和部署以及運(yùn)營、監(jiān)控和治理。在生命周期的多個(gè)階段（例如數(shù)據(jù)清理、魯棒算法、異常監(jiān)控和風(fēng)險(xiǎn)審計(jì)）中做出努力，才能在任何一個(gè)方面（例如魯棒性）提高可信度。相反，任何一個(gè)環(huán)節(jié)或方面的信任受損都可能破壞整個(gè)系統(tǒng)的可信度。因此，應(yīng)該在整個(gè)AI系統(tǒng)的生命周期中系統(tǒng)地建立和評(píng)估AI可信度。

除了從其生命周期的所有階段全面看待AI系統(tǒng)的可信度外，了解AI可信度不同方面的全貌也很重要。除了通過為每個(gè)具體方面建立要求來追求AI可信度外，我們還關(guān)注這些方面的組合和相互作用，這些是構(gòu)建值得信賴的真實(shí)世界AI系統(tǒng)的重要且尚未得到充分研究的主題。例如，對(duì)數(shù)據(jù)隱私的需求可能會(huì)干擾詳細(xì)解釋系統(tǒng)輸出的愿望，而追求算法公平性可能會(huì)損害某些群體所經(jīng)歷的準(zhǔn)確性和魯棒性[284, 361]。因此，簡單地將系統(tǒng)組合起來分別提高每個(gè)方面的可信度，并不能保證最終結(jié)果更值得信賴和有效。相反，需要對(duì)可信度的多個(gè)方面進(jìn)行精心的聯(lián)合優(yōu)化和權(quán)衡[47, 158, 331, 361, 380]。

這些事實(shí)表明，需要一種系統(tǒng)化的方法來將當(dāng)前的AI范式轉(zhuǎn)向可信度。這需要多學(xué)科利益相關(guān)者的意識(shí)和合作，他們從事可信度的不同方面和系統(tǒng)生命周期的不同階段的工作。我們最近見證了關(guān)于可信AI的多學(xué)科研究的重要發(fā)展。從技術(shù)角度來看，可信AI推動(dòng)了對(duì)抗學(xué)習(xí)、隱私學(xué)習(xí)以及機(jī)器學(xué)習(xí)（ML）的公平性和可解釋性的發(fā)展。一些最近的研究從研究[182, 218, 357]或工程[57, 62, 199, 338, 353]的角度對(duì)這些發(fā)展進(jìn)行了梳理。非技術(shù)領(lǐng)域的進(jìn)展也在少數(shù)研究中得到了回顧，包括指南[145, 178, 294]、標(biāo)準(zhǔn)化[210]和管理流程[31, 274, 301]。我們?cè)诟戒浀腁.2節(jié)中對(duì)各種綜述（包括算法研究、工程實(shí)踐和制度化）進(jìn)行了詳細(xì)分析。這些分散的綜述大多集中在可信AI的具體觀點(diǎn)上。為了以一種系統(tǒng)化的視角同步這些多樣化的進(jìn)展，我們以一種易于獲取的方式組織多學(xué)科知識(shí)，為AI從業(yè)者提供行動(dòng)指南，并在工業(yè)系統(tǒng)的生命周期背景下提供系統(tǒng)化的指導(dǎo)，以構(gòu)建可信的AI系統(tǒng)。我們的主要貢獻(xiàn)如下：

• 我們剖析了AI系統(tǒng)在工業(yè)應(yīng)用中的整個(gè)開發(fā)和部署生命周期，并討論了如何在每個(gè)階段——從數(shù)據(jù)到AI模型，從系統(tǒng)部署到其運(yùn)行——增強(qiáng)AI的可信度。我們提出了一個(gè)系統(tǒng)化的框架，以組織多學(xué)科和分散的方法來實(shí)現(xiàn)可信AI，并建議將其作為一個(gè)連續(xù)的工作流程來追求，以便在AI系統(tǒng)生命周期的每個(gè)階段納入反饋。

• 我們剖析了AI系統(tǒng)在工業(yè)應(yīng)用中的整個(gè)開發(fā)和部署生命周期，并討論了如何在每個(gè)階段增強(qiáng)AI的可信度——從數(shù)據(jù)到AI模型，從系統(tǒng)部署到其運(yùn)行。我們提出了一個(gè)系統(tǒng)化的框架，以組織多學(xué)科和分散的方法來實(shí)現(xiàn)可信AI，并進(jìn)一步建議將其作為一個(gè)連續(xù)的工作流程來追求，以便在AI系統(tǒng)生命周期的每個(gè)階段納入反饋。我們還分析了實(shí)踐中可信度不同方面之間的關(guān)系（相互增強(qiáng)，有時(shí)是權(quán)衡）。目標(biāo)是為AI系統(tǒng)的各個(gè)利益相關(guān)者，如研究人員、開發(fā)者、操作者和法律專家，提供一個(gè)易于訪問和全面的指南，以便他們能夠快速理解實(shí)現(xiàn)AI可信度的方法（第3節(jié)）。

• 我們討論了研究界和工業(yè)實(shí)踐者在不久的將來應(yīng)該關(guān)注的可信AI面臨的突出挑戰(zhàn)。我們確定了幾個(gè)關(guān)鍵問題，包括需要更深入和根本地理解AI可信度的幾個(gè)方面（例如，魯棒性、公平性和可解釋性），用戶意識(shí)的重要性，以及促進(jìn)跨學(xué)科和國際合作（第4節(jié)）。

通過這些貢獻(xiàn)，我們旨在為AI系統(tǒng)的實(shí)踐者和利益相關(guān)者不僅提供一個(gè)關(guān)于AI可信度的基礎(chǔ)和未來的全面介紹，而且還提供一個(gè)關(guān)于如何構(gòu)建可信AI系統(tǒng)的操作指南。

2 AI可信度：超越預(yù)測(cè)準(zhǔn)確性

過去幾十年中，機(jī)器學(xué)習(xí)（ML）技術(shù)的成功在很大程度上得益于基于準(zhǔn)確性的性能測(cè)量。通過基于定量準(zhǔn)確性或損失來評(píng)估任務(wù)性能，訓(xùn)練AI模型在優(yōu)化的意義上變得可行。同時(shí)，預(yù)測(cè)準(zhǔn)確性被廣泛采用來表明一個(gè)AI產(chǎn)品優(yōu)于其他產(chǎn)品。然而，隨著AI的廣泛應(yīng)用，僅依賴準(zhǔn)確性測(cè)量的局限性已經(jīng)被一系列新挑戰(zhàn)所暴露，這些挑戰(zhàn)從針對(duì)AI系統(tǒng)的惡意攻擊到違反人類價(jià)值觀的AI濫用。為了解決這些問題，AI社區(qū)在過去十年中意識(shí)到，在構(gòu)建AI系統(tǒng)時(shí)應(yīng)該考慮并改進(jìn)超出準(zhǔn)確性的因素。一些企業(yè)[57, 62, 136, 166, 254, 338]、學(xué)術(shù)界[122, 199, 218, 301, 322]、公共部門和組織[9, 210, 334]最近已經(jīng)識(shí)別了這些因素，并將它們總結(jié)為AI可信度的原則。這些原則包括魯棒性、安全性、透明度、公平性和安全性[178]。在參考文獻(xiàn)[145, 178]中提供了與這些原則相關(guān)的全面統(tǒng)計(jì)數(shù)據(jù)和比較。在本文中，我們研究了最近引起廣泛興趣且與實(shí)際應(yīng)用密切相關(guān)的代表性原則。這些原則可以分為以下幾類：

• 我們考慮了與當(dāng)前AI系統(tǒng)面臨的技術(shù)挑戰(zhàn)相關(guān)的代表性要求。我們回顧了最近技術(shù)研究中引起廣泛興趣的方面，包括魯棒性、可解釋性、透明度、可重復(fù)性和泛化能力。

• 我們考慮了在最近文獻(xiàn)[9, 57, 121, 145, 178, 199, 218, 301, 334]中廣泛關(guān)注的倫理要求，包括公平性、隱私和責(zé)任。

在本節(jié)中，我們闡述了每個(gè)要求的動(dòng)機(jī)和定義。我們還調(diào)查了評(píng)估每個(gè)要求的方法。同時(shí)需要注意的是，所選擇的要求并不是相互獨(dú)立的，其中一些要求之間存在密切的相關(guān)性。在本節(jié)中，我們解釋了與相應(yīng)要求的關(guān)系。我們還使用圖1來可視化各個(gè)方面之間的關(guān)系，包括權(quán)衡、貢獻(xiàn)和表現(xiàn)。

2.1 魯棒性

一般來說，魯棒性指的是算法或系統(tǒng)處理執(zhí)行錯(cuò)誤、錯(cuò)誤輸入或未見過的數(shù)據(jù)的能力。魯棒性是影響AI系統(tǒng)在實(shí)證環(huán)境中性能的重要因素。缺乏魯棒性也可能導(dǎo)致系統(tǒng)出現(xiàn)意外或有害的行為，從而降低其安全性和可信度。在機(jī)器學(xué)習(xí)系統(tǒng)的背景下，魯棒性一詞適用于多種情況。在這篇綜述中，我們非窮盡地總結(jié)了AI系統(tǒng)的魯棒性，分別從數(shù)據(jù)、算法和系統(tǒng)層面對(duì)漏洞進(jìn)行分類。

數(shù)據(jù)。隨著AI系統(tǒng)的廣泛應(yīng)用，AI模型部署的環(huán)境變得更加復(fù)雜和多樣化。如果AI模型在訓(xùn)練時(shí)沒有考慮到不同場(chǎng)景中數(shù)據(jù)分布的多樣性，那么它的性能可能會(huì)受到顯著影響。對(duì)抗分布偏移的魯棒性在各種AI應(yīng)用中一直是一個(gè)常見問題[19]。在高風(fēng)險(xiǎn)應(yīng)用中，由于對(duì)安全性和安全性的負(fù)面影響，這個(gè)問題更加關(guān)鍵。例如，在自動(dòng)駕駛領(lǐng)域，除了開發(fā)在晴朗場(chǎng)景下工作的感知系統(tǒng)外，學(xué)術(shù)界和工業(yè)界還在使用眾多的開發(fā)和測(cè)試策略來增強(qiáng)車輛在夜間/雨天場(chǎng)景下的感知性能，以確保系統(tǒng)在各種天氣條件下的可靠性[318, 382]。

算法。人們普遍認(rèn)為，AI模型可能容易受到惡意攻擊者的攻擊。在各種形式的攻擊中，對(duì)抗性攻擊及其防御近年來在學(xué)術(shù)界和工業(yè)界引起了關(guān)注。文獻(xiàn)已經(jīng)從幾個(gè)典型方面對(duì)對(duì)抗性攻擊的威脅進(jìn)行了分類，并提出了各種防御方法[12, 69, 213, 304, 373]。例如，在參考文獻(xiàn)[340]中，根據(jù)攻擊時(shí)間對(duì)對(duì)抗性攻擊進(jìn)行了分類。決策時(shí)攻擊通過擾動(dòng)輸入樣本來誤導(dǎo)給定模型的預(yù)測(cè)，以便攻擊者能夠逃避安全檢查或冒充受害者。訓(xùn)練時(shí)攻擊將精心設(shè)計(jì)的樣本注入訓(xùn)練數(shù)據(jù)中，以改變系統(tǒng)對(duì)特定模式的響應(yīng)，也被稱為投毒攻擊?？紤]到攻擊的實(shí)用性，還應(yīng)注意攻擊在執(zhí)行空間上的差異。傳統(tǒng)研究主要集中在特征空間攻擊上，這些攻擊直接作為模型的輸入特征生成。在許多實(shí)際場(chǎng)景中，對(duì)手只能修改輸入實(shí)體來間接產(chǎn)生與攻擊相關(guān)的特征。例如，有人很容易戴上對(duì)抗性圖案眼鏡來逃避面部驗(yàn)證系統(tǒng)，但很難修改內(nèi)存中的圖像數(shù)據(jù)。最近，產(chǎn)生可實(shí)現(xiàn)的基于實(shí)體的攻擊（問題空間攻擊）的研究越來越受到關(guān)注[325, 358]。除了直接誤導(dǎo)AI模型之外，算法層面的威脅可能以各種形式存在。模型竊取（也稱為探索性攻擊）試圖竊取有關(guān)模型的知識(shí)。雖然它不會(huì)直接改變模型行為，但竊取的知識(shí)對(duì)于生成對(duì)抗樣本具有重要價(jià)值[329]。

系統(tǒng)。在現(xiàn)實(shí)的AI產(chǎn)品中，還應(yīng)仔細(xì)考慮系統(tǒng)級(jí)對(duì)非法輸入的魯棒性。在實(shí)際情況下，非法輸入的情況可能極其多樣。例如，一個(gè)分辨率非常高的圖像可能會(huì)使一個(gè)不完美的圖像識(shí)別系統(tǒng)掛起。自動(dòng)駕駛車輛的激光雷達(dá)感知系統(tǒng)可能會(huì)感知到其他車輛發(fā)出的激光束，并產(chǎn)生損壞的輸入。呈現(xiàn)攻擊[275]（也稱為欺騙攻擊）是近年來引起廣泛關(guān)注的另一個(gè)例子。它通過例如照片或面具來偽造輸入，以欺騙生物識(shí)別系統(tǒng)。

已經(jīng)探索了各種方法來防止AI系統(tǒng)中的漏洞。防御的目標(biāo)可以是主動(dòng)的或被動(dòng)的[227]。主動(dòng)防御試圖優(yōu)化AI系統(tǒng)，使其對(duì)各種輸入更加魯棒，而被動(dòng)防御旨在檢測(cè)潛在的安全問題，如分布變化或?qū)箻颖尽Ｔ诘?節(jié)中介紹了提高AI系統(tǒng)魯棒性的代表性方法。

評(píng)估。評(píng)估AI系統(tǒng)的魯棒性是避免漏洞和控制風(fēng)險(xiǎn)的重要手段。我們簡要描述了兩組評(píng)估：魯棒性測(cè)試和數(shù)學(xué)驗(yàn)證。

魯棒性測(cè)試。測(cè)試一直是評(píng)估和增強(qiáng)傳統(tǒng)軟件以及AI系統(tǒng)魯棒性的基本方法。傳統(tǒng)的功能測(cè)試方法，如猴子測(cè)試[115]，為評(píng)估系統(tǒng)級(jí)魯棒性提供了有效的方法。此外，正如將在第3.3.1節(jié)介紹的，軟件測(cè)試方法最近已被擴(kuò)展到評(píng)估對(duì)抗對(duì)抗攻擊的魯棒性[226, 260]。與功能測(cè)試相比，性能測(cè)試，即基準(zhǔn)測(cè)試，在機(jī)器學(xué)習(xí)領(lǐng)域更廣泛地用于評(píng)估系統(tǒng)性能的各個(gè)維度。在機(jī)器學(xué)習(xí)研究中，使用各種分布的測(cè)試數(shù)據(jù)集來評(píng)估數(shù)據(jù)的魯棒性。在對(duì)抗攻擊的背景下，最小的對(duì)抗擾動(dòng)是魯棒性的核心指標(biāo)，其經(jīng)驗(yàn)上界，即經(jīng)驗(yàn)魯棒性，在測(cè)試數(shù)據(jù)集上已被廣泛使用[65, 312]。從攻擊者的角度來看，攻擊的成功率也直觀地衡量了系統(tǒng)的魯棒性[312]。

數(shù)學(xué)驗(yàn)證。繼承自形式化方法理論，對(duì)AI模型的對(duì)抗魯棒性的認(rèn)證驗(yàn)證引起了越來越多的興趣。例如，對(duì)抗魯棒性可以通過推導(dǎo)出對(duì)AI模型攻擊的最小失真非平凡且經(jīng)過認(rèn)證的下界來反映[51, 379]。我們將在第3.2.1節(jié)介紹這個(gè)方向。

2.2 泛化能力

泛化能力一直是機(jī)器學(xué)習(xí)模型關(guān)注的焦點(diǎn)。它代表了從有限的訓(xùn)練數(shù)據(jù)中提取知識(shí)，對(duì)未見數(shù)據(jù)進(jìn)行準(zhǔn)確預(yù)測(cè)的能力[133]。盡管在可信AI的背景下泛化不是一個(gè)經(jīng)常提及的方向，我們發(fā)現(xiàn)它對(duì)AI可信度的影響不容忽視，值得特別討論。一方面，泛化要求AI系統(tǒng)對(duì)現(xiàn)實(shí)數(shù)據(jù)進(jìn)行預(yù)測(cè)，即使在它們未經(jīng)訓(xùn)練的領(lǐng)域或分布上也是如此[133]。這顯著影響了實(shí)際系統(tǒng)的可靠性和風(fēng)險(xiǎn)。另一方面，AI模型應(yīng)該能夠在不需要為各種領(lǐng)域詳盡地收集和標(biāo)注大量數(shù)據(jù)的情況下進(jìn)行泛化[343, 391]，從而使AI系統(tǒng)在廣泛的應(yīng)用中部署更加經(jīng)濟(jì)和可持續(xù)。

在機(jī)器學(xué)習(xí)領(lǐng)域，關(guān)于泛化理論的經(jīng)典研究集中在對(duì)未見數(shù)據(jù)的預(yù)測(cè)上，這些數(shù)據(jù)通常與訓(xùn)練數(shù)據(jù)具有相同的分布[133]。盡管AI模型在訓(xùn)練數(shù)據(jù)集上可以達(dá)到合理的準(zhǔn)確性，但已知它們?cè)谟?xùn)練和測(cè)試準(zhǔn)確性之間存在差距（即泛化差距）。從統(tǒng)計(jì)學(xué)習(xí)到深度學(xué)習(xí)的不同領(lǐng)域的研究方法已經(jīng)被研究來分析這個(gè)問題并增強(qiáng)模型的泛化能力。許多機(jī)器學(xué)習(xí)教科書中可以找到典型的代表方法，如交叉驗(yàn)證、正則化和數(shù)據(jù)增強(qiáng)[133]。

創(chuàng)建現(xiàn)代數(shù)據(jù)驅(qū)動(dòng)的AI模型需要在訓(xùn)練階段大量數(shù)據(jù)和標(biāo)注。這導(dǎo)致制造商和用戶在為每個(gè)任務(wù)重新收集和重新標(biāo)注數(shù)據(jù)以訓(xùn)練模型時(shí)成本高昂。這種成本突出了將模型知識(shí)泛化到不同任務(wù)的必要性，這不僅減少了數(shù)據(jù)成本，而且在許多情況下還提高了模型性能。在遷移學(xué)習(xí)范式下，已經(jīng)探索了各種研究方向來解決不同場(chǎng)景和配置下的知識(shí)泛化問題[255, 350]。我們將在第3.2.2節(jié)回顧代表性方法。

泛化能力的包容性概念與AI可信度的其他方面密切相關(guān)，特別是魯棒性。在機(jī)器學(xué)習(xí)的背景下，對(duì)抗分布偏移的魯棒性（第2.1節(jié)）也被認(rèn)為是泛化問題。這意味著魯棒性和泛化的要求有一些重疊的方面。對(duì)抗魯棒性和泛化之間的關(guān)系更為復(fù)雜。正如參考文獻(xiàn)[362]所展示的，對(duì)抗小擾動(dòng)具有魯棒性的算法具有更好的泛化能力。然而，最近的研究表明[271, 331]，通過對(duì)抗訓(xùn)練提高魯棒性可能會(huì)降低測(cè)試準(zhǔn)確性并導(dǎo)致更差的泛化。為了解釋這一現(xiàn)象，參考文獻(xiàn)[116]認(rèn)為對(duì)抗魯棒性對(duì)應(yīng)于可能損害模型泛化能力的不同數(shù)據(jù)分布。

評(píng)估。在具有各種分布的測(cè)試數(shù)據(jù)集上進(jìn)行基準(zhǔn)測(cè)試是評(píng)估AI模型在現(xiàn)實(shí)場(chǎng)景中泛化能力的常用方法。參考文獻(xiàn)[391]總結(jié)了常用數(shù)據(jù)集和領(lǐng)域泛化基準(zhǔn)測(cè)試，并涵蓋了對(duì)象識(shí)別、動(dòng)作識(shí)別、分割和面部識(shí)別等任務(wù)。

在理論評(píng)估方面，過去的機(jī)器學(xué)習(xí)研究已經(jīng)開發(fā)了豐富的方法來衡量模型泛化誤差的界限。例如，拉德馬赫復(fù)雜性[35]通常用于確定模型能夠多好地適應(yīng)類標(biāo)簽的隨機(jī)分配。此外，瓦普尼克-切爾諾文斯基（VC）維數(shù)[337]是可學(xué)習(xí)函數(shù)集的容量/復(fù)雜性的度量。VC維數(shù)越多，表示容量越高。

深度神經(jīng)網(wǎng)絡(luò)（DNN）的進(jìn)步導(dǎo)致了泛化理論的新發(fā)展。參考文獻(xiàn)[377]觀察到，盡管現(xiàn)代深度學(xué)習(xí)模型具有巨大的容量，但它們?nèi)匀豢梢詫?shí)現(xiàn)泛化差距。這一現(xiàn)象引發(fā)了關(guān)于深度神經(jīng)網(wǎng)絡(luò)（DNN）泛化的學(xué)術(shù)討論[23, 39]。例如，參考文獻(xiàn)[39]從偏差-方差權(quán)衡的角度檢查泛化，以解釋和評(píng)估DNN的泛化能力。

2.3 可解釋性和透明度

復(fù)雜AI系統(tǒng)的不透明性在學(xué)術(shù)界、工業(yè)界以及整個(gè)社會(huì)引起了廣泛關(guān)注。深度神經(jīng)網(wǎng)絡(luò)（DNN）如何超越其他傳統(tǒng)機(jī)器學(xué)習(xí)方法的問題一直令研究人員感到困惑[24]。從實(shí)際系統(tǒng)的角度來看，用戶需要了解AI產(chǎn)品的意圖、商業(yè)模式和技術(shù)機(jī)制[9, 135]。多項(xiàng)研究從可解釋性、可解釋性和透明度等術(shù)語的角度來解決這些問題，并深入探討了不同的定義[5, 24, 47, 141, 216, 250]。為了使我們的討論更加簡潔和針對(duì)性，我們將可解釋性和透明度的范圍縮小到分別解決理論研究和實(shí)際系統(tǒng)中的上述問題。

• 可解釋性解決的是如何理解AI模型做出決策的問題[24]。

• 透明度將AI視為一個(gè)軟件系統(tǒng)，并尋求披露有關(guān)其整個(gè)生命周期的信息（參見參考文獻(xiàn)[9]中的“操作透明”）。

2.3.1 可解釋性?？山忉屝?，即理解AI模型如何做出決策，處于現(xiàn)代AI研究的核心位置，并作為決定對(duì)AI技術(shù)信任的基本因素。對(duì)AI可解釋性的需求來自多個(gè)方面[24, 25]。從科學(xué)研究的角度來看，理解AI系統(tǒng)中數(shù)據(jù)、參數(shù)、程序和結(jié)果的所有內(nèi)在機(jī)制是有意義的。這些機(jī)制也從根本上決定了AI的可信度。從構(gòu)建AI產(chǎn)品的角度來看，對(duì)可解釋性存在各種實(shí)際要求。對(duì)于銀行高管等操作者來說，可解釋性有助于理解AI信用系統(tǒng)，以防止?jié)撛诘娜毕輀25, 184]。像貸款申請(qǐng)者這樣的用戶想知道為什么他們被模型拒絕，以及他們可以做些什么來獲得資格[25]。詳見參考文獻(xiàn)[25]對(duì)可解釋性的各種動(dòng)機(jī)的詳細(xì)分析。

解釋機(jī)器學(xué)習(xí)模型一直是過去五年中機(jī)器學(xué)習(xí)研究以及心理學(xué)研究中的一個(gè)活躍話題[5, 24, 47, 141, 216, 250]。盡管AI模型的可解釋性的定義仍然是一個(gè)開放性問題，但研究已經(jīng)從AI[141, 285]和心理學(xué)[144, 245]的角度嘗試解決這個(gè)問題?？偨Y(jié)起來，相關(guān)研究將可解釋性分為兩個(gè)層次來解釋：

• 模型設(shè)計(jì)時(shí)的可解釋性。在過去半個(gè)世紀(jì)的機(jī)器學(xué)習(xí)研究中，已經(jīng)設(shè)計(jì)了一系列完全或部分可解釋的機(jī)器學(xué)習(xí)模型。代表包括線性回歸、樹、k最近鄰（KNN）、基于規(guī)則的學(xué)習(xí)器、廣義加性模型和貝葉斯模型[24]。可解釋模型的設(shè)計(jì)仍然是機(jī)器學(xué)習(xí)中的一個(gè)活躍領(lǐng)域。

• 事后模型可解釋性。盡管上述傳統(tǒng)模型具有良好的可解釋性，但更復(fù)雜的模型如深度神經(jīng)網(wǎng)絡(luò)（DNN）或梯度提升決策樹（GDBT）在最近的工業(yè)AI系統(tǒng)中表現(xiàn)出更好的性能。由于相關(guān)方法仍然無法全面解釋這些復(fù)雜模型，研究人員轉(zhuǎn)向事后解釋。它通過分析模型的輸入、中間結(jié)果和輸出來解決模型的行為。在這方面的一個(gè)代表性類別是通過使用可解釋的機(jī)器學(xué)習(xí)模型（即解釋器），如線性模型[225, 279]和規(guī)則[140, 280]，來全局或局部近似決策面。對(duì)于像卷積神經(jīng)網(wǎng)絡(luò)（CNN）或變換器這樣的深度學(xué)習(xí)模型，檢查中間特征是解釋模型行為的廣泛使用手段[332, 366]。

可解釋性的方法在機(jī)器學(xué)習(xí)中是一個(gè)活躍的研究領(lǐng)域，并已在多種研究中得到了全面的調(diào)查[24, 47, 141, 250]。在第3.2.3節(jié)中回顧了實(shí)現(xiàn)上述兩個(gè)層面可解釋性的代表性算法。評(píng)估。除了解釋AI模型的問題外，可解釋性的統(tǒng)一評(píng)估被認(rèn)為是一個(gè)挑戰(zhàn)。這的主要原因在于可解釋性在心理學(xué)上的界定不明確。為了規(guī)避這個(gè)問題，多種研究已經(jīng)使用定性指標(biāo)來評(píng)估可解釋性，并有人類的參與。代表性的方法包括：

• 主觀人類評(píng)估。在這種情況下的評(píng)估方法包括訪談、自我報(bào)告、問卷調(diào)查和案例研究，這些方法測(cè)量例如用戶滿意度、心理模型和信任[144, 155, 267]。

• 人-AI任務(wù)表現(xiàn)。在人-AI協(xié)作執(zhí)行的任務(wù)中，協(xié)作表現(xiàn)受到人類對(duì)AI協(xié)作者理解的顯著影響，可以被視為解釋質(zhì)量的反映[249]。這種評(píng)估已被用于開發(fā)例如推薦系統(tǒng)[198]和數(shù)據(jù)分析[132]。

此外，如果可解釋性可以通過解釋器實(shí)現(xiàn)，那么后者的表現(xiàn)，例如在近似精度（保真度[140, 279, 280]）方面，可以用來間接和定量地評(píng)估可解釋性[16]。

盡管有上述評(píng)估，可解釋性的直接定量測(cè)量仍然是一個(gè)問題。一些模型復(fù)雜性的簡單測(cè)量，如樹深度[46]和規(guī)則集的大小[202]，已經(jīng)被研究作為先前工作中的替代可解釋性指標(biāo)。我們認(rèn)為，統(tǒng)一的定量指標(biāo)是基礎(chǔ)AI研究的核心。最近關(guān)于機(jī)器學(xué)習(xí)模型復(fù)雜性[162]及其認(rèn)知功能復(fù)雜性[347]的研究可能會(huì)激發(fā)未來關(guān)于統(tǒng)一定量評(píng)估指標(biāo)的研究。

2.3.2 透明度。透明度要求披露系統(tǒng)的信息，并且在軟件工程中早已被認(rèn)為是一個(gè)要求[89, 207]。在AI行業(yè)中，這一要求自然涵蓋了AI系統(tǒng)的生命周期，并幫助利益相關(guān)者確認(rèn)適當(dāng)?shù)脑O(shè)計(jì)原則在其中得到體現(xiàn)。以一個(gè)用于識(shí)別的生物識(shí)別系統(tǒng)為例。用戶通常關(guān)心他們的生物識(shí)別信息被收集的目的以及如何使用。業(yè)務(wù)運(yùn)營者關(guān)心準(zhǔn)確性和對(duì)攻擊的魯棒性，以便他們可以控制風(fēng)險(xiǎn)。政府部門關(guān)心AI系統(tǒng)是否遵循指導(dǎo)方針和法規(guī)。總的來說，透明度是建立公眾對(duì)AI系統(tǒng)信任的基本要求[22, 178, 189]。

為了使AI系統(tǒng)的生命周期透明化，需要披露有關(guān)其創(chuàng)建的各種信息，包括設(shè)計(jì)目的、數(shù)據(jù)來源、硬件要求、配置、工作條件、預(yù)期用途和系統(tǒng)性能。一系列研究已經(jīng)通過適當(dāng)?shù)奈臋n檢查披露這些信息[22, 129, 156, 246, 265]。這在第3.5.1節(jié)中討論。最近開源系統(tǒng)的趨勢(shì)也顯著地促進(jìn)了AI系統(tǒng)的算法透明度。

由于AI系統(tǒng)的內(nèi)部程序復(fù)雜且動(dòng)態(tài)，關(guān)于其創(chuàng)建的事實(shí)不足以完全揭示其機(jī)制。因此，在各種場(chǎng)景中，還應(yīng)考慮運(yùn)行時(shí)過程和決策的透明度。對(duì)于一個(gè)交互式AI系統(tǒng)，適當(dāng)設(shè)計(jì)的用戶界面是披露底層決策程序的重要手段[10]。在許多安全關(guān)鍵系統(tǒng)中，如自動(dòng)駕駛車輛，日志系統(tǒng)[29, 261, 369]被廣泛采用來追蹤和分析系統(tǒng)執(zhí)行。

評(píng)估。盡管統(tǒng)一的定量評(píng)估尚不可用，但透明度的定性評(píng)估在AI行業(yè)中最近已經(jīng)取得了進(jìn)展。評(píng)估清單[10, 292]被視為評(píng)估和增強(qiáng)系統(tǒng)透明度的有效手段。在用戶或公眾心理學(xué)的背景下，用戶研究或A/B測(cè)試可以基于用戶滿意度提供有用的評(píng)估[249]。

近年來，人們還探索了AI文檔的質(zhì)量評(píng)估。一些研究[22, 129, 156, 246, 273]提出了標(biāo)準(zhǔn)實(shí)踐來指導(dǎo)和評(píng)估AI系統(tǒng)的文檔。參考文獻(xiàn)[265]總結(jié)了更具體評(píng)估的一般定性維度。

2.4 可重復(fù)性

現(xiàn)代AI研究涉及數(shù)學(xué)推導(dǎo)和計(jì)算實(shí)驗(yàn)。這些計(jì)算過程的可重復(fù)性是驗(yàn)證AI研究的關(guān)鍵步驟。在AI可信度方面，這種驗(yàn)證有助于檢測(cè)、分析和減輕AI系統(tǒng)中潛在風(fēng)險(xiǎn)，例如特定輸入的漏洞或意外的偏見。隨著AI研究社區(qū)開放合作生態(tài)系統(tǒng)的逐步建立，可重復(fù)性正成為研究人員和開發(fā)者關(guān)注的問題。除了使研究得到有效驗(yàn)證外，可重復(fù)性還允許社區(qū)快速將最新方法轉(zhuǎn)化為實(shí)踐或進(jìn)行后續(xù)研究。

AI研究社區(qū)出現(xiàn)了一種新趨勢(shì)，即在公布研究時(shí)將可重復(fù)性視為一項(xiàng)要求[142]。我們看到了主要會(huì)議，如神經(jīng)信息處理系統(tǒng)會(huì)議（NeurIPS）、國際機(jī)器學(xué)習(xí)會(huì)議（ICML）和ACM多媒體會(huì)議（ACMMM），引入了與可重復(fù)性相關(guān)的政策或程序[263]，以鼓勵(lì)工作的可重復(fù)性。為了獲得清晰的評(píng)估，ACM Artifact Review和參考文獻(xiàn)[106, 143]等作品中研究了可重復(fù)性的程度。例如，在參考文獻(xiàn)[143]中，最低程度的可重復(fù)性要求使用相同的實(shí)現(xiàn)和數(shù)據(jù)完全復(fù)制實(shí)驗(yàn)，而更高程度的要求使用不同的實(shí)現(xiàn)或數(shù)據(jù)。除了基本的研究驗(yàn)證外，更高程度的可重復(fù)性通過區(qū)分影響效果的關(guān)鍵因素，促進(jìn)了對(duì)研究的更好理解。

一些最近開發(fā)的大規(guī)模預(yù)訓(xùn)練AI模型，如生成預(yù)訓(xùn)練變換器3（GPT-3）和雙向編碼器表示從變換器（BERT），代表了AI研究可重復(fù)性的挑戰(zhàn)。這些模型的創(chuàng)建涉及專門設(shè)計(jì)的數(shù)據(jù)收集策略、大數(shù)據(jù)的有效存儲(chǔ)、分布式集群之間的通信和調(diào)度、算法實(shí)現(xiàn)、適當(dāng)?shù)能浖陀布h(huán)境以及其他類型的專業(yè)知識(shí)。這種模型的可重復(fù)性應(yīng)該在其整個(gè)生命周期中考慮。在最近關(guān)于機(jī)器學(xué)習(xí)可重復(fù)性的研究中，這一要求被分解為數(shù)據(jù)、方法和實(shí)驗(yàn)的可重復(fù)性[142, 143, 169]，后者涵蓋了代碼、文檔、軟件、硬件和部署配置等一系列生命周期工件?；谶@種方法，越來越多的機(jī)器學(xué)習(xí)平臺(tái)正在開發(fā)中，以幫助研究人員和開發(fā)者更好地以可重復(fù)的方式跟蹤生命周期[169, 374]。

評(píng)估?？芍貜?fù)性清單最近在機(jī)器學(xué)習(xí)會(huì)議中被廣泛采用，以評(píng)估提交的可重復(fù)性[263]。除了在出版物中復(fù)制實(shí)驗(yàn)外，參考文獻(xiàn)[142, 143]還指定了在不同程度上評(píng)估可重復(fù)性的清單。除了清單外，還采用了可重復(fù)性挑戰(zhàn)和可重復(fù)性論文軌道等機(jī)制來評(píng)估出版物的可重復(fù)性[118, 263]。為了在挑戰(zhàn)的背景下定量評(píng)估可重復(fù)性，已經(jīng)研究了一系列定量指標(biāo)。例如，參考文獻(xiàn)[53, 118]設(shè)計(jì)了指標(biāo)來量化信息檢索系統(tǒng)可以被復(fù)制到其原始狀態(tài)的程度。

2.5 公平性

當(dāng)AI系統(tǒng)在招聘、金融風(fēng)險(xiǎn)評(píng)估和面部識(shí)別等領(lǐng)域幫助我們時(shí)，它們決策中的系統(tǒng)性不公平可能對(duì)社會(huì)產(chǎn)生負(fù)面影響（例如，弱勢(shì)群體可能在招聘決策中經(jīng)歷系統(tǒng)性劣勢(shì)[49]，或在犯罪風(fēng)險(xiǎn)分析中受到不成比例的影響[104, 146, 161]）。這不僅損害了各利益相關(guān)者對(duì)AI的信任，也阻礙了AI技術(shù)為更大利益的發(fā)展和應(yīng)用。因此，實(shí)踐者必須牢記AI系統(tǒng)的公平性，以避免植入或加劇社會(huì)偏見[66, 105, 242]。

AI系統(tǒng)中公平性的一個(gè)共同目標(biāo)是減輕偏見的影響。減輕偏見并非易事，因?yàn)槠娍梢圆扇《喾N形式，如數(shù)據(jù)偏見、模型偏見和程序偏見，在開發(fā)和應(yīng)用AI系統(tǒng)的過程中[242]。偏見通常表現(xiàn)為基于人們的受保護(hù)信息（例如，性別、種族和民族）對(duì)不同群體的不公平對(duì)待。因此，群體身份（有時(shí)也稱為敏感變量）和系統(tǒng)響應(yīng)（預(yù)測(cè)）是影響偏見的兩個(gè)因素。在某些情況下，評(píng)估系統(tǒng)公平性時(shí)還應(yīng)考慮給定任務(wù)的客觀真實(shí)情況，例如，一個(gè)人的語言是否被正確識(shí)別或他們的面部是否被正確識(shí)別。

公平性可以適用于系統(tǒng)行為的多個(gè)粒度級(jí)別[66, 242, 339]。在每個(gè)粒度級(jí)別，我們可能關(guān)心分配公平或結(jié)果公平，或程序公平或過程公平（我們請(qǐng)讀者參閱參考文獻(xiàn)[137]以獲得更詳細(xì)的討論）。在每種情況下，我們通常關(guān)心AI系統(tǒng)的聚合行為及其中的偏見，這被稱為統(tǒng)計(jì)公平或群體公平。在某些應(yīng)用中，考慮個(gè)體公平或反事實(shí)公平也很有幫助，特別是當(dāng)敏感變量可以更容易地與其他應(yīng)合理決定系統(tǒng)預(yù)測(cè)的特征分離時(shí)[242]。雖然前者更廣泛地適用于各種機(jī)器學(xué)習(xí)任務(wù)，例如語音識(shí)別和面部識(shí)別，后者在諸如簡歷審查以篩選候選人[44]的情況下可能至關(guān)重要。

在群體層面，研究人員已經(jīng)確定了三個(gè)抽象原則來分類不同類型的公平性[66]。我們用一個(gè)簡單的招聘申請(qǐng)者的例子來說明它們，申請(qǐng)者來自一個(gè)由50%男性和50%女性申請(qǐng)者組成的群體，其中性別是敏感變量（例子改編自參考文獻(xiàn)[339, 388]）：

• 獨(dú)立性。這要求系統(tǒng)結(jié)果在統(tǒng)計(jì)上獨(dú)立于敏感變量。在我們的示例中，這要求男性和女性申請(qǐng)者的錄取率相等（稱為人口統(tǒng)計(jì)奇偶校驗(yàn)[376]；另見不同影響[117]）。

• 分離性。獨(dú)立性沒有考慮到真實(shí)情況與敏感變量之間的合理相關(guān)性（例如，可能更少的女性申請(qǐng)者比男性申請(qǐng)者更容易舉起100磅的貨物）。因此，分離性要求在給定潛在真實(shí)情況的條件下，獨(dú)立性原則成立。也就是說，如果工作要求體力資格，那么合格男性和女性申請(qǐng)者的錄取率應(yīng)該相等（稱為平等機(jī)會(huì)[147]；另見平等機(jī)會(huì)[43]和準(zhǔn)確性公平[95]）。

• 充分性。充分性同樣考慮了真實(shí)情況，但要求在給定相同系統(tǒng)預(yù)測(cè)的條件下，真實(shí)結(jié)果和敏感變量獨(dú)立。也就是說，鑒于模型預(yù)測(cè)的相同招聘決策，我們希望男性和女性申請(qǐng)者中合格申請(qǐng)者的比例相同（稱為測(cè)試公平[80, 147]）。這與模型校準(zhǔn)密切相關(guān)[266]。

請(qǐng)注意，這些原則在某些情況下是相互排斥的（例如，當(dāng)敏感變量與真實(shí)情況相關(guān)時(shí)，獨(dú)立性和分離性不能同時(shí)成立）。參考文獻(xiàn)[187]討論了各種公平性指標(biāo)之間的權(quán)衡。此外，參考文獻(xiàn)[84]提倡了這些原則的擴(kuò)展視圖，其中預(yù)測(cè)和真實(shí)結(jié)果的效用被納入考慮（例如，暴力犯罪再犯的風(fēng)險(xiǎn)和成本與拘留成本相比），并且可以與敏感變量相關(guān)聯(lián)。我們請(qǐng)讀者參閱這項(xiàng)工作以獲得更詳細(xì)的討論。

評(píng)估。盡管上一節(jié)概述的抽象標(biāo)準(zhǔn)很簡單，但公平性可以根據(jù)這些原則以許多不同形式表現(xiàn)（參見參考文獻(xiàn)[66, 356]進(jìn)行全面調(diào)查，以及參考文獻(xiàn)[228]關(guān)于AI倫理的清單）。我們根據(jù)模型和任務(wù)的屬性對(duì)公平性指標(biāo)進(jìn)行分類，以幫助讀者為他們的應(yīng)用選擇合適的指標(biāo)：

• 離散變量與連續(xù)變量。任務(wù)輸出、模型預(yù)測(cè)和敏感變量都可以是離散的（例如，分類和國籍）、排序的（例如，搜索引擎、推薦系統(tǒng)）或連續(xù)的（例如，回歸、分類器分?jǐn)?shù)、年齡等）?？梢允褂脴?biāo)準(zhǔn)統(tǒng)計(jì)工具（如相關(guān)系數(shù)（皮爾遜/肯德爾/斯皮爾曼）和方差分析（ANOVA））評(píng)估離散變量的經(jīng)驗(yàn)相關(guān)性，而連續(xù)變量通常還需要進(jìn)行分箱、量化或損失函數(shù)來評(píng)估公平性[66]。

• 損失函數(shù)。由于經(jīng)驗(yàn)數(shù)據(jù)的限制，公平性標(biāo)準(zhǔn)通常無法完全滿足（例如，在只招聘三名候選人時(shí)，群體之間的人口統(tǒng)計(jì)奇偶校驗(yàn)）。在這種情況下，損失函數(shù)很有用，可以衡量我們離經(jīng)驗(yàn)公平性有多遠(yuǎn)。損失函數(shù)的選擇可以由所關(guān)注變量的性質(zhì)來指導(dǎo)：如果變量代表概率，那么似然比更有意義（例如，不同影響[117]）；對(duì)于實(shí)值回歸，可以使用每個(gè)群體聚合到真實(shí)值的平均距離差異來表示我們是否對(duì)一個(gè)群體的建模顯著優(yōu)于另一個(gè)群體[59]。

• 多個(gè)敏感變量。在許多應(yīng)用中，理想的AI系統(tǒng)應(yīng)該對(duì)多個(gè)敏感變量公平（例如，貸款風(fēng)險(xiǎn)的預(yù)測(cè)應(yīng)該在性別和種族方面都公平；此外，推薦系統(tǒng)理想情況下應(yīng)該對(duì)用戶和被推薦者都公平）?？梢苑謩e評(píng)估每個(gè)變量的公平性，并結(jié)合損失函數(shù)進(jìn)行最終評(píng)估，或者探索所有變量的完整笛卡爾積[307]以實(shí)現(xiàn)聯(lián)合公平，這通常需要更多的經(jīng)驗(yàn)觀察，但傾向于滿足更強(qiáng)的倫理要求。

2.6 隱私保護(hù)

隱私保護(hù)主要指的是防止未經(jīng)授權(quán)使用能夠直接或間接識(shí)別個(gè)人或家庭的數(shù)據(jù)。這些數(shù)據(jù)涵蓋了廣泛的信息，包括姓名、年齡、性別、面部圖像、指紋等。對(duì)隱私保護(hù)的承諾被視為決定AI系統(tǒng)可信度的一個(gè)重要因素。最近發(fā)布的AI倫理指南也強(qiáng)調(diào)隱私是關(guān)鍵關(guān)注點(diǎn)之一[9, 178]。政府機(jī)構(gòu)正在制定越來越多的政策來規(guī)范數(shù)據(jù)隱私。《通用數(shù)據(jù)保護(hù)條例》（GDPR）就是一個(gè)代表性的法律框架，它推動(dòng)企業(yè)采取有效措施保護(hù)用戶隱私。

除了企業(yè)內(nèi)部的隱私保護(hù)之外，最近在AI利益相關(guān)者之間進(jìn)行數(shù)據(jù)交換的發(fā)展為隱私保護(hù)帶來了新的挑戰(zhàn)。例如，在訓(xùn)練一個(gè)醫(yī)學(xué)AI模型時(shí)，每個(gè)醫(yī)療機(jī)構(gòu)通常只有來自當(dāng)?shù)鼐用竦臄?shù)據(jù)，這可能不足以滿足需求。這導(dǎo)致了與其他機(jī)構(gòu)合作并聯(lián)合訓(xùn)練模型的需求[299]，同時(shí)不泄露機(jī)構(gòu)間的私人信息。

現(xiàn)有的保護(hù)技術(shù)貫穿AI系統(tǒng)的整個(gè)生命周期，以解決日益增長的隱私問題。在第3節(jié)中，我們簡要回顧了在數(shù)據(jù)收集和處理、模型訓(xùn)練（第3.2.5節(jié)）以及模型部署（第3.4.4節(jié)）中保護(hù)隱私的技術(shù)。隱私保護(hù)的實(shí)現(xiàn)也與可信AI的其他方面相關(guān)。例如，透明度原則在AI系統(tǒng)中被廣泛使用。它告知用戶個(gè)人數(shù)據(jù)收集情況，并啟用隱私設(shè)置。在開發(fā)隱私保護(hù)機(jī)器學(xué)習(xí)軟件（如聯(lián)邦學(xué)習(xí)，例如FATE和PySyft）時(shí)，開源是一種常見的做法，以增加透明度并證明系統(tǒng)的保護(hù)性。

評(píng)估。像GDPR這樣的數(shù)據(jù)隱私保護(hù)法律要求，如果任何數(shù)據(jù)處理對(duì)數(shù)據(jù)隱私構(gòu)成風(fēng)險(xiǎn)，則必須進(jìn)行數(shù)據(jù)保護(hù)影響評(píng)估（DPIA）。必須采取措施解決與風(fēng)險(xiǎn)相關(guān)的擔(dān)憂，并證明遵守法律[10]。需要讓數(shù)據(jù)隱私保護(hù)專業(yè)人士和其他利益相關(guān)者參與評(píng)估。

以前的研究已經(jīng)設(shè)計(jì)了各種數(shù)學(xué)方法來正式驗(yàn)證隱私保護(hù)方法的保護(hù)性。典型的驗(yàn)證可以在半誠實(shí)安全等假設(shè)下進(jìn)行，這意味著所有參與方都遵循協(xié)議執(zhí)行計(jì)算任務(wù)，但可能試圖從計(jì)算的中間結(jié)果中推斷其他方的數(shù)據(jù)（例如，參考文獻(xiàn)[215]）。更嚴(yán)格的假設(shè)是惡意攻擊假設(shè)，其中每個(gè)參與方不需要遵循給定的協(xié)議，并且可以采取任何可能的措施來推斷數(shù)據(jù)[214]。

在實(shí)際場(chǎng)景中，通常會(huì)考慮隱私泄露風(fēng)險(xiǎn)的實(shí)證評(píng)估[283, 360]。例如，參考文獻(xiàn)[283]表明，15個(gè)人口統(tǒng)計(jì)屬性足以使99%的參與者具有唯一性。在設(shè)計(jì)數(shù)據(jù)收集計(jì)劃時(shí)，對(duì)這種數(shù)據(jù)重新識(shí)別的評(píng)估直觀地反映了保護(hù)性。

2.7 責(zé)任性：對(duì)上述要求的全面評(píng)估

我們已經(jīng)描述了一系列建立可信AI的要求。責(zé)任性涉及對(duì)AI系統(tǒng)遵循這些要求的規(guī)范。隨著AI治理的法律和制度規(guī)范的逐步完善，責(zé)任性成為AI以可信度持續(xù)造福社會(huì)的關(guān)鍵因素[100]。

責(zé)任性貫穿AI系統(tǒng)的整個(gè)生命周期，并要求AI系統(tǒng)的利益相關(guān)者有義務(wù)證明他們的設(shè)計(jì)、實(shí)施和運(yùn)營與人類價(jià)值觀一致。在執(zhí)行層面，這種證明通過考慮周到的產(chǎn)品設(shè)計(jì)、可靠的技術(shù)架構(gòu)、對(duì)潛在影響的負(fù)責(zé)任評(píng)估以及對(duì)這些方面的信息披露來實(shí)現(xiàn)[209]。請(qǐng)注意，在信息披露方面，透明度為促進(jìn)AI系統(tǒng)的責(zé)任性提供了基本機(jī)制[94, 100]。

從責(zé)任性還衍生出可審計(jì)性的概念，它要求對(duì)系統(tǒng)的證明進(jìn)行審查、評(píng)估和審計(jì)[209]。算法審計(jì)是確保AI系統(tǒng)責(zé)任性并評(píng)估其對(duì)多維度人類價(jià)值觀影響的一種公認(rèn)方法[272]。另見第3.5.2節(jié)。

評(píng)估?；谇鍐蔚脑u(píng)估已被研究用于定性評(píng)估責(zé)任性和可審計(jì)性[10, 315]。如本節(jié)所述，我們將責(zé)任性視為對(duì)可信AI每個(gè)具體要求的全面證明。其實(shí)現(xiàn)由對(duì)AI系統(tǒng)生命周期中這些要求的評(píng)估組成[272]。因此，責(zé)任性的評(píng)估反映了這些可信度要求及其影響在多大程度上可以被評(píng)估。

3 可信AI：系統(tǒng)化方法

我們?cè)诘?節(jié)介紹了與可信AI相關(guān)的概念。自2010年代初以來，不同的AI利益相關(guān)者一直在努力提高AI的可信度。在我們的附錄A中，我們簡要回顧了他們?cè)诙鄬W(xué)科領(lǐng)域的最新實(shí)踐，包括研究、工程和監(jiān)管，以及在人臉識(shí)別、自動(dòng)駕駛和自然語言處理（NLP）等工業(yè)應(yīng)用中的示例研究。這些實(shí)踐在提高AI可信度方面取得了重要進(jìn)展。然而，我們發(fā)現(xiàn)，從工業(yè)角度來看，這項(xiàng)工作仍然不足。如第1節(jié)和圖2所示，AI行業(yè)處于連接多學(xué)科領(lǐng)域以建立可信AI的位置。這一位置要求工業(yè)利益相關(guān)者學(xué)習(xí)和組織這些多學(xué)科方法，并確保AI在其生命周期中的可信度。

在本節(jié)中，我們簡要回顧了用于構(gòu)建可信AI產(chǎn)品的技術(shù)，并從工業(yè)角度將其組織到產(chǎn)品開發(fā)的生命周期中。如圖2中的實(shí)線框所示，典型AI產(chǎn)品的開發(fā)生命周期可以分為數(shù)據(jù)準(zhǔn)備、算法設(shè)計(jì)、開發(fā)-部署和管理[26]。我們回顧了在每個(gè)生命周期階段與AI產(chǎn)品可信度密切相關(guān)的幾個(gè)關(guān)鍵算法、指南和政府法規(guī)，旨在為來自不同背景的實(shí)踐者提供系統(tǒng)化的方法和易于遵循的指南，以建立可信AI。本節(jié)中提到的方法和文獻(xiàn)總結(jié)在圖3和表1中。

3.1 數(shù)據(jù)準(zhǔn)備

當(dāng)前的AI技術(shù)在很大程度上是由數(shù)據(jù)驅(qū)動(dòng)的。數(shù)據(jù)的適當(dāng)管理和利用不僅提高了AI系統(tǒng)的性能，還影響了其可信度。在本節(jié)中，我們考慮數(shù)據(jù)準(zhǔn)備的兩個(gè)主要方面，即數(shù)據(jù)收集和數(shù)據(jù)預(yù)處理。我們還討論了與可信AI相對(duì)應(yīng)的要求。

3.1.1 數(shù)據(jù)收集

數(shù)據(jù)收集是AI系統(tǒng)生命周期的基礎(chǔ)階段。精心設(shè)計(jì)的數(shù)據(jù)收集策略可以提高AI可信度，例如在公平性和可解釋性方面。

• 偏見緩解：訓(xùn)練和評(píng)估數(shù)據(jù)被認(rèn)為是AI系統(tǒng)的常見偏見來源?？赡艽嬖谠S多類型的偏見，并困擾數(shù)據(jù)收集中的公平性，需要不同的過程和技術(shù)來對(duì)抗它（參見參考文獻(xiàn)[242]進(jìn)行全面調(diào)查）。

  在數(shù)據(jù)收集期間的偏見緩解技術(shù)可以分為兩大類：去偏見采樣和去偏見標(biāo)注。前者涉及識(shí)別要使用或標(biāo)注的數(shù)據(jù)點(diǎn)，而后者側(cè)重于選擇合適的標(biāo)注者。

  在采樣數(shù)據(jù)點(diǎn)進(jìn)行標(biāo)注時(shí)，我們注意到反映用戶群體的數(shù)據(jù)集并不能保證公平性，因?yàn)榻y(tǒng)計(jì)方法和指標(biāo)可能偏向多數(shù)群體。如果多數(shù)群體在任務(wù)上更同質(zhì)（例如，由于數(shù)據(jù)稀缺，識(shí)別較少聽說的口音的語音可能自然更困難[191]），這種偏見可能會(huì)進(jìn)一步放大。因此，系統(tǒng)開發(fā)人員在開發(fā)和評(píng)估公平的AI系統(tǒng)時(shí)應(yīng)考慮任務(wù)難度。然而，為代表性不足的數(shù)據(jù)選擇合適的標(biāo)注者尤其重要（例如，在標(biāo)注語音識(shí)別數(shù)據(jù)時(shí)，大多數(shù)人也難以識(shí)別很少聽到的口音）。因此，在為代表性不足的群體標(biāo)注數(shù)據(jù)時(shí)，必須注意選擇合適的專家，以防止人為偏見滲入標(biāo)注數(shù)據(jù)。

• 解釋收集：除了模型設(shè)計(jì)和開發(fā)外，數(shù)據(jù)收集對(duì)于構(gòu)建可解釋的AI系統(tǒng)也至關(guān)重要。如將在第3.2.3節(jié)中提到的，向AI模型添加解釋任務(wù)可以幫助解釋模型的中間特征。這種策略在基于NLP的閱讀理解任務(wù)中使用，通過生成支持句子[332, 366]。為了訓(xùn)練解釋任務(wù)，考慮收集可能不是最終任務(wù)一部分的解釋或信息是有幫助的，可以直接從標(biāo)注者[354]那里收集，或者借助自動(dòng)化方法[185]。

• 數(shù)據(jù)來源：數(shù)據(jù)來源要求記錄數(shù)據(jù)血統(tǒng)，包括來源、依賴關(guān)系、上下文和處理步驟[306]。通過以最高分辨率跟蹤數(shù)據(jù)血統(tǒng)，數(shù)據(jù)來源可以提高AI系統(tǒng)的透明度、可重復(fù)性和責(zé)任性[154, 172]。此外，最近的研究表明，數(shù)據(jù)來源可以用來緩解數(shù)據(jù)投毒[33]，從而增強(qiáng)AI系統(tǒng)的魯棒性和安全性。數(shù)據(jù)來源的技術(shù)實(shí)現(xiàn)已在參考文獻(xiàn)[154]中提供。針對(duì)涉及AI系統(tǒng)的具體場(chǎng)景，也研究了工具鏈[293]和文檔[129]指南。

  為確保來源的防篡改性，最近區(qū)塊鏈被認(rèn)為是證明AI中數(shù)據(jù)來源的有前途的工具[15, 96]。

3.1.2 數(shù)據(jù)預(yù)處理

在將數(shù)據(jù)輸入AI模型之前，數(shù)據(jù)預(yù)處理有助于去除可能損害模型行為和可能危害用戶隱私的不一致污染。

• 異常檢測(cè)：異常檢測(cè)（也稱為離群點(diǎn)檢測(cè)）一直是機(jī)器學(xué)習(xí)[70, 81, 257, 316]中的活躍領(lǐng)域。由于機(jī)器學(xué)習(xí)模型對(duì)離群數(shù)據(jù)的敏感性，通過異常檢測(cè)進(jìn)行數(shù)據(jù)清洗是提高性能的有效方法。在最近的研究中，異常檢測(cè)已被證明在滿足AI可信度的一些要求方面是有用的。例如，欺詐性數(shù)據(jù)可能挑戰(zhàn)銀行和保險(xiǎn)等領(lǐng)域系統(tǒng)的魯棒性和安全性。為解決這一問題，已提出了各種方法，使用異常檢測(cè)[70]。檢測(cè)和緩解對(duì)抗性輸入也被認(rèn)為是防御規(guī)避攻擊和數(shù)據(jù)投毒攻擊的一種手段[12, 213, 304]。值得注意的是，在高維度（例如，圖像）中檢測(cè)的有效性仍然有限[64]。對(duì)抗性攻擊的緩解也被稱為數(shù)據(jù)凈化[71, 87, 258]。

• 數(shù)據(jù)匿名化（DA）：DA修改數(shù)據(jù)，使得受保護(hù)的私人信息無法恢復(fù)。已經(jīng)開發(fā)了不同的定量數(shù)據(jù)匿名化原則，如k-匿名性[288]，(c, k)-安全性[236]，和δ-存在性[253]。特定于數(shù)據(jù)格式的DA方法已經(jīng)研究了幾十年[171, 372, 386]。例如，社交網(wǎng)絡(luò)圖數(shù)據(jù)中的私人信息可能包含在圖的頂點(diǎn)屬性、鏈接關(guān)系、權(quán)重或其他圖度量中[390]。文獻(xiàn)中已經(jīng)考慮了匿名化此類數(shù)據(jù)的方法[37, 220]。還為關(guān)系數(shù)據(jù)[262]、集合值數(shù)據(jù)[151, 320]和圖像數(shù)據(jù)[97, 239]設(shè)計(jì)了特定的DA方法。已經(jīng)制定了數(shù)據(jù)匿名化的指南和標(biāo)準(zhǔn)，如美國HIPAA和英國ISB1523。數(shù)據(jù)假名化[251]也是GDPR推廣的相關(guān)技術(shù)。它用非識(shí)別性引用替換私人信息。

  理想的數(shù)據(jù)匿名化應(yīng)該能夠免疫于試圖從匿名化數(shù)據(jù)中恢復(fù)私人信息的數(shù)據(jù)去匿名化或重新識(shí)別攻擊[111, 175]。

例如，參考文獻(xiàn)[176]介紹了幾種用于從圖數(shù)據(jù)中去匿名化用戶信息的方法。為了降低隱私泄露的風(fēng)險(xiǎn)，參考文獻(xiàn)[174]提供了一個(gè)開源平臺(tái)，用于評(píng)估圖數(shù)據(jù)匿名化算法在面對(duì)去匿名化攻擊時(shí)的隱私保護(hù)相關(guān)性能。

差分隱私（DP）。差分隱私在保留數(shù)據(jù)集中群體信息的同時(shí)，隱藏個(gè)體樣本的信息[108–110]。典型的差分隱私可以通過ε-差分隱私來正式定義。它衡量一個(gè)（隨機(jī)化的）統(tǒng)計(jì)函數(shù)在數(shù)據(jù)集上反映是否移除一個(gè)元素的程度[108]。差分隱私已經(jīng)在各種數(shù)據(jù)發(fā)布任務(wù)中被探索，例如日志數(shù)據(jù)[159, 385]、集合值數(shù)據(jù)[76]、相關(guān)網(wǎng)絡(luò)數(shù)據(jù)[75]和眾包數(shù)據(jù)[278, 344]。它還被應(yīng)用于單機(jī)和多機(jī)計(jì)算環(huán)境，并與機(jī)器學(xué)習(xí)模型集成以保護(hù)模型隱私[2, 120, 349]。像蘋果這樣的企業(yè)已經(jīng)使用差分隱私將用戶數(shù)據(jù)轉(zhuǎn)換成無法還原真實(shí)數(shù)據(jù)的形式[21]。在參考文獻(xiàn)[113]中，研究人員提出了滿足差分隱私定義的RAPPOR算法。該算法用于眾包用戶軟件的統(tǒng)計(jì)分析。差分隱私還被用于提高人工智能模型對(duì)抗對(duì)抗樣本的魯棒性[204]。

3.2 算法設(shè)計(jì)

在人工智能研究的背景下，可信人工智能的許多方面已經(jīng)被視為算法問題，并引起了廣泛的關(guān)注。我們根據(jù)人工智能可信性的相應(yīng)方面對(duì)最近的技術(shù)方法進(jìn)行分類，包括魯棒性、可解釋性、公平性、泛化能力和隱私保護(hù)，以便為從業(yè)者提供快速參考。

3.2.1 對(duì)抗魯棒性 人工智能模型的魯棒性受到訓(xùn)練數(shù)據(jù)和所使用算法的顯著影響。我們?cè)诒竟?jié)中描述了幾個(gè)代表性方向?？梢栽谖墨I(xiàn)中找到全面的綜述，例如參考文獻(xiàn)[12, 19, 45, 69, 213, 304, 373]。

對(duì)抗訓(xùn)練。自發(fā)現(xiàn)對(duì)抗攻擊以來，人們認(rèn)識(shí)到通過在訓(xùn)練數(shù)據(jù)中添加對(duì)抗樣本是防御對(duì)抗攻擊的一種直觀方法。這通常被稱為對(duì)抗訓(xùn)練[134, 211, 346]?？梢酝ㄟ^在訓(xùn)練過程中同時(shí)輸入原始數(shù)據(jù)和對(duì)抗樣本以暴力方式實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)[201]，也可以通過使用正則化項(xiàng)來隱式表示對(duì)抗樣本[134]。傳統(tǒng)的對(duì)抗訓(xùn)練針對(duì)特定攻擊增強(qiáng)數(shù)據(jù)。它可以防御相應(yīng)的攻擊，但對(duì)其他類型的攻擊存在漏洞。已經(jīng)研究了各種改進(jìn)方法以增強(qiáng)這種防御[45, 229, 304]。參考文獻(xiàn)[328]通過從其他模型轉(zhuǎn)移對(duì)抗擾動(dòng)來增強(qiáng)訓(xùn)練數(shù)據(jù)。研究表明，這可以進(jìn)一步防御不需要模型參數(shù)知識(shí)的黑盒攻擊。這有助于防御不需要模型參數(shù)知識(shí)的黑盒攻擊。參考文獻(xiàn)[231]將多種類型的擾動(dòng)結(jié)合到對(duì)抗訓(xùn)練中，以增強(qiáng)模型對(duì)多種攻擊類型的魯棒性。

對(duì)抗正則化。除了隱式表示對(duì)抗樣本的正則化項(xiàng)外，最近的研究進(jìn)一步探索網(wǎng)絡(luò)結(jié)構(gòu)或正則化，以克服深度神經(jīng)網(wǎng)絡(luò)對(duì)對(duì)抗攻擊的漏洞。這種正則化的直觀動(dòng)機(jī)是防止網(wǎng)絡(luò)輸出在小輸入擾動(dòng)的情況下發(fā)生劇烈變化。例如，參考文獻(xiàn)[139]通過懲罰每一層的較大偏導(dǎo)數(shù)來提高其輸出的穩(wěn)定性。參考文獻(xiàn)[286]采用了類似的梯度正則化。Parseval網(wǎng)絡(luò)[82]通過在每一層施加Lipschitz常數(shù)的正則化來訓(xùn)練網(wǎng)絡(luò)。

認(rèn)證魯棒性。對(duì)抗訓(xùn)練和正則化在實(shí)踐中提高了人工智能模型的魯棒性，但無法從理論上保證這些模型能夠可靠地工作。這個(gè)問題促使研究正式驗(yàn)證模型的魯棒性（即認(rèn)證魯棒性）。最近關(guān)于認(rèn)證魯棒性的研究集中在處理輸入擾動(dòng)的魯棒訓(xùn)練上。例如，CNN-Cert[51]、CROWN[379]、Fast-lin和Fast-lip[352]旨在最小化在給定輸入擾動(dòng)下最壞情況損失的上界。參考文獻(xiàn)[152]則推導(dǎo)出改變分類器決策所需的輸入操作的下界，并將其作為魯棒訓(xùn)練的正則化項(xiàng)。為了應(yīng)對(duì)在大型網(wǎng)絡(luò)中精確計(jì)算這些界限的計(jì)算不可行性問題，各種松弛或近似方法，如參考文獻(xiàn)[352, 378]，已被提出作為正則化的替代方案。需要注意的是，上述研究主要僅在給定訓(xùn)練數(shù)據(jù)附近局部優(yōu)化魯棒性。為了在未見輸入上實(shí)現(xiàn)認(rèn)證魯棒性，全局魯棒性最近引起了人工智能界的關(guān)注[77, 206]。

值得注意的是，認(rèn)證魯棒性與形式化驗(yàn)證視角的交叉研究的最新趨勢(shì)，其目標(biāo)是為軟件正確性保證開發(fā)嚴(yán)格的數(shù)學(xué)規(guī)范和驗(yàn)證技術(shù)[83]。參考文獻(xiàn)[335]最近的一項(xiàng)綜述對(duì)神經(jīng)網(wǎng)絡(luò)的形式化驗(yàn)證進(jìn)行了全面回顧。

投毒防御。典型的投毒或后門攻擊通過污染訓(xùn)練數(shù)據(jù)來誤導(dǎo)模型行為。除了在數(shù)據(jù)清理階段避免可疑數(shù)據(jù)外，針對(duì)投毒數(shù)據(jù)的防御算法是一個(gè)活躍的研究領(lǐng)域[213]。這種防御已經(jīng)在深度神經(jīng)網(wǎng)絡(luò)模型的不同階段進(jìn)行了研究。例如，基于觀察到與后門相關(guān)的神經(jīng)元通常對(duì)良性樣本處于非激活狀態(tài)，參考文獻(xiàn)[219]提出從網(wǎng)絡(luò)中剪枝這些神經(jīng)元以移除隱藏的后門。Neural Cleanse[342]積極發(fā)現(xiàn)模型中的后門模式。然后可以通過從數(shù)據(jù)中早期檢測(cè)后門模式或重新訓(xùn)練模型以減輕后門來避免后門。還可以通過對(duì)模型在特別設(shè)計(jì)的基準(zhǔn)輸入上的預(yù)測(cè)進(jìn)行分析來檢測(cè)后門攻擊[194]。

3.2.2 模型泛化 模型泛化技術(shù)不僅旨在提高模型性能，還探索在有限數(shù)據(jù)和有限成本下訓(xùn)練人工智能模型。我們回顧了模型泛化的代表性方法，分為經(jīng)典泛化和領(lǐng)域泛化。

經(jīng)典泛化機(jī)制。作為模型泛化理論的一個(gè)基本原則，偏差-方差權(quán)衡表明，一個(gè)泛化的模型應(yīng)該在欠擬合和過擬合之間保持平衡[39, 124]。對(duì)于一個(gè)過擬合的模型，降低復(fù)雜性/容量可能會(huì)導(dǎo)致更好的泛化。以神經(jīng)網(wǎng)絡(luò)為例，向其中添加瓶頸層（該層的神經(jīng)元數(shù)量少于上下層）可以幫助降低模型復(fù)雜性并減少過擬合。

除了調(diào)整模型的架構(gòu)外，還可以通過各種顯式或隱式正則化來減輕過擬合，以獲得更好的泛化，例如提前停止[370]、批量歸一化[167]、Dropout[309]、數(shù)據(jù)增強(qiáng)和權(quán)重衰減[196]。這些正則化是當(dāng)訓(xùn)練數(shù)據(jù)的規(guī)模遠(yuǎn)小于模型參數(shù)數(shù)量時(shí)提高模型泛化的標(biāo)準(zhǔn)技術(shù)[337]。它們旨在將學(xué)習(xí)推向具有可管理復(fù)雜性的假設(shè)子空間，并降低模型復(fù)雜性[377]。然而，[377]還觀察到，顯式正則化可能提高泛化性能，但不足以降低泛化誤差。因此，深度神經(jīng)網(wǎng)絡(luò)的泛化仍然是一個(gè)開放性問題。

領(lǐng)域泛化。現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)面臨的挑戰(zhàn)之一是它們對(duì)分布外數(shù)據(jù)的泛化。這一挑戰(zhàn)源于各種實(shí)際人工智能任務(wù)[343, 391]，在遷移學(xué)習(xí)領(lǐng)域[255, 350]中尤為突出。領(lǐng)域適應(yīng)[343, 391]旨在找到領(lǐng)域不變的特征，使得算法能夠在不同領(lǐng)域?qū)崿F(xiàn)類似的性能。另一個(gè)例子是，少樣本學(xué)習(xí)的目標(biāo)是僅使用少量樣本將模型泛化到新任務(wù)[78, 348, 371]。元學(xué)習(xí)[336]嘗試從多個(gè)相似任務(wù)中學(xué)習(xí)泛化的先驗(yàn)知識(shí)。特征相似性[190, 308]已被用作知識(shí)先驗(yàn)的代表性類型，例如在模型無關(guān)元學(xué)習(xí)（MAML）[119]、強(qiáng)化學(xué)習(xí)[212]和記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)[38, 291]等工作中。

模型預(yù)訓(xùn)練是一種利用其他領(lǐng)域所學(xué)知識(shí)的流行機(jī)制，并在學(xué)術(shù)界和工業(yè)界都取得了日益成功的成果。例如，在計(jì)算機(jī)視覺中，一個(gè)成功的范式是在大規(guī)模數(shù)據(jù)集（如ImageNet）上預(yù)訓(xùn)練模型，然后在目標(biāo)任務(wù)上微調(diào)，這些目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)較少[131, 224, 375]。這是因?yàn)轭A(yù)訓(xùn)練的特征表示可以用于將信息轉(zhuǎn)移到目標(biāo)任務(wù)[375]。無監(jiān)督預(yù)訓(xùn)練最近在語言處理（例如BERT[92]和GPT[269]）和計(jì)算機(jī)視覺任務(wù)（例如Momentum Contrast（MoCo）[150]和序列對(duì)比學(xué)習(xí)（SeCo）[368]）中取得了巨大成功。此外，自監(jiān)督學(xué)習(xí)為學(xué)習(xí)跨模態(tài)特征表示提供了一個(gè)良好的機(jī)制。這些包括視覺和語言模型VL-BERT[313]和Auto-CapTIONs[256]。為了說明無監(jiān)督預(yù)訓(xùn)練的有效性，[112]進(jìn)行了一系列實(shí)驗(yàn)，說明它可以驅(qū)動(dòng)學(xué)習(xí)進(jìn)入產(chǎn)生更好泛化的最小值盆地。

3.2.3 可解釋的機(jī)器學(xué)習(xí) 在本節(jié)中，我們回顧了第2.3.1節(jié)中提到的機(jī)器學(xué)習(xí)可解釋性的兩個(gè)方面的代表性方法及其在不同任務(wù)中的應(yīng)用。

可解釋機(jī)器學(xué)習(xí)模型設(shè)計(jì)。盡管被認(rèn)為在性能方面存在劣勢(shì)，但可解釋模型近年來得到了積極研究，并且研究了各種完全或部分可解釋的機(jī)器學(xué)習(xí)模型，以推動(dòng)它們的性能極限。

自解釋機(jī)器學(xué)習(xí)模型。多年來，機(jī)器學(xué)習(xí)領(lǐng)域研究了許多自解釋模型。其中的代表性模型包括KNN、線性/邏輯回歸、決策樹/規(guī)則以及概率圖模型[24, 47, 141, 250]。需要注意的是，這些模型的自解釋性有時(shí)會(huì)因其復(fù)雜性而受到損害。例如，非常復(fù)雜的樹結(jié)構(gòu)或規(guī)則結(jié)構(gòu)有時(shí)可能被認(rèn)為難以理解或無法解釋。

除了傳統(tǒng)模型外，一些其他學(xué)習(xí)范式也被認(rèn)為是可解釋的，例如因果推斷[197, 259]和知識(shí)圖譜[345]。這些方法也有望為解決機(jī)器學(xué)習(xí)的可解釋性問題提供寶貴的啟示。

超越自解釋機(jī)器學(xué)習(xí)模型。與深度神經(jīng)網(wǎng)絡(luò)（DNN）等黑盒模型相比，傳統(tǒng)自解釋模型在復(fù)雜任務(wù)（如圖像分類和文本理解）上的性能較差。為了在可解釋性和性能之間取得平衡，提出了自解釋模型和黑盒模型的混合組合。一種典型的設(shè)計(jì)是將可解釋的瓶頸模型嵌入到DNN中。例如，先前的研究已經(jīng)將線性模型和原型選擇嵌入到DNN中[16, 20, 73]。在著名的類別激活映射[389]中，DNN末端的平均池化層也可以被視為一個(gè)可解釋的線性瓶頸。注意力機(jī)制[30, 363]也引起了最近的關(guān)注，并在一些研究中被視作DNN中的可解釋瓶頸[79, 237]。然而，這一觀點(diǎn)仍在爭(zhēng)論之中，因?yàn)榇聿煌忉尩淖⒁饬?quán)重可能會(huì)產(chǎn)生類似的最終預(yù)測(cè)結(jié)果[170, 355]。

事后模型解釋。除了設(shè)計(jì)自解釋模型外，理解黑盒模型是如何做出特定決策的也是一個(gè)重要問題。針對(duì)這一問題的研究大部分集中在事后模型解釋的方法論上，并提出了各種方法。

解釋器近似旨在用可解釋的模型來模仿給定模型的行為。這也可以被稱為模型的全局解釋。為了近似機(jī)器學(xué)習(xí)模型，已經(jīng)提出了多種方法，例如隨機(jī)森林[317, 392]和神經(jīng)網(wǎng)絡(luò)[28, 86, 393]。隨著過去十年深度學(xué)習(xí)的興起，DNN上的解釋器近似已經(jīng)發(fā)展為樹等解釋器上的知識(shí)蒸餾問題[125, 384]。

3.2.4 算法公平性。在算法開發(fā)過程中減少人工智能模型偏見的方法可以在數(shù)據(jù)輸入模型之前（預(yù)處理）、模型訓(xùn)練時(shí)（中處理）或模型訓(xùn)練后對(duì)模型預(yù)測(cè)進(jìn)行干預(yù)（后處理）。

預(yù)處理方法。除了對(duì)數(shù)據(jù)收集過程進(jìn)行去偏見處理外，我們還可以在模型訓(xùn)練之前對(duì)數(shù)據(jù)進(jìn)行去偏見處理。常見方法包括：

• 調(diào)整樣本重要性。如果對(duì)數(shù)據(jù)收集過程去偏見不足或不再可能，這將特別有幫助。常見方法包括重采樣[6]，涉及選擇數(shù)據(jù)的一個(gè)子集；重加權(quán)[60]，涉及為數(shù)據(jù)樣本分配不同的重要性值；以及對(duì)抗學(xué)習(xí)[229]，可以通過借助訓(xùn)練有素的模型進(jìn)行重采樣或重加權(quán)來實(shí)現(xiàn)，以找到違規(guī)案例。除了有助于平衡分類準(zhǔn)確性外，這些方法還可以應(yīng)用于平衡分類錯(cuò)誤的成本，以提高某些群體的性能[163]（例如，在篩查高度傳染性和嚴(yán)重疾病時(shí)，假陰性可能比假陽性代價(jià)更高；參見成本敏感學(xué)習(xí)[321]）。

• 調(diào)整特征重要性。特征與敏感變量之間的偶然相關(guān)性可能導(dǎo)致不公平。去偏見的常見方法包括表示轉(zhuǎn)換[61]，可以幫助調(diào)整特征的相對(duì)重要性；以及屏蔽[74]，省略與敏感變量直接相關(guān)的特征。

• 數(shù)據(jù)增強(qiáng)。除了直接使用現(xiàn)有的數(shù)據(jù)樣本外，還可以引入額外的樣本，通常涉及對(duì)現(xiàn)有樣本進(jìn)行更改，包括通過擾動(dòng)和重新標(biāo)記[60, 85]。

自解釋機(jī)器學(xué)習(xí)模型。多年來，機(jī)器學(xué)習(xí)領(lǐng)域研究了許多自解釋模型。其中的代表性模型包括KNN、線性/邏輯回歸、決策樹/規(guī)則以及概率圖模型[24, 47, 141, 250]。需要注意的是，這些模型的自解釋性有時(shí)會(huì)因其復(fù)雜性而受到損害。例如，非常復(fù)雜的樹結(jié)構(gòu)或規(guī)則結(jié)構(gòu)有時(shí)可能被認(rèn)為難以理解或無法解釋。

除了傳統(tǒng)模型外，一些其他學(xué)習(xí)范式也被認(rèn)為是可解釋的，例如因果推斷[197, 259]和知識(shí)圖譜[345]。這些方法也有望為解決機(jī)器學(xué)習(xí)的可解釋性問題提供寶貴的啟示。

超越自解釋機(jī)器學(xué)習(xí)模型。與深度神經(jīng)網(wǎng)絡(luò)（DNN）等黑盒模型相比，傳統(tǒng)自解釋模型在復(fù)雜任務(wù)（如圖像分類和文本理解）上的性能較差。為了在可解釋性和性能之間取得平衡，提出了自解釋模型和黑盒模型的混合組合。一種典型的設(shè)計(jì)是將可解釋的瓶頸模型嵌入到DNN中。例如，先前的研究已經(jīng)將線性模型和原型選擇嵌入到DNN中[16, 20, 73]。在著名的類別激活映射[389]中，DNN末端的平均池化層也可以被視為一個(gè)可解釋的線性瓶頸。注意力機(jī)制[30, 363]也引起了最近的關(guān)注，并在一些研究中被視作DNN中的可解釋瓶頸[79, 237]。然而，這一觀點(diǎn)仍在爭(zhēng)論之中，因?yàn)榇聿煌忉尩淖⒁饬?quán)重可能會(huì)產(chǎn)生類似的最終預(yù)測(cè)結(jié)果[170, 355]。

事后模型解釋。除了設(shè)計(jì)自解釋模型外，理解黑盒模型是如何做出特定決策的也是一個(gè)重要問題。針對(duì)這一問題的研究大部分集中在事后模型解釋的方法論上，并提出了各種方法。

解釋器近似旨在用可解釋的模型來模仿給定模型的行為。這也可以被稱為模型的全局解釋。為了近似機(jī)器學(xué)習(xí)模型，已經(jīng)提出了多種方法，例如隨機(jī)森林[317, 392]和神經(jīng)網(wǎng)絡(luò)[28, 86, 393]。隨著過去十年深度學(xué)習(xí)的興起，DNN上的解釋器近似已經(jīng)發(fā)展為樹等解釋器上的知識(shí)蒸餾問題[125, 384]。

中處理方法。預(yù)處理技術(shù)在模型訓(xùn)練期間并不一定能達(dá)到預(yù)期的效果，因?yàn)椴煌哪Ｐ涂赡軙?huì)以不同的方式利用特征和樣本。這正是中處理技術(shù)可以發(fā)揮作用的地方：

• 調(diào)整樣本重要性。與預(yù)處理方法類似，重加權(quán)[195]和對(duì)抗學(xué)習(xí)[68]可以用于中處理，有可能利用尚未完全優(yōu)化的模型參數(shù)或預(yù)測(cè)，更直接地對(duì)模型進(jìn)行去偏見處理。

• 與優(yōu)化相關(guān)的技術(shù)。或者，可以通過優(yōu)化技術(shù)更直接地強(qiáng)制模型公平性。例如，可以使用定量的公平性指標(biāo)作為正則化[7]或模型參數(shù)優(yōu)化的約束條件[67]。

后處理方法。即使在數(shù)據(jù)策劃和模型訓(xùn)練方面采取了所有預(yù)防措施，最終的模型可能仍然表現(xiàn)出意想不到的偏見。后處理技術(shù)可以用于去偏見，通常借助輔助模型或超參數(shù)來調(diào)整模型輸出。例如，可以應(yīng)用優(yōu)化技術(shù)（例如，約束優(yōu)化）來訓(xùn)練一個(gè)較小的模型，以轉(zhuǎn)換模型輸出或校準(zhǔn)模型置信度[186]。對(duì)多個(gè)模型的預(yù)測(cè)結(jié)果進(jìn)行重加權(quán)也有助于減少偏見[168]。

3.2.5 隱私計(jì)算。除了在第3.1.2節(jié)中介紹的隱私保護(hù)數(shù)據(jù)處理方法外，另一類方法在模型學(xué)習(xí)期間保護(hù)數(shù)據(jù)隱私。在這一部分中，我們簡要回顧了這類算法的兩個(gè)流行類別：安全多方計(jì)算和聯(lián)邦學(xué)習(xí)。

安全多方計(jì)算（SMPC）處理的是多個(gè)數(shù)據(jù)所有者計(jì)算一個(gè)函數(shù)的任務(wù)，同時(shí)保護(hù)數(shù)據(jù)的隱私，且沒有可信的第三方作為協(xié)調(diào)者。一個(gè)典型的SMPC協(xié)議滿足隱私性、正確性、輸入獨(dú)立性、保證輸出交付和公平性等屬性[114, 387]?；煜娐肥前踩珒煞接?jì)算的一個(gè)代表性范例[244, 367]。無意識(shí)傳輸是其中的關(guān)鍵技術(shù)之一。它保證發(fā)送方不知道接收方從傳輸?shù)南⒅蝎@得了什么信息。對(duì)于多方條件，秘密共享是其中一個(gè)通用框架[181]。每個(gè)數(shù)據(jù)實(shí)例被視為一個(gè)秘密，并被分割成多個(gè)份額。然后將這些份額分配給多個(gè)參與方。函數(shù)值的計(jì)算被分解為基本操作，這些操作按照給定的協(xié)議進(jìn)行計(jì)算。

在模型特定的學(xué)習(xí)任務(wù)（例如，線性回歸[128]和邏輯回歸[300]）以及通用模型學(xué)習(xí)任務(wù)[247]的背景下，SMPC在機(jī)器學(xué)習(xí)任務(wù)中的使用已經(jīng)被研究。安全推理是一個(gè)新興的話題，它為機(jī)器學(xué)習(xí)定制了SMPC。其在機(jī)器學(xué)習(xí)中的應(yīng)用是作為一種服務(wù)，服務(wù)器持有模型，而客戶端持有私有數(shù)據(jù)。為了降低SMPC的計(jì)算和通信成本，參考文獻(xiàn)[8, 32]中將參數(shù)量化和函數(shù)近似與密碼學(xué)協(xié)議一起使用。一些工具已經(jīng)被開源，例如MP2ML[48]、CryptoSPN[330]、CrypTFlow[200, 276]和CrypTen[188]。

聯(lián)邦學(xué)習(xí)（FL）最初被提出作為一種安全方案，用于在用戶與其設(shè)備交互的數(shù)據(jù)上協(xié)作訓(xùn)練機(jī)器學(xué)習(xí)模型[241]。它迅速在學(xué)術(shù)界和工業(yè)界引起了廣泛興趣，作為一種利用多方數(shù)據(jù)進(jìn)行協(xié)作模型訓(xùn)練任務(wù)的解決方案。它旨在解決阻礙機(jī)器學(xué)習(xí)算法適當(dāng)使用多個(gè)數(shù)據(jù)源的數(shù)據(jù)隱私問題。它已經(jīng)被應(yīng)用于許多領(lǐng)域，如醫(yī)療保健[282, 299]和金融[223]。

現(xiàn)有的聯(lián)邦學(xué)習(xí)算法可以分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)算法[365]。橫向聯(lián)邦學(xué)習(xí)指的是每個(gè)參與方擁有不同的樣本，但樣本共享相同的特征空間的情況。一個(gè)訓(xùn)練步驟被分解為首先在每個(gè)客戶端上計(jì)算優(yōu)化更新，然后在中心服務(wù)器上聚合這些更新，而無需了解客戶端的私有數(shù)據(jù)[241]?？v向聯(lián)邦學(xué)習(xí)指的是所有參與方共享相同的樣本ID空間，但具有不同特征的設(shè)置。參考文獻(xiàn)[148]使用同態(tài)加密進(jìn)行基于垂直邏輯回歸的模型學(xué)習(xí)。在參考文獻(xiàn)[138]中，提出了一種高效的核學(xué)習(xí)方法。聯(lián)邦遷移學(xué)習(xí)適用于在樣本或特征空間中沒有任何一方重疊的情況[222]。參考文獻(xiàn)[180]討論了聯(lián)邦學(xué)習(xí)與其他研究主題（如多任務(wù)學(xué)習(xí)、元學(xué)習(xí)和公平學(xué)習(xí)）之間的聯(lián)系。為了加快聯(lián)邦學(xué)習(xí)相關(guān)的研究和開發(fā)，許多開源庫已經(jīng)被發(fā)布，例如FATE、FedML[149]和FedlearnAlgo[217]。

3.3 開發(fā)制造可靠的產(chǎn)品需要在軟件工程方面付出相當(dāng)大的努力，而這一點(diǎn)有時(shí)會(huì)被人工智能開發(fā)者忽視。這種缺乏嚴(yán)謹(jǐn)性的行為，例如測(cè)試和監(jiān)控不足，可能會(huì)在人工智能產(chǎn)品的后續(xù)生命周期中（即所謂的技術(shù)債務(wù)[296]）帶來長期成本。軟件工程在開發(fā)和部署階段最近引起了廣泛關(guān)注，被認(rèn)為是可靠人工智能系統(tǒng)的一個(gè)基本條件[17, 203]。此外，針對(duì)這一階段研究的各種技術(shù)可以為人工智能系統(tǒng)的可信性做出貢獻(xiàn)[17]。在本節(jié)中，我們對(duì)代表性技術(shù)進(jìn)行了調(diào)查。

3.3.1 功能測(cè)試從經(jīng)典軟件工程的工作流程繼承而來，測(cè)試方法在人工智能系統(tǒng)的開發(fā)中受到了越來越多的關(guān)注。在人工智能可信性方面，測(cè)試是一種有效的方法，用于證明系統(tǒng)是否滿足特定要求。最近的研究探索了如何將功能測(cè)試適應(yīng)于人工智能系統(tǒng)。這一內(nèi)容已在文獻(xiàn)中進(jìn)行了回顧，例如參考文獻(xiàn)[164, 235, 381]。我們從文獻(xiàn)中描述了兩個(gè)有助于增強(qiáng)人工智能系統(tǒng)可信性的適應(yīng)方面。

• 測(cè)試標(biāo)準(zhǔn)與經(jīng)典軟件工程中測(cè)試系統(tǒng)實(shí)際輸出與預(yù)期輸出之間的精確等價(jià)性不同，人工智能系統(tǒng)通常通過其在特定測(cè)試數(shù)據(jù)集上的預(yù)測(cè)準(zhǔn)確性進(jìn)行測(cè)試。除了準(zhǔn)確性之外，還研究了各種測(cè)試標(biāo)準(zhǔn)，以進(jìn)一步反映和測(cè)試人工智能系統(tǒng)的更復(fù)雜屬性。軟件測(cè)試中的測(cè)試覆蓋概念已被移植到深度神經(jīng)網(wǎng)絡(luò)（DNN）模型中[226, 260]。一個(gè)代表性指標(biāo)的名稱——神經(jīng)元覆蓋[260]——形象地說明了它測(cè)量DNN中激活神經(jīng)元的覆蓋范圍，類似于經(jīng)典軟件測(cè)試中的代碼分支。這種覆蓋標(biāo)準(zhǔn)對(duì)于證明DNN對(duì)抗對(duì)抗性攻擊的魯棒性非常有效[226]。

• 測(cè)試用例生成人工標(biāo)注的數(shù)據(jù)集不足以徹底測(cè)試人工智能系統(tǒng)，大規(guī)模自動(dòng)生成的測(cè)試用例被廣泛使用。與經(jīng)典軟件測(cè)試類似，自動(dòng)生成預(yù)期真實(shí)值的問題（稱為“預(yù)言機(jī)問題”[34]）也出現(xiàn)在人工智能軟件測(cè)試場(chǎng)景中。手工制作的測(cè)試用例模板是在自然語言處理（NLP）應(yīng)用中的一種直觀但有效的方法[281]。形態(tài)測(cè)試也是一種實(shí)用的方法，將輸入/輸出對(duì)轉(zhuǎn)換為新的測(cè)試用例。例如，[382]使用生成對(duì)抗網(wǎng)絡(luò)（GAN）將白天拍攝的道路場(chǎng)景圖像轉(zhuǎn)換為雨天圖像作為新的測(cè)試用例，并重新使用原始的、不變的標(biāo)注來測(cè)試自動(dòng)駕駛系統(tǒng)。這些測(cè)試用例對(duì)于評(píng)估人工智能模型的泛化性能非常有用。類似的方法通過在正常圖像中添加對(duì)抗性模式來測(cè)試對(duì)抗性魯棒性[226]。模擬環(huán)境也被廣泛用于測(cè)試計(jì)算機(jī)視覺和強(qiáng)化學(xué)習(xí)等應(yīng)用。我們將在第3.3.3節(jié)中進(jìn)一步回顧這一主題。

3.3.2 性能基準(zhǔn)測(cè)試
與傳統(tǒng)軟件不同，人工智能系統(tǒng)的功能往往不能僅通過功能測(cè)試輕易捕捉。為了確保系統(tǒng)在不同方面的可信性，基準(zhǔn)測(cè)試（即軟件工程中的性能測(cè)試）通常被應(yīng)用于確保系統(tǒng)性能和穩(wěn)定性，當(dāng)這些特性可以自動(dòng)測(cè)量時(shí)。

魯棒性是可信性的一個(gè)重要方面，相對(duì)容易進(jìn)行自動(dòng)評(píng)估。參考文獻(xiàn)[88, 153]介紹了一系列黑盒和白盒攻擊，用于自動(dòng)評(píng)估人工智能系統(tǒng)的魯棒性。這可以在這些系統(tǒng)部署前影響數(shù)百萬用戶之前作為一項(xiàng)基本檢查。軟件公平性自傳統(tǒng)軟件測(cè)試以來一直是一個(gè)問題[56, 127]。已研究了人工智能系統(tǒng)的標(biāo)準(zhǔn)，通過調(diào)查敏感屬性、系統(tǒng)結(jié)果和真實(shí)標(biāo)簽（如果適用）之間的相關(guān)性，以發(fā)現(xiàn)不公平問題，特別是在精心設(shè)計(jì)的診斷數(shù)據(jù)集上[327]。文獻(xiàn)中提出了精心策劃的數(shù)據(jù)集和指標(biāo)，以評(píng)估對(duì)不同任務(wù)感興趣的公平性指標(biāo)的性能[40, 123, 307]。

最近，隨著模型在自然語言處理（NLP）應(yīng)用中輸出解釋，對(duì)可解釋性的基準(zhǔn)測(cè)試越來越感興趣。例如，參考文獻(xiàn)[238]要求眾包工人標(biāo)注導(dǎo)致他們認(rèn)為文本是仇恨或冒犯性的突出文本片段，并檢查模型預(yù)測(cè)的重要性與人類標(biāo)注的契合程度。相反，參考文獻(xiàn)[93]向人類標(biāo)注者引入文本的部分?jǐn)_動(dòng)，并觀察系統(tǒng)的解釋是否與改變?nèi)祟悰Q策的擾動(dòng)相匹配。與此同時(shí)，參考文獻(xiàn)[267]報(bào)告稱，可解釋性基準(zhǔn)測(cè)試仍然相對(duì)困難，因?yàn)橐曈X刺激是高維且連續(xù)的。

3.3.3 基于模擬的開發(fā)
雖然基準(zhǔn)測(cè)試用于評(píng)估人工智能系統(tǒng)在靜態(tài)數(shù)據(jù)下的預(yù)測(cè)行為，但許多系統(tǒng)的動(dòng)態(tài)行為與其與世界的交互密切相關(guān)。例如，僅在靜態(tài)場(chǎng)景中對(duì)自動(dòng)駕駛車輛系統(tǒng)進(jìn)行基準(zhǔn)測(cè)試是不足以幫助我們?cè)u(píng)估其在動(dòng)態(tài)道路上的表現(xiàn)的。對(duì)于這些系統(tǒng)，模擬在部署前確保其可信性方面通常發(fā)揮著重要作用。

機(jī)器人技術(shù)是人工智能的一個(gè)子領(lǐng)域，其中模擬最為常用。機(jī)器人的控制系統(tǒng)可以在模擬環(huán)境中進(jìn)行比較和基準(zhǔn)測(cè)試，例如Gazebo[192]、MuJoCo[324]和VerifAI[103]。類似地，自動(dòng)駕駛車輛的模擬器已被廣泛使用，包括CARLA[102]、TORCS[359]、CarSim[42]和PRESCAN[323]。這些軟件平臺(tái)模擬了機(jī)器人和車輛運(yùn)行的環(huán)境以及對(duì)模擬機(jī)器人或汽車的控制操作。在自然語言處理（尤其是對(duì)話式人工智能）中，模擬器被廣泛用于模擬用戶行為，以通過對(duì)話測(cè)試系統(tǒng)能力并滿足用戶需求[205]。這些模擬器可以幫助在交互環(huán)境中自動(dòng)確保人工智能系統(tǒng)的性能，并在部署前診斷問題。

盡管軟件模擬器提供了效率、靈活性和可復(fù)制性，但它們通常仍然無法完美模擬人工智能系統(tǒng)在部署時(shí)面臨的約束以及環(huán)境屬性或其中的變化。對(duì)于部署在嵌入式或其他封裝硬件上的人工智能系統(tǒng)，了解它們?cè)趯?shí)際場(chǎng)景中使用的硬件上運(yùn)行時(shí)的行為至關(guān)重要。硬件在環(huán)（HIL）模擬可以幫助開發(fā)人員了解系統(tǒng)在模擬環(huán)境中運(yùn)行在芯片、傳感器和執(zhí)行器上的性能表現(xiàn)，對(duì)于自動(dòng)駕駛系統(tǒng)等對(duì)延遲和功耗敏感的系統(tǒng)尤其有幫助[50, 54]。通過將真實(shí)世界模擬進(jìn)一步推進(jìn)一步，還可以構(gòu)建受控的真實(shí)世界環(huán)境，讓完全集成的人工智能系統(tǒng)在其中運(yùn)行（例如，為自動(dòng)駕駛汽車設(shè)置帶有路標(biāo)和假障礙物的測(cè)試軌道）。這可以在向用戶發(fā)布這些系統(tǒng)之前提供更現(xiàn)實(shí)的性能測(cè)量和保證。

3.4 部署
在開發(fā)完成后，人工智能系統(tǒng)會(huì)被部署到實(shí)際產(chǎn)品中，并與環(huán)境和用戶進(jìn)行交互。為了確保這些系統(tǒng)是可信的，在部署階段應(yīng)該考慮許多方法，例如增加額外的組件來監(jiān)控異常，以及開發(fā)特定的人工智能交互機(jī)制以增強(qiáng)透明度和可解釋性。

3.4.1 異常監(jiān)控
異常監(jiān)控已經(jīng)成為軟件工程中一種成熟的方法。對(duì)于人工智能系統(tǒng)而言，監(jiān)控的范圍進(jìn)一步擴(kuò)展到覆蓋數(shù)據(jù)異常值、數(shù)據(jù)漂移和模型性能。作為人工智能系統(tǒng)成功運(yùn)行的關(guān)鍵保障，監(jiān)控提供了增強(qiáng)系統(tǒng)在多個(gè)方面可信性的手段。以下討論一些代表性示例。

攻擊監(jiān)控已在傳統(tǒng)的SaaS（軟件即服務(wù)）中被廣泛采用，例如在電子商務(wù)系統(tǒng)中的欺詐檢測(cè)[3]。對(duì)于最近出現(xiàn)的對(duì)抗性攻擊，檢測(cè)和監(jiān)控此類攻擊輸入也被認(rèn)為是確保系統(tǒng)魯棒性的重要手段[243]。數(shù)據(jù)漂移監(jiān)控[268]為在動(dòng)態(tài)環(huán)境（如市場(chǎng)變化[289]）導(dǎo)致的概念變化[394]下維持人工智能系統(tǒng)的泛化能力提供了重要手段。濫用監(jiān)控最近也在幾項(xiàng)云人工智能服務(wù)[173]中被采用，以避免不當(dāng)使用，例如未經(jīng)授權(quán)的人群監(jiān)控或通過人臉識(shí)別進(jìn)行個(gè)人跟蹤，這有助于確保倫理價(jià)值的正確對(duì)齊。

3.4.2 人機(jī)交互
作為人機(jī)交互（HCI）的延伸，人機(jī)交互在人工智能行業(yè)引起了廣泛關(guān)注[4, 18]。有效的人機(jī)交互在多個(gè)方面影響人工智能系統(tǒng)的可信性。我們簡要闡述兩個(gè)主題。

用戶界面是最直接影響用戶體驗(yàn)的因素。它是人工智能系統(tǒng)向用戶披露其內(nèi)部信息和決策過程的主要媒介，因此對(duì)系統(tǒng)的透明度和可解釋性具有重要影響[301, 351]。為了增強(qiáng)人工智能的可解釋性，已經(jīng)研究了各種交互方法，包括機(jī)器學(xué)習(xí)模型的可視化[72]和交互式參數(shù)調(diào)整[351]。除了透明度和可解釋性外，界面的可訪問性也顯著影響用戶對(duì)可信性的體驗(yàn)?；谌斯ぶ悄艿慕换ゼ夹g(shù)已經(jīng)實(shí)現(xiàn)了各種新型人

機(jī)界面，例如聊天機(jī)器人、語音識(shí)別和手勢(shì)識(shí)別，這些技術(shù)可能會(huì)導(dǎo)致殘疾人面臨可訪問性問題。減輕這種不公平性在最近的研究中引起了關(guān)注[179, 326]。

人為干預(yù)，例如通過監(jiān)控故障或參與決策[295]，已被應(yīng)用于各種人工智能系統(tǒng)，以彌補(bǔ)性能的不足。高級(jí)駕駛輔助系統(tǒng)（ADAS）可以被視為涉及人為干預(yù)的系統(tǒng)的典型例子，其中人工智能負(fù)責(zé)低級(jí)駕駛?cè)蝿?wù)，而人類負(fù)責(zé)高級(jí)決策。除了彌補(bǔ)決策能力外，人為干預(yù)在許多場(chǎng)景中為訓(xùn)練或微調(diào)人工智能系統(tǒng)提供了信息監(jiān)督，例如自動(dòng)駕駛汽車的影子模式[319]。為了在這些人機(jī)交互中最小化并充分利用人力，在人機(jī)交互（HCI）和人工智能的跨學(xué)科工作中，高效設(shè)計(jì)人機(jī)協(xié)作模式是一個(gè)新興主題，并在文獻(xiàn)中被稱為“人在回路”或交互式機(jī)器學(xué)習(xí)[157]。

3.4.3 故障安全機(jī)制
考慮到當(dāng)前人工智能系統(tǒng)的不完美性，在系統(tǒng)在特殊情況下失敗時(shí)避免造成傷害非常重要。通過借鑒傳統(tǒng)的實(shí)時(shí)自動(dòng)化系統(tǒng)，人工智能社區(qū)意識(shí)到，如果人工智能系統(tǒng)的失敗可能導(dǎo)致傷害或損失，那么故障安全機(jī)制或備用計(jì)劃應(yīng)該是人工智能系統(tǒng)設(shè)計(jì)的一個(gè)基本組成部分。

這種機(jī)制也作為一項(xiàng)重要要求出現(xiàn)在最近的人工智能指導(dǎo)方針中，例如參考文獻(xiàn)[9]。在過去的幾年中，故障安全設(shè)計(jì)已在機(jī)器人技術(shù)的多個(gè)領(lǐng)域得到應(yīng)用。在無人機(jī)（UAV）領(lǐng)域，故障安全算法已被長期研究，以避免四旋翼飛行器的頻繁碰撞[126]，并確保在系統(tǒng)故障時(shí)安全著陸[252]。在安全至關(guān)重要的自動(dòng)駕駛領(lǐng)域，像靜止不動(dòng)這樣的故障安全機(jī)制已成為高級(jí)駕駛輔助系統(tǒng)（ADAS）產(chǎn)品中不可或缺的組成部分[160]，并且正在更高水平的自動(dòng)化中進(jìn)行研究[230]。

3.4.4 硬件安全
人工智能系統(tǒng)被廣泛部署在各種硬件平臺(tái)上，以應(yīng)對(duì)從計(jì)算中心的服務(wù)器到手機(jī)和嵌入式系統(tǒng)的多樣化場(chǎng)景。對(duì)操作系統(tǒng)和硬件的攻擊導(dǎo)致了新的風(fēng)險(xiǎn)，例如數(shù)據(jù)篡改或竊取，這些風(fēng)險(xiǎn)威脅到人工智能系統(tǒng)的魯棒性、安全性和隱私性。已經(jīng)研究了各種方法來應(yīng)對(duì)這一新威脅[364]。從硬件安全的角度來看，可信執(zhí)行環(huán)境（TEE）的概念是一種最近被許多硬件制造商采用的代表性技術(shù)[287]。TEE的一般機(jī)制是為數(shù)據(jù)和代碼提供一個(gè)安全區(qū)域。該區(qū)域不受標(biāo)準(zhǔn)操作系統(tǒng)的干擾，使得受保護(hù)的程序不會(huì)受到攻擊。ARM處理器使用TrustZone設(shè)計(jì)[264]支持TEE的實(shí)現(xiàn)。它們?cè)趩蝹€(gè)內(nèi)核上同時(shí)運(yùn)行一個(gè)安全操作系統(tǒng)和一個(gè)普通操作系統(tǒng)。安全部分為敏感信息提供了一個(gè)安全的環(huán)境。英特爾軟件保護(hù)擴(kuò)展通過基于硬件的內(nèi)存加密實(shí)現(xiàn)TEE[240]。其飛地機(jī)制允許分配受保護(hù)的內(nèi)存來存儲(chǔ)私有信息。這些安全機(jī)制已被用于保護(hù)敏感信息，如生物識(shí)別ID和金融賬戶密碼，并且適用于其他人工智能用例。

3.5 管理
研究人員和開發(fā)人員等人工智能從業(yè)者已經(jīng)在數(shù)據(jù)、算法、開發(fā)和部署階段研究了各種技術(shù)，以提高人工智能的可信性。除了這些具體方法外，適當(dāng)?shù)墓芾砗椭卫頌槿斯ぶ悄芟到y(tǒng)的整個(gè)生命周期中可信性的一致對(duì)齊提供了全面的保證。在本節(jié)中，我們介紹幾種可執(zhí)行的方法，以幫助人工智能社區(qū)改進(jìn)對(duì)人工智能可信性的管理和治理。

3.5.1 文檔化
傳統(tǒng)軟件工程在利用文檔協(xié)助開發(fā)方面積累了豐富的經(jīng)驗(yàn)。代表性文檔類型包括需求文檔、產(chǎn)品設(shè)計(jì)文檔、架構(gòu)文檔、代碼文檔和測(cè)試文檔[11]。除了傳統(tǒng)軟件工程外，還提出了多種新類型的文檔以適應(yīng)機(jī)器學(xué)習(xí)的訓(xùn)練和測(cè)試機(jī)制。其范圍可能包括模型的目的和特性[246]、數(shù)據(jù)集[41, 129, 156]和服務(wù)[22]。正如第2.3.2節(jié)和第2.7節(jié)中提到的，文檔是一種有效且重要的方法，通過跟蹤、指導(dǎo)和審計(jì)系統(tǒng)的整個(gè)生命周期來增強(qiáng)系統(tǒng)的透明度和問責(zé)性[272]，并作為構(gòu)建可信人工智能系統(tǒng)的基石。

3.5.2 審計(jì)
借鑒了金融和航空航天等安全關(guān)鍵行業(yè)的經(jīng)驗(yàn)教訓(xùn)，審計(jì)最近被公認(rèn)為是一種有效的機(jī)制，用于檢查人工智能系統(tǒng)是否符合特定原則[58, 356]。就審計(jì)人員的立場(chǎng)而言，審計(jì)過程可以分為內(nèi)部審計(jì)或外部審計(jì)。內(nèi)部審計(jì)使制造商能夠進(jìn)行自我評(píng)估和迭代改進(jìn)，以遵循可信性的原則。它可以覆蓋系統(tǒng)的整個(gè)生命周期，而不會(huì)泄露商業(yè)機(jī)密[272]。然而，由獨(dú)立方進(jìn)行的外部審計(jì)在獲得公眾信任方面更為有效[58]。

審計(jì)可能涉及人工智能系統(tǒng)整個(gè)生命周期或其部分環(huán)節(jié)?？梢栽趨⒖嘉墨I(xiàn)[272]中找到一個(gè)全面的內(nèi)部審計(jì)框架。審計(jì)的手段可能包括訪談、文檔記錄、清單、代碼審查、測(cè)試和影響評(píng)估。例如，像產(chǎn)品需求文檔、模型卡片[246]和數(shù)據(jù)表[129]這樣的文檔是理解開發(fā)過程中原則對(duì)齊的重要參考。清單被廣泛用作一種直接的定性方法來評(píng)估公平性[228]、透明度[292]和可重復(fù)性[263]。定量測(cè)試也是一種強(qiáng)大的方法，并已成功用于審計(jì)公平性，例如在“性別陰影”研究[58]中。受歐盟數(shù)據(jù)保護(hù)影響評(píng)估（DPIA）的啟發(fā)，提出了算法影響評(píng)估的概念，以評(píng)估可信性的主張并發(fā)現(xiàn)負(fù)面影響[277]。除了上述代表性內(nèi)容外，算法審計(jì)方法的設(shè)計(jì)可以在參考文獻(xiàn)[290, 356]中找到。

3.5.3 合作與信息共享
如圖2所示，建立可信人工智能需要利益相關(guān)者之間的合作。從行業(yè)角度來看，與學(xué)術(shù)界的合作能夠使新技術(shù)快速應(yīng)用于產(chǎn)品，提升產(chǎn)品性能并降低其帶來的風(fēng)險(xiǎn)。與監(jiān)管機(jī)構(gòu)的合作則可以證明產(chǎn)品是否適當(dāng)遵循了可信性的原則。此外，工業(yè)企業(yè)之間的合作有助于解決基于共識(shí)的問題，例如數(shù)據(jù)交換、標(biāo)準(zhǔn)化和生態(tài)系統(tǒng)建設(shè)[27]。人工智能利益相關(guān)者近期的實(shí)踐表明，合作在多個(gè)維度上是有效的。我們?cè)谝韵路矫婵偨Y(jié)了這些實(shí)踐。

• 合作研究與開發(fā)
  合作一直是人工智能技術(shù)發(fā)展的強(qiáng)大動(dòng)力。為了推動(dòng)人工智能可信性的研究，利益相關(guān)者正在建立各種形式的合作，例如可信人工智能的研究研討會(huì)和DARPA可解釋人工智能（XAI）[144]等合作項(xiàng)目。

• 可信的數(shù)據(jù)交換
  數(shù)據(jù)日益增長的商業(yè)價(jià)值提高了在各種場(chǎng)景下（例如第2.6節(jié)中的醫(yī)療人工智能系統(tǒng)）跨公司交換數(shù)據(jù)的需求。除了基于隱私的計(jì)算技術(shù)外，數(shù)據(jù)所有者、技術(shù)提供商和監(jiān)管機(jī)構(gòu)之間的合作正在推進(jìn)數(shù)據(jù)交換生態(tài)系統(tǒng)的建立，并解決數(shù)據(jù)定價(jià)和數(shù)據(jù)授權(quán)等問題。

• 合作制定法規(guī)
  積極參與標(biāo)準(zhǔn)和法規(guī)的制定是學(xué)術(shù)界、行業(yè)和監(jiān)管機(jī)構(gòu)對(duì)齊要求和情況的重要手段。

• 事件共享
  人工智能社區(qū)最近認(rèn)識(shí)到事件共享是一種有效的方法，可以突出并預(yù)防人工智能系統(tǒng)的潛在風(fēng)險(xiǎn)[57]。人工智能事件數(shù)據(jù)庫[91]為利益相關(guān)者共享負(fù)面人工智能事件提供了一個(gè)啟發(fā)性的例子，以便行業(yè)能夠避免類似問題。

3.6 TrustAIOps：邁向可信性的持續(xù)工作流

可信人工智能的問題源于人工智能技術(shù)的快速發(fā)展及其新興應(yīng)用。人工智能的可信性并非是一個(gè)可以通過某些特定解決方案達(dá)到的靜態(tài)標(biāo)準(zhǔn)?？尚判缘慕⑹且粋€(gè)動(dòng)態(tài)過程。在過去十年中，我們見證了可信性在不同維度上的演變[178]。例如，對(duì)抗性攻擊的研究增加了對(duì)對(duì)抗魯棒性的關(guān)注。安全關(guān)鍵場(chǎng)景的應(yīng)用使得人工智能系統(tǒng)的問責(zé)性要求更加嚴(yán)格。人工智能研究的發(fā)展、人工智能產(chǎn)品形式的演變以及社會(huì)視角的變化意味著可信性要求及其解決方案需要持續(xù)重新制定。因此，我們認(rèn)為，除了人工智能產(chǎn)品的要求外，人工智能行業(yè)應(yīng)該將可信性視為其運(yùn)營常規(guī)的一部分，并準(zhǔn)備好持續(xù)提升其產(chǎn)品的可信性。

人工智能可信性的持續(xù)提升對(duì)人工智能行業(yè)提出了新的工作流要求。最近對(duì)工業(yè)人工智能工作流的研究將DevOps[36]的機(jī)制擴(kuò)展到MLOps[233]，以實(shí)現(xiàn)機(jī)器學(xué)習(xí)產(chǎn)品的改進(jìn)。DevOps的概念已被現(xiàn)代軟件開發(fā)采用，以持續(xù)部署軟件功能并提高其質(zhì)量。MLOps[233]及其變體（如ModelOps[165]和SafetyOps[303]）將DevOps擴(kuò)展到工作流中，涵蓋機(jī)器學(xué)習(xí)生命周期的數(shù)據(jù)準(zhǔn)備、訓(xùn)練、驗(yàn)證和部署。MLOps的工作流為構(gòu)建可信人工智能的工作流提供了起點(diǎn)。通過整合機(jī)器學(xué)習(xí)生命周期，MLOps將研究、實(shí)驗(yàn)和產(chǎn)品開發(fā)聯(lián)系起來，以便快速利用可信人工智能的理論發(fā)展。最近，大量的MLOps工具鏈被發(fā)布，用于跟蹤數(shù)據(jù)、模型和元數(shù)據(jù)等人工智能工件，以提高產(chǎn)品的可問責(zé)性和可重復(fù)性[165]。最近的研究試圖進(jìn)一步將可信性整合到人工智能工作流中。例如，[303]通過將安全工程擴(kuò)展到MLOps中，為自動(dòng)駕駛開發(fā)了SafetyOps。

正如我們?cè)诒竟?jié)中所闡述的，建立可信性需要持續(xù)和系統(tǒng)地升級(jí)人工智能生命周期。通過擴(kuò)展MLOps，我們將這種實(shí)踐的升級(jí)總結(jié)為一個(gè)新的工作流——TrustAIOps，它專注于在整個(gè)人工智能生命周期中施加可信性的要求。這個(gè)新的工作流具有以下特點(diǎn)：

• 跨學(xué)科角色之間的緊密合作。建立可信人工智能需要組織不同的角色，如機(jī)器學(xué)習(xí)研究人員、軟件工程師、安全工程師和法律專家。緊密合作可以減輕專業(yè)知識(shí)形式之間的知識(shí)差距（例如，參考文獻(xiàn)[208]，參見第3.5.3節(jié)和附錄A.2）。

• 統(tǒng)一的可信性原則。人工智能系統(tǒng)的生命周期的每個(gè)階段都存在不可信的風(fēng)險(xiǎn)。減輕這些風(fēng)險(xiǎn)需要人工智能行業(yè)的所有利益相關(guān)者意識(shí)到并統(tǒng)一于可信性原則（例如，參考文獻(xiàn)[301]，參見附錄A.2）。

• 廣泛的工件管理。工業(yè)人工智能系統(tǒng)是基于各種工件構(gòu)建的，如數(shù)據(jù)、代碼、模型、配置、產(chǎn)品設(shè)計(jì)和操作手冊(cè)。這些工件的精心管理有助于評(píng)估風(fēng)險(xiǎn)，并提高可重復(fù)性和可審計(jì)性（參見第3.5.1節(jié)）。

• 持續(xù)的反饋循環(huán)。經(jīng)典的持續(xù)集成和持續(xù)開發(fā)（CI/CD）工作流提供了通過反饋循環(huán)改進(jìn)軟件的有效機(jī)制。在一個(gè)可信的人工智能系統(tǒng)中，這些反饋循環(huán)應(yīng)該連接并迭代改進(jìn)其生命周期的五個(gè)階段，即數(shù)據(jù)、算法、開發(fā)、部署和管理（例如，參考文獻(xiàn)[272, 310]）。

人工智能工業(yè)工作流的演變是建立其可信性的動(dòng)態(tài)過程的自然反映。通過系統(tǒng)地組織人工智能生命周期的階段和跨學(xué)科從業(yè)者，人工智能行業(yè)能夠從技術(shù)、法律和社會(huì)等多個(gè)角度理解可信性的要求，并持續(xù)提供改進(jìn)。

4 結(jié)論、挑戰(zhàn)與機(jī)遇
在本綜述中，我們概述了我們認(rèn)為對(duì)人工智能系統(tǒng)至關(guān)重要的可信性的關(guān)鍵方面。我們介紹了如何在這些方面對(duì)人工智能系統(tǒng)進(jìn)行評(píng)估和評(píng)估，并回顧了行業(yè)在這一方向上的當(dāng)前努力。我們進(jìn)一步提出了一種系統(tǒng)化的方法，以在現(xiàn)實(shí)世界中的人工智能系統(tǒng)的整個(gè)生命周期中考慮這些可信性的方面，為開發(fā)和使用這些系統(tǒng)的每一步提供建議。我們認(rèn)識(shí)到，完全采用這種系統(tǒng)化的方法來構(gòu)建可信的人工智能系統(tǒng)，需要從業(yè)者接受我們所確定的關(guān)鍵方面的基本概念。更重要的是，它需要從以性能驅(qū)動(dòng)的人工智能轉(zhuǎn)向以可信性驅(qū)動(dòng)的人工智能。

在短期內(nèi)，這種轉(zhuǎn)變不可避免地會(huì)帶來一些副作用，例如更長的學(xué)習(xí)時(shí)間、開發(fā)速度減慢和/或構(gòu)建人工智能系統(tǒng)的成本增加。然而，我們鼓勵(lì)從業(yè)者關(guān)注獲得所有利益相關(guān)者信任的長期利益，以實(shí)現(xiàn)這些系統(tǒng)的持續(xù)使用和發(fā)展。在本節(jié)中，我們通過討論可信人工智能未來發(fā)展的一些開放性挑戰(zhàn)和潛在機(jī)遇來結(jié)束本文。

4.1 人工智能可信性作為長期研究
我們對(duì)人工智能可信性的理解遠(yuǎn)非完整或普遍，并且隨著我們開發(fā)新的AI技術(shù)以及更清晰地了解其對(duì)社會(huì)的影響，它將不可避免地發(fā)展。這一過程需要在人工智能的多個(gè)關(guān)鍵領(lǐng)域進(jìn)行長期研究。在本節(jié)中，我們討論了一些我們認(rèn)為對(duì)人工智能可信性未來發(fā)展至關(guān)重要的開放性問題。

4.1.1 可信性方法的不成熟性
如第2節(jié)所述，人工智能可信性的幾個(gè)方面，如可解釋性和魯棒性，解決了當(dāng)前人工智能技術(shù)的局限性。盡管人工智能研究引起了廣泛關(guān)注，但令人滿意的解決方案仍然遙不可及。以可解釋性為例。盡管這是一個(gè)活躍的人工智能研究領(lǐng)域，但目前仍不被充分理解。當(dāng)前的解釋模型和事后模型解釋技術(shù)有一些共同的問題，例如：（1）解釋對(duì)擾動(dòng)很脆弱[130]；（2）解釋并不總是與人類解釋一致[47]；（3）很難判斷解釋是否正確或忠實(shí)[250]。這些問題在可解釋性的研究中提出了重要的問題，并為人工智能理論研究提供了有價(jià)值的研究方向。

另一個(gè)例子是魯棒性。對(duì)抗性攻擊和防御之間的軍備競(jìng)賽反映了我們對(duì)人工智能魯棒性理解的不成熟。與其他安全領(lǐng)域一樣，攻擊隨著防御的發(fā)展而演變。傳統(tǒng)的對(duì)抗訓(xùn)練[134]已被證明很容易被隨后開發(fā)的攻擊所欺騙[328]。相應(yīng)的防御[328]后來被證明對(duì)新攻擊[99]存在漏洞。這不僅要求從業(yè)者在長期和持續(xù)的發(fā)展過程中靈活采用防御技術(shù)，以減輕新攻擊的風(fēng)險(xiǎn)，而且也對(duì)理論研究提出了長期挑戰(zhàn)[270]。

4.1.2 可信性方面的摩擦影響
如我們?cè)诘?節(jié)中所展示的，可信性的不同方面之間存在著豐富的聯(lián)系和支持。然而，研究表明，在某些情況下，這些方面之間存在摩擦或權(quán)衡，我們?cè)诖诉M(jìn)行回顧。

增加透明度可以通過信息披露來增強(qiáng)人工智能系統(tǒng)的信任。然而，披露不適當(dāng)?shù)男畔⒖赡軙?huì)增加潛在風(fēng)險(xiǎn)。例如，對(duì)數(shù)據(jù)集和算法的過度透明可能會(huì)泄露私人數(shù)據(jù)和商業(yè)知識(shí)產(chǎn)權(quán)。披露詳細(xì)的算法機(jī)制也可能導(dǎo)致有針對(duì)性的黑客攻擊風(fēng)險(xiǎn)[12]。然而，不適當(dāng)?shù)慕忉屢部赡軐?dǎo)致用戶過度依賴系統(tǒng)并遵循人工智能的錯(cuò)誤決策[311]。因此，人工智能系統(tǒng)的透明度程度應(yīng)根據(jù)公眾用戶、運(yùn)營商和審計(jì)師的角色...