過去十多年里，AI 在圖像識別、面部識別、姿態(tài)估計等領(lǐng)域飛速發(fā)展。從自動駕駛、智能監(jiān)控，到社交媒體濾鏡、增強現(xiàn)實，視覺 AI 幾乎無處不在。但與此同時，人們也越來越意識到一個問題：許多視覺 AI 模型，在多樣性等方面缺乏深度，并且持續(xù)傳遞著偏見。

這些數(shù)據(jù)集損害了 AI 模型的公平性和準確性，并剝奪了利益相關(guān)者的權(quán)益。為此，索尼 AI 推出了公平的以人為本的圖像基準 FHIBE，可作為許多以人為本的計算機視覺任務(wù)的公平性評估數(shù)據(jù)集，包括姿態(tài)估計、人員分割、人臉檢測和驗證，以及視覺問答。

相關(guān)研究內(nèi)容，以「Fair human-centric image dataset for ethical AI benchmarking」為題，發(fā)布在《Nature》。

論文鏈接：https://www.nature.com/articles/s41586-025-09716-2

設(shè)計中的考量

傳統(tǒng)多數(shù)視覺數(shù)據(jù)集來源于網(wǎng)絡(luò)爬蟲和未經(jīng)授權(quán)的圖像采集，往往缺乏：

• 數(shù)據(jù)主體同意與授權(quán)
• 人口與地理多樣性
• 詳盡結(jié)構(gòu)化標簽（膚色、發(fā)色、年齡、性別、自我認同等）
• 環(huán)境 / 拍攝條件 / 器材 /背景 /姿態(tài) /遮擋等現(xiàn)實復(fù)雜因素

這些不足不僅違背倫理，更使得模型對多數(shù)人群的表現(xiàn)不確定、容易引入偏見。更糟的是，在某些任務(wù)（如視覺問答、姿態(tài)估計、人像分割）上，缺乏適合的大規(guī)模公開基準集，導(dǎo)致開發(fā)者無法系統(tǒng)檢測或糾正偏差。

故而，評估模型和減輕偏見對于倫理人工智能的發(fā)展至關(guān)重要。

索尼 AI 所提出的 FHIBE 數(shù)據(jù)集來自于 1,711 名主要受試者，包含 10,318 張共計 1,981 個獨特個體的圖像，每個主要主題平均有六張圖像。這個數(shù)據(jù)集還具備自我報告的姿態(tài)和互動標注，囊括了各種身體、頭部、互動姿態(tài)，與豐富的人體外觀特征。

圖示：FHIBE 中所有圖像都提供了關(guān)于圖像主體、工具和環(huán)境的標注。

此外，F(xiàn)HIBE 包含兩個衍生人臉數(shù)據(jù)集，這兩個數(shù)據(jù)集也同樣包含所有標注。

與現(xiàn)有數(shù)據(jù)集相比，F(xiàn)HIBE 作為唯一一個為人工智能評估和偏差緩解而收集的數(shù)據(jù)集，具有堅實的同意基礎(chǔ)；相比其他基于同意的數(shù)據(jù)集，在診斷人工智能中的偏見方面具有更大的實用性。

此外，F(xiàn)HIBE 在同意驅(qū)動的數(shù)據(jù)集中因其詳細且自我報告的人口統(tǒng)計標簽而脫穎而出，這些標簽?zāi)軌蛑С衷谌丝诮y(tǒng)計屬性復(fù)雜交叉點的模型性能研究。

評估與發(fā)現(xiàn)

FHIBE 的多樣化和全面的標注在公平性評估中提供了廣度和深度，能夠評估模型在一系列人口統(tǒng)計屬性及其交叉點上的表現(xiàn)。

通過在對多個流行模型和不同任務(wù)（比如姿態(tài)估計、人臉檢測等）進行系統(tǒng)測試，研究團隊很快發(fā)現(xiàn)了一些問題，基于多個敏感屬性（包括代詞、年齡、血統(tǒng)和膚色）的交叉群體在表現(xiàn)上存在最大差異。

在年齡上，年輕人，尤其是淺膚色的會更頻繁地出現(xiàn)在表現(xiàn)較好的群體中；老年人，尤其是膚色較深的，則與其相反。

圖示：CLIP 在 FHIBE 上的預(yù)測偏見。

對于一些模型甚至存在意外偏差來源，如：面部識別模型對“光線較差 + 拍攝距離遠 + 面部遮擋 + 特定發(fā)型 /面部毛發(fā)”的組合極為敏感，這些情況在傳統(tǒng)數(shù)據(jù)庫中很少遇到，也因此從未被系統(tǒng)測試過。

此外，在評估使用不同觀測數(shù)據(jù)集的模型時，常常會出現(xiàn)相互沖突的偏倚趨勢。除了上述的膚色、發(fā)色影響之外，動作姿態(tài)的不同也會導(dǎo)致偏差出現(xiàn)。這些發(fā)現(xiàn)強調(diào)了解決模型錯誤相關(guān)來源的重要性，并有助于指導(dǎo)開發(fā)者優(yōu)化模型。

而對于兩個受試模型 CLIP 與 BLIP-2，前者更傾向于默認主體為男性，對不合刻板印象的場景存在更多偏見；后者則更傾向于默認為女性，且對負面提示會更具有性別與膚色偏見。利用 FHIBE 會更輕易地發(fā)現(xiàn)這些未被記錄的偏差，這些觀察凸顯了這些模型中持續(xù)存在的偏見，并強調(diào)了采取偏見緩解策略的必要性。

讓 AI 看清世界

FHIBE 標志著更負責任地讓 AI 發(fā)展的一個轉(zhuǎn)折點，其中的一項關(guān)鍵貢獻就是落實了許多僅在倡議中被反復(fù)呼吁的原則，為未來的倫理數(shù)據(jù)收集工作鋪平了道路。

創(chuàng)建一個以人為本的數(shù)據(jù)集本身就具有挑戰(zhàn)性，這其中還需要考慮到數(shù)據(jù)貢獻者與實驗參與者所需要付出的成本。總體來看，考慮到訓練最先進AI模型所需的大量數(shù)據(jù)，協(xié)商、多元且合理報酬的數(shù)據(jù)收集成本依然很高。

但這不是放棄工作的原因。實驗團隊希望憑借 FHIBE 整合全面且經(jīng)共識來源的圖像和標注，為 AI 系統(tǒng)建立負責任的數(shù)據(jù)集新標準。通過實施負責任的數(shù)據(jù)實踐，并使計算機視覺社區(qū)能夠測試其模型的偏見，F(xiàn)HIBE 可以幫助推動更具包容性和可信賴的 AI 系統(tǒng)的發(fā)展。