撰文| 郝 鑫

編輯| 王 潘

奇富科技，為何此刻站出定義標準？這家科技公司的底氣來自于哪里？是否有能力為行業(yè)定義一把公認的“標尺”？

要回答這些問題，不妨先審視行業(yè)正面臨的真實挑戰(zhàn)。

過去三年，大模型如風暴般席卷了信貸領域，掀起了一場以“效率革命”為名的技術浪潮。

在這過程中，逐漸形成了由互聯(lián)網(wǎng)大廠引領、傳統(tǒng)銀行跟進和垂直玩家深耕的三足鼎立的格局。

隨著大模型技術的收斂，信貸行業(yè)也陷入了“冷靜期”。技術上的先進性與落地效果間形成了鴻溝。當眾多廠商紛紛標榜自身的AI能力領先，一個根本性問題日益凸顯：究竟該如何客觀衡量，誰的技術更扎實、更可信？

近日，奇富科技給出了自己的答案，聯(lián)合復旦大學與華南理工大學研究人員，共同發(fā)布首個面向信貸場景的多模態(tài)評測基準FCMBench-V1.0。

該基準基于真實信貸業(yè)務場景，抽象科學問題，設計多模態(tài)評估任務與挑戰(zhàn)，以期構建來源于業(yè)務、服務于業(yè)務的實用性評測體系。同時，奇富科技宣布開源數(shù)據(jù)集與評測工具，為行業(yè)共建AI基礎設施提供關鍵支撐。

至此，熱鬧紛繁的信貸AI賽道，終于有了一把清晰的“標尺”和一條公認的“基準線”，技術實力高低，終于有了可比較的刻度。

信貸AI的“無標之痛”

金融行業(yè)素有“練兵場”之稱，一方面是場景下的各種需求比較復雜，所涉及的流程繁多；另一方面是對數(shù)據(jù)保密性、審核合規(guī)和交易安全等指標的低容錯率。

奇富科技多模態(tài)負責人楊葉輝博士向我們介紹，“信貸審核涉及幾十類證件、每類證件有多種模板、審核流程涉及多個環(huán)節(jié)和任務，以及多證件的交叉推理驗證，用戶拍攝的場景和上傳的文件也多種多樣。信貸場景的這些挑戰(zhàn)對于多模態(tài)大模型的能力是非常好的試金石?！?/p>

但當信貸AI從演示驗證走向深度應用時，卻遭遇了一系列痛點問題。最突出的表現(xiàn)是大模型對專業(yè)場景的失焦，大模型往往更注重通用的能力，而缺乏了對信貸場景的適配性。

例如，一般行業(yè)評測多聚焦于“圖片識別”或“文本分類”，但信貸審核員最頭疼的，并非識別“這是不是一張圖片”，而是判斷這張身份證與當前操作人的其他材料，歷史留存證件是否一致，且證件本身是否可疑。所謂的專業(yè)任務，是從數(shù)百頁銀行流水中識別出隱性負債、可疑的關聯(lián)方交易等，這需要深度的領域知識和復雜的推理邏輯，通用大模型經(jīng)常出現(xiàn)失靈。

數(shù)據(jù)的合規(guī)問題，在信貸行業(yè)尤為棘手。最需要被衡量的風控模型，其訓練數(shù)據(jù)因涉及用戶隱私、企業(yè)商業(yè)機密，無法被共享。這導致了一個悖論，學術界無法獲取高質(zhì)量脫敏的真實信貸數(shù)據(jù)，研究只能停留在真空環(huán)境下，訓練出的模型淪為“紙上談兵”。

工業(yè)界則因為數(shù)據(jù)敏感性，只能進行“黑箱競賽”，各家均宣稱自家模型在私有數(shù)據(jù)部署效果卓越，卻無法在第三方統(tǒng)一的數(shù)據(jù)集上同臺競技，不僅信任無法建立，行業(yè)也無法通過統(tǒng)一標準測試水平。

即便走過了模型、數(shù)據(jù)的測試，在真實生產(chǎn)環(huán)境中還是會遇到許多突發(fā)和個性化的問題。例如，模型在執(zhí)行掃描PDF、高清標準照等相對標準化任務上表現(xiàn)優(yōu)異。但在真實世界中，客戶上傳的營業(yè)執(zhí)照可能邊緣有褶皺，因年份過長可能出現(xiàn)褪色；手持身份證照片可能背景雜亂、光線昏暗；遠程面審時，網(wǎng)絡延遲和視頻壓縮會導致語音斷續(xù)、面部模糊。這些在實驗室被過濾掉的噪音，恰恰是線上場景的常態(tài)，專門針對此類場景的魯棒性測評目前嚴重缺失。

專業(yè)場景失焦、數(shù)據(jù)之困和魯棒性盲區(qū)，三大痛點交織，共同將行業(yè)推入一個負向循環(huán)。

機構和企業(yè)選型時只能看Demo和通用打榜成績，存在一定盲目性。各家都在自己的“孤島”上重復建設相似能力，并宣稱自己領先，市場充斥著劣幣驅(qū)逐良幣的擔憂。因魯棒性在上線前得不到充分檢驗，許多項目在落地效果不及預期，投入產(chǎn)出比低下。

現(xiàn)階段，信貸行業(yè)呈現(xiàn)出投入大、選型盲和驗證難的困境，大量資源被消耗在解決相同的基礎問題上。要打破此循環(huán)，亟需一個統(tǒng)一的“標尺”和一場評估范式革命。

FCMBench，一把來自“戰(zhàn)場”的尺子

為了解決行業(yè)的普遍性問題，奇富科技在設計FCMBench時設定了三大核心目標。

強調(diào)實用性，與真實信貸審核流程對齊，提供標準化評估指標。重要的是，理想情況下，若模型在該基準測試中取得良好成績，可直接應用于實際場景，而不僅僅是滿足實驗室指標。

據(jù)悉，F(xiàn)CMBench-V1.0構建了與真實銀行審核流程高度一致的評測框架，涵蓋18類核心信貸證件，如身份證、收入證明、銀行流水、房產(chǎn)證等，包含4043張合規(guī)圖像和8446個測試樣本，問題覆蓋信貸審核全鏈條。

評測盡可能全面覆蓋所有實際應用場景和需求。其創(chuàng)新的“感知-推理-魯棒性”三維評測體系，對信貸AI模型所需的實戰(zhàn)核心能力提出了全面的考核。

感知維度包含文檔類型識別、關鍵信息提取、圖像質(zhì)量評估三大任務，考驗模型從復雜圖像中提取基礎信息的能力；推理維度涵蓋一致性校驗、有效性校驗、數(shù)值計算、合理性審核四類任務，模擬信貸員交叉驗證信息、判斷材料有效性的核心工作；魯棒性維度則設置十類真實采集干擾，如傾斜拍攝、光照不均、反光等，測試模型在真實應用場景中的穩(wěn)定性。

在數(shù)據(jù)層面，在保證多樣性的基礎上，滿足合規(guī)性要求。數(shù)據(jù)采集支持單圖像和多圖像格式中的一種或多種證件，涵蓋信貸審核中遇到的各類數(shù)據(jù)類型。以真實信貸材料為基礎，在保證文檔格式高度仿真的同時，手動生成一系列信貸相關證件，其中所有敏感信息均為虛構。

整體看下來，F(xiàn)CMBench取之于奇富科技常年的業(yè)務經(jīng)驗和數(shù)據(jù)積累，并將成果直接用于實戰(zhàn)場景。首個版本做到了“對癥下藥”，其推出就是為了針對性地解決“無標可依”“無據(jù)可考”的AI落地痛點，讓AI模型的性能評估有統(tǒng)一的標尺。

FCMBench并非是一個孤立的現(xiàn)象，而是整個金融行業(yè)轉向?qū)嵱眯缘男盘枴Ｈツ?，一些大廠已經(jīng)率先行動起來。

螞蟻數(shù)科同樣認同專業(yè)性和統(tǒng)一的標準。其構建的金融任務分類體系，包括了六大類、六十六小類場景，覆蓋銀行、證券、保險、基金、信托等金融全場景。此外，螞蟻數(shù)科還聯(lián)合行業(yè)內(nèi)專業(yè)機構推出Finova大模型金融應用評測基準，深度考察智能體能力、復雜推理以及安全合規(guī)能力。

螞蟻消金基于通義千問基座訓練“消費信貸垂類風控大模型”，將任務詳細拆解為授信、審批、專項優(yōu)化反欺詐和信用評估等指標。京東科技則依托供應鏈生態(tài)，強化票據(jù)、合同、倉單等多模態(tài)單據(jù)的結構化識別與交叉驗證，針對金融語義進行了專項重構。這些操作都在一定程度上，彌補了通用大模型“專而不精”的劣勢。

落實到業(yè)務上，各家的目標也高度一致，追求價值落地。無論是螞蟻的秒級授信、京東的供應鏈金融快審，還是奇富科技的AI全流程審批，本質(zhì)上都是將模型性能指標轉化為，包括壞賬率降低、客群覆蓋擴大、審核人工成本節(jié)約等實際業(yè)務價值。

通過對23個主流多模態(tài)模型的全面評測，F(xiàn)CMBench展現(xiàn)出了專業(yè)的鑒別能力。在FCMBench的首輪評測中，谷歌的Gemini 3 Pro（64.61）位列商業(yè)模型榜首，阿里云Qwen3-VL-235B（57.27）成為最佳的開源基模?；谄娓粚嶋H業(yè)務場景研發(fā)的信貸垂類多模態(tài)大模型，Qfin-VL-Instruct以64.92的F1分數(shù)斬獲綜合第一。

測試結果顯示，Qfin-VL-Instruct感知任務精準度行業(yè)頂尖，一致性校驗能力突出，低延遲部署適配在線審批場景，是專為信貸審核優(yōu)化的“場景化模型”。

其中，在感知任務維度實現(xiàn)全面領先，文檔類型識別、關鍵信息提取和圖像質(zhì)量評估三個子指標均超過Gemini 3 Pro。在有效性校驗、數(shù)值計算、合理性審核等任務上，還可通過啟用輕量級思維鏈推理進一步縮小與Gemini 3 Pro的差距。

Qfin-VL-Instruct的成績，證明了通用模型能力無法完全覆蓋專業(yè)場景，通過“場景數(shù)據(jù)+專業(yè)領域知識”積累能夠突破現(xiàn)有模型的上限，奇富科技在垂類模型上的成功，也為行業(yè)指明了一條可復制的路徑。

從“技術競技場”到“行業(yè)共同體”

目前，奇富科技宣布開源了FCMBench的數(shù)據(jù)集與評測方法，有關FCMBench的數(shù)據(jù)集、評測工具以及Qfin-VL-Instruct的試用接口已開放獲取。

FCMBench的開源，標志著金融AI發(fā)展邏輯的一次根本性轉向：信貸行業(yè)正從各家閉門的“黑箱競賽”，走向基于公共標準的“生態(tài)共建”。

這一舉措將徹底打破領域壁壘，推動信貸AI從“單點優(yōu)化”邁向“產(chǎn)學研協(xié)同創(chuàng)新”。高質(zhì)量、合規(guī)的開放數(shù)據(jù)集，讓學術界擁有了觸及真實金融問題的“合法接口”。產(chǎn)學研合作得以從務虛的技術對接會，轉向務實的問題攻堅，共同攻克“可解釋AI”“小樣本魯棒性”“公平性驗證”等既具學術深度，又攸關業(yè)務落地的真問題。

擁有可量化、可復現(xiàn)的評測工具后，金融機構的技術評估體系得以重構。選型決策將從依賴廠商的“案例包裝”與“榜單大比拼”，轉向客觀的能力跑分與場景適配度分析，極大降低決策風險與試錯成本，并倒逼大模型廠商回歸價值競爭本質(zhì)。

公開基準如同一面“照妖鏡”，迫使所有廠商在同一把“尺子”下接受檢驗。這意味著以前公說公有理，婆說婆有理的局面即將終結。當各家同拿一份考卷答題，坐在考場答題時，誰的分數(shù)更高，成績則一目了然。

金融AI的終局并非技術炫技，而是建立穩(wěn)固的信任體系。公開、透明的評測基準，正是建立這種信任的第一步。它為信貸行業(yè)未來建立AI模型合規(guī)認證、金融垂類領域能力測試和監(jiān)管標準，都提供了有效的思路和實踐基礎。

楊葉輝博士告訴我們，“FCMBench -V1.0只是一個開始，未來會持續(xù)完善評測基準，希望打磨好一把公平、公正，面向?qū)崙?zhàn)需求的尺子”。

這不僅僅是一次技術開源，更是一次行業(yè)共識的重塑。只有當技術能力可衡量、可比較、可驗證時，信貸AI才能進一步走向技術應用的深水區(qū)，推動整個行業(yè)走向更安全、可靠、可控的智能化未來。

微信號｜TMTweb

公眾號｜光子星球

別忘了掃碼關注我們！