這項由加拿大滑鐵盧大學(xué)、澳大利亞悉尼大學(xué)、香港中文大學(xué)（深圳）、新加坡管理大學(xué)、南洋理工大學(xué)、香港城市大學(xué)等十余所高校及研究機構(gòu)聯(lián)合開展的研究，以預(yù)印本形式于2026年4月發(fā)布，論文編號為arXiv:2604.07413。感興趣的讀者可通過該編號在arXiv平臺檢索到完整論文。

**一個你可能從沒想過的問題**

每天，全球數(shù)以億計的工廠流水線在運轉(zhuǎn)。一顆螺絲型號裝錯了，一個零件表面裂了，一套組件少了墊圈——這些看起來微不足道的差錯，放在航空發(fā)動機、醫(yī)療設(shè)備或者汽車底盤上，輕則產(chǎn)品召回，重則事故頻發(fā)。

傳統(tǒng)上，工廠靠的是經(jīng)驗豐富的質(zhì)檢工人，靠眼睛和手感來把關(guān)。后來，機器視覺系統(tǒng)出現(xiàn)了，能認(rèn)出零件在哪兒、有沒有裂紋，但它只是個"眼睛"，不會思考，無法理解"這顆M10的螺栓為什么不能和M16的螺母配套"，更無法自主判斷"這套夾具的裝配是否符合今天這批零件的規(guī)格"。

近年來，一種新技術(shù)開始引發(fā)工廠管理者的遐想——多模態(tài)大語言模型，也就是那些既能看圖又能對話的大型AI，比如GPT、Gemini、Kimi這類。這些模型在日常問答、寫代碼、分析文件上表現(xiàn)出驚人的能力，有人開始問：它們能不能也幫工廠"看"零件、"懂"規(guī)格、"判斷"裝配？

為了回答這個問題，這批來自十余所頂尖高校的研究者們做了一件在學(xué)界頗具開創(chuàng)性的事：他們沒有停留在泛泛的討論層面，而是真刀真槍地構(gòu)建了一套名為FORGE的評測基準(zhǔn)，專門用來測量這些大模型在制造業(yè)場景下的真實能力。他們用真實工廠零件建起數(shù)據(jù)集，設(shè)計了三類核心任務(wù)，找來18個當(dāng)下最先進的多模態(tài)大模型逐一"應(yīng)試"，并深入分析了這些模型究竟在哪里卡殼、為什么卡殼。結(jié)果既讓人耳目一新，也讓人若有所思。

**一、從流水線到考場：FORGE是什么，為什么它與眾不同**

在此之前，學(xué)界并非沒有針對工業(yè)場景的AI評測。現(xiàn)有的一些基準(zhǔn)數(shù)據(jù)集，比如MMAD專注于視覺異常檢測，MME-Industry涵蓋工業(yè)認(rèn)知和安全規(guī)程，還有DesignQA聚焦于技術(shù)藍圖的理解。但研究團隊發(fā)現(xiàn)，這些評測有一個共同的短板：它們把工廠里的零件當(dāng)作普通的視覺對象來處理，只需要模型說出"這是一顆螺絲"就算過關(guān)了。

這就好比讓一名醫(yī)學(xué)生用病人照片診斷疾病，卻只要求他說出"這個人病了"，而不要求他判斷究竟是M型還是B型病變、用哪種藥、劑量多少?，F(xiàn)實的工廠要求的精度，遠(yuǎn)不止于此。

以螺母為例，工廠里的螺母分M10、M12、M14、M16、M18……各種型號，直徑相差幾毫米，但配套關(guān)系截然不同。如果你把一顆M16的螺母和M10的螺栓配在一起，零件會松動報廢。因此，F(xiàn)ORGE的核心設(shè)計理念是**型號級別（model-number level）的細(xì)粒度語義理解**——不僅要認(rèn)出這是螺母，還要認(rèn)出它是哪個型號的螺母，以及它和同批次其他零件的兼容關(guān)系。

為了支撐這套高精度評測，研究團隊先構(gòu)建了一批高質(zhì)量的多模態(tài)數(shù)據(jù)。他們用精度達0.02毫米的手持3D掃描儀，對14類真實工廠零件（包括角支架、沉頭螺絲、杯頭螺絲、眼形螺栓、平墊圈、六角螺母、鉚釘螺母、自攻螺絲、彈簧墊圈、T型螺栓、T型螺母、T型螺絲、翼形螺母、翼形螺絲）進行了全面的3D點云掃描，涵蓋90個不同型號，共585個樣本。與此同時，他們還拍攝了約3000張來自四種真實裝配場景的圖像。所有數(shù)據(jù)都配有精細(xì)標(biāo)注，不只是"這是什么零件"，還包括"這是哪個型號"、"有沒有缺陷"、"裝配是否合規(guī)"。

僅在數(shù)據(jù)規(guī)模和標(biāo)注深度上，F(xiàn)ORGE就已經(jīng)和此前的同類工作拉開了明顯差距：12972個評測樣本，橫跨圖像和3D點云兩種模態(tài)，是目前制造業(yè)領(lǐng)域最全面的多模態(tài)基準(zhǔn)之一。

**二、三場"考試"：模型到底需要懂什么**

評測設(shè)計了三類任務(wù)，分別對應(yīng)工廠自動化中最關(guān)鍵的三個環(huán)節(jié)。

第一類叫做零件核驗（WORKVERI），本質(zhì)上是材料分揀能力的考核。給模型一批零件的圖像或3D渲染圖，告訴它"這批貨應(yīng)該全是M18杯頭螺絲"，然后在其中混入一顆M10的螺絲，或者換成了一顆自攻螺絲，讓模型指出哪顆不對。這一任務(wù)分為三個場景：來自圖像子集的氣動連接件（PCS SCENARIO）、來自點云子集的杯頭螺絲（CHS SCENARIO）和螺母（NUTS SCENARIO）。

第二類叫做表面缺陷檢測（SURFINSP），也就是質(zhì)量檢查。給模型一個零件的三視圖點云渲染，讓它先判斷這個零件是否正常，如果不正常，再從裂紋、切痕、變形、凹痕四種類型中指出是哪種缺陷。這項任務(wù)橫跨上述全部14種零件類型。

第三類叫做裝配核驗（ASSYVERI），是三類任務(wù)里最復(fù)雜的。這里不只是認(rèn)零件，而是要理解裝配規(guī)則。比如，一套標(biāo)準(zhǔn)的金屬膨脹螺栓由螺栓、螺母、平墊圈、彈簧墊圈、套管五個部件組成。給模型看一張裝配好的組件圖，如果混入了一顆不對型號的平墊圈，或者多了一個彈簧墊圈，模型需要找出那個"異類"。四個裝配場景分別是金屬膨脹螺絲（MES SCENARIO）、塑料膨脹螺絲（PES SCENARIO）、數(shù)控夾具（CNC SCENARIO）和金屬螺絲墊圈螺母組合（SWN SCENARIO）。

所有任務(wù)都以多選題的形式呈現(xiàn)，每道題給出若干候選部件的位置，模型選出那個"有問題的"。每類任務(wù)都在三種不同"難度設(shè)定"下評測：零樣本（模型只看題目圖片）、參考條件（同時提供標(biāo)準(zhǔn)正確樣品的圖片作為參考）、以及上下文示范（在參考圖基礎(chǔ)上，額外提供一道完整的示例題和答案）。

**三、18個"考生"亮相：有人超常發(fā)揮，有人穩(wěn)定發(fā)揮，有人令人大跌眼鏡**

研究團隊把當(dāng)下最具代表性的18個多模態(tài)大模型全都拉來測了一遍，既有可以直接調(diào)用API的閉源模型（GPT-5、GPT-5.2、GPT-5 Mini、O3、Gemini-2.5-Flash、Gemini-3-Flash、Claude-4.5-Opus、Seed-1.6），也有開源可部署的模型（Gemma-3-27B、InternVL3-78B、Llama-4-Maverick、Mistral-3-8B/14B/Large、Qwen3-VL-8B/235B、GLM-4.6V、Kimi-K2.5）。

評測用的指標(biāo)很簡單：精確匹配準(zhǔn)確率，也就是模型選對了幾題。同時設(shè)置了隨機猜測基線作為參照——在WORKVERI和ASSYVERI中，每題4到6個選項，隨機猜對率約25%到33%。

總體來看，閉源模型普遍優(yōu)于開源模型。其中Gemini-3-Flash和GPT-5系列在零件核驗和裝配核驗任務(wù)上表現(xiàn)領(lǐng)先，而開源陣營里，Kimi-K2.5和Qwen3-VL-235B相對突出。

然而最令人意外的是表面缺陷檢測任務(wù)（SURFINSP）。這道"簡單題"——畢竟只需要從五個類別里選一個——偏偏成了全場最低分的任務(wù)。即便是最強的模型，也幾乎無法超過50%的準(zhǔn)確率，部分模型甚至接近隨機猜測水平。這種差距說明，大模型對零件的宏觀外形識別（"這是顆螺絲"）和對微觀表面形態(tài)的感知（"這條紋路是裂紋還是切痕"）是兩種截然不同的能力，前者相對成熟，后者目前還是一塊未被開墾的荒地。

**四、奇怪的發(fā)現(xiàn)：參考圖有時反而幫了倒忙**

評測結(jié)果里藏著一個讓人撓頭的現(xiàn)象。

正常的直覺是：給模型看"正確答案長什么樣"，應(yīng)該讓它表現(xiàn)更好。但數(shù)據(jù)顯示，對于基于三視圖點云渲染的任務(wù)，從零樣本切換到參考條件設(shè)置之后，很多模型的準(zhǔn)確率反而下降了，有些模型甚至下降了十幾個百分點。進一步加入完整示范題之后，情況也沒有明顯改善。

這是為什么？研究者的解釋是：三視圖渲染是從三個正交方向（前視、側(cè)視、俯視）拍攝的平面投影，不同角度下同一個零件看起來差異很大。當(dāng)模型面對參考圖時，它試圖把參考圖里的零件和測試圖里的零件做空間匹配，但因為視角差異和空間感知能力不足，這種比較反而引入了混亂，讓模型越看越糊涂。

相比之下，對于需要型號級別精度的任務(wù)（比如判斷這顆螺絲是M16還是M18），空間視覺特征的權(quán)重本來就比較低，主要靠的是對形狀細(xì)節(jié)的語義理解，所以受這種"空間困惑"的影響相對較小。而對于需要直接辨認(rèn)零件類型的任務(wù)（比如判斷這個是螺母還是翼形螺母），視覺特征極為重要，三視圖的角度變換就造成了更明顯的干擾。

簡而言之：給大模型看更多參考圖，有時候不僅沒幫上忙，反而讓它更困惑了。

**五、解剖瓶頸：問題出在"看不清"還是"不懂行"**

光知道模型表現(xiàn)不好還不夠，研究者更想搞清楚：模型究竟是"眼睛不好使"，還是"大腦沒經(jīng)驗"？

為了回答這個問題，他們設(shè)計了三項專門的"瓶頸分析"實驗，像一個外科醫(yī)生逐層切開，找出病灶所在。

第一項實驗測的是視覺定位能力。在所有裝配圖像里，每個零件都被標(biāo)上了字母標(biāo)簽（A、B、C……）。研究者專門出題：給你坐標(biāo)[0.70, 0.44]，對應(yīng)的是哪個字母？或者，字母B對應(yīng)的是哪個坐標(biāo)？結(jié)果發(fā)現(xiàn)，在500道單圖定位題中，Gemini-3-Flash平均準(zhǔn)確率高達98.9%，四個最強模型在字母→坐標(biāo)方向的準(zhǔn)確率全部超過97.6%。這個結(jié)果非常清楚：大模型的視覺定位能力本身是過關(guān)的，它們確實能"看清"圖里哪個零件在哪兒。

第二項實驗測的是零件功能知識。研究者給模型提供了完整的裝配規(guī)格說明（每個部件叫什么名字、有幾個、功能是什么），然后讓模型判斷哪個部件缺失了。這類題對"看圖認(rèn)位置"的要求極低，主要考的是"知不知道這套裝配應(yīng)該有什么"。結(jié)果顯示，四個頂尖模型在240道圖像題上的整體準(zhǔn)確率達到74.9%到90.7%，遠(yuǎn)高于23.3%的隨機猜測基線。絕大多數(shù)零件類型（螺絲、螺母、錨固件、楔塊）幾乎都能判斷正確。但有一類零件——平墊圈——出現(xiàn)了系統(tǒng)性失?。簻?zhǔn)確率僅23.3%到60.0%（圖像），三視圖模式下更是低至8.3%到74.5%。

錯誤分析揭示了一個精妙的細(xì)節(jié)：模型能很好地檢測到"少了一個墊圈"，但無法判斷缺少的是平墊圈還是彈簧墊圈。這兩種墊圈的外形確實很相似，但功能和規(guī)格截然不同。既然視覺定位沒問題，那這種混淆就只能歸結(jié)為"對零件功能和形態(tài)區(qū)別的專業(yè)知識不足"，也就是說，模型的知識庫里對工廠零件的了解太淺了。

第三項實驗則更極端：研究者把3D點云數(shù)據(jù)直接轉(zhuǎn)成文本坐標(biāo)表格，喂給模型，看它能不能從一堆數(shù)字里分析出零件形狀。結(jié)果相當(dāng)清晰：在表面缺陷檢測任務(wù)上，兩個被測模型的表現(xiàn)都接近隨機猜測水平，幾乎無法區(qū)分缺陷類型。僅在零件核驗任務(wù)上，模型靠著比對坐標(biāo)范圍來估算零件尺寸大小，獲得了勉強高于隨機的表現(xiàn)（Gemini-3-Flash零樣本53.6%）。這說明，對于通用大語言模型而言，視覺渲染是處理3D制造數(shù)據(jù)的必要手段，純文本坐標(biāo)流遠(yuǎn)遠(yuǎn)不夠。

三項分析的結(jié)論匯聚成一個清晰的結(jié)論：當(dāng)前大模型在制造業(yè)場景下失敗的根本原因，不是"看不清"，而是"不懂行"——缺乏制造業(yè)領(lǐng)域的細(xì)粒度專業(yè)知識。

**六、錯誤案例里的意外驚喜：模型的"歪打正著"**

研究者還做了定性錯誤分析，逐字拆解了模型答錯時的推理過程，發(fā)現(xiàn)了兩類有趣的失敗模式。

第一類叫做"材料幻覺"。在金屬膨脹螺栓裝配場景（MES SCENARIO）中，某模型被問到哪個零件規(guī)格不對，結(jié)果它盯著一個金屬平墊圈，硬說那是"塑料/尼龍材質(zhì)"，然后以"膨脹螺栓組件中不應(yīng)該用塑料墊圈，會降低強度"為理由，選擇了那個墊圈作為答案——答錯了。但研究者注意到，這個模型的推理過程本身其實很有價值：它在沒有被明確要求的情況下，自發(fā)地嘗試推斷零件材質(zhì)，并把材質(zhì)因素納入了裝配合規(guī)性的判斷中。雖然這次判斷出錯了，但這種"自主推斷材質(zhì)并用于決策"的能力，正是真正實用的工廠AI所需要的。

第二類叫做"服役狀態(tài)感知"。在數(shù)控夾具場景（CNC SCENARIO）中，某模型雖然判斷錯了哪個零件的型號不對（它認(rèn)為螺母太小，實際上是墊塊太大），但在推理過程中，它隨手指出了"壓板A端部嚴(yán)重磨損/崩缺"、"墊塊D也有磨損痕跡"。這種順帶識別出"零件磨損程度"的能力，與工廠里的預(yù)測性維護需求高度吻合——如果模型能在做質(zhì)檢的同時順手給出磨損評級，那對工廠的價值遠(yuǎn)不止于合格與不合格的二元判斷。

這兩類"歪打正著"的案例說明，大模型在制造業(yè)中的潛力，可能比一道標(biāo)準(zhǔn)化測題所能衡量的要大得多。

**七、一個小模型的逆襲：專業(yè)微調(diào)的力量**

前面所有的分析都聚焦于"現(xiàn)有大模型的局限"，但研究者還進了一步：既然領(lǐng)域知識是瓶頸，那用制造業(yè)數(shù)據(jù)專門訓(xùn)練一個模型，效果會怎樣？

他們挑了一個只有30億參數(shù)的小模型——Qwen2.5-VL-3B，這在大模型圈里屬于"迷你"級別，連很多普通電腦都能跑起來。然后用FORGE數(shù)據(jù)集里的訓(xùn)練數(shù)據(jù)對它進行了全參數(shù)微調(diào)。

微調(diào)的邏輯很有講究：他們用CHS SCENARIO（杯頭螺絲場景）的數(shù)據(jù)訓(xùn)練模型，然后在它從未見過的NUTS SCENARIO（螺母場景）上評測；用MES和PES場景數(shù)據(jù)訓(xùn)練，在CNC夾具場景上評測。這樣的"跨場景"測試，才能真正檢驗?zāi)Ｐ陀袥]有學(xué)到可遷移的制造業(yè)推理能力，而不只是死記硬背了訓(xùn)練數(shù)據(jù)里的具體零件。

結(jié)果非常顯眼：在零件核驗三視圖任務(wù)上，這個30億參數(shù)的小模型從28.2%跳升到了53.8%，提升幅度達90.8%，直接達到了參數(shù)量是它78倍的Qwen3-VL-235B的水平。在裝配核驗圖像任務(wù)上，準(zhǔn)確率從24.0%提升到30.5%，相對提升27.1%，表現(xiàn)超過了Seed-1.6、Qwen3-VL-235B、Mistral-3-8B等多個大得多的模型，僅次于Gemini-3-Flash和GPT-5.2。

進一步拆解來看，微調(diào)之后，小模型對"正常裝配"的判斷準(zhǔn)確率從24.3%猛升到74.8%，以前它總是覺得"哪里都有問題"，現(xiàn)在知道什么是正常了。型號識別的準(zhǔn)確率雖然從33.8%小幅降至23.8%，但整體上，由于正常案例在評測集里占多數(shù)，綜合表現(xiàn)大幅提升。

這個結(jié)果傳達了一個直接且實用的信號：哪怕是非常有限的專業(yè)領(lǐng)域數(shù)據(jù)（訓(xùn)練數(shù)據(jù)只有8337條），也能讓一個小巧的模型在特定制造業(yè)任務(wù)上迅速成長，逼近頂級閉源大模型的水準(zhǔn)。不需要等GPT出個新版本，自己用FORGE這樣的數(shù)據(jù)微調(diào)，是一條更現(xiàn)實的路徑。

**說到底，這意味著什么**

歸根結(jié)底，這項研究做了一件很務(wù)實的事：它把那些在對話、寫作、編程上叱咤風(fēng)云的大模型，拉到了工廠這個它們不太熟悉的考場上，如實記錄了它們的成績單。成績單說明了幾件事。

大模型不是萬能的。在制造業(yè)這種對精度要求極高的場景里，"認(rèn)出這是螺絲"和"判斷這顆螺絲該不該在這里"是兩種截然不同的能力。前者當(dāng)前AI已經(jīng)做得不錯，后者還差得遠(yuǎn)。表面缺陷檢測尤其困難，微觀形態(tài)識別是目前整個領(lǐng)域的硬骨頭。

然而，失敗的原因并不是模型"眼睛不好"，而是"經(jīng)驗不足"。視覺定位能力是夠的，卡殼的地方是細(xì)粒度的領(lǐng)域?qū)I(yè)知識——哪種墊圈該搭哪種螺栓，哪種紋理是裂紋哪種是加工痕跡，這些需要專業(yè)數(shù)據(jù)來填補。

更積極的發(fā)現(xiàn)是，這個知識缺口是可以彌補的，而且成本并不像想象中那么高。用專門構(gòu)建的制造業(yè)數(shù)據(jù)集微調(diào)一個小模型，就能帶來非?？捎^的提升。這對于真正想把AI引入工廠的企業(yè)來說，意味著不必非得等待更大更貴的通用模型，而是可以按照自己的場景定制訓(xùn)練。

當(dāng)然，這項工作也有它目前的邊界。評測數(shù)據(jù)集的規(guī)模和零件種類，相比真實工廠的多樣性還遠(yuǎn)遠(yuǎn)不夠?，F(xiàn)實中的生產(chǎn)線零件種類成千上萬，光靠研究者收集的585個原始樣本還是太少。模型在極端光照、遮擋、污損等真實生產(chǎn)條件下的表現(xiàn)也有待驗證。三視圖渲染代替真實3D輸入，是一種實用的妥協(xié)，但不是終點。

如果你對這個方向感到好奇，不妨思考一個問題：如果工廠里的AI不只是質(zhì)檢工人，而是同時能估算零件磨損狀態(tài)、預(yù)測下次維護時間、甚至理解上下游工序的邏輯，那它應(yīng)該學(xué)什么、怎么學(xué)？這正是FORGE這類基準(zhǔn)工作試圖推動的方向——先把問題說清楚，再談如何解決。有興趣深入了解的讀者可以通過arXiv:2604.07413查閱完整論文。

Q&A

Q1：FORGE評測基準(zhǔn)和之前的制造業(yè)AI評測有什么不同？

A：之前的評測主要把工廠零件當(dāng)普通視覺對象處理，比如認(rèn)出"這是螺絲"就算過關(guān)。FORGE要求細(xì)粒度到型號級別，比如要判斷這顆螺絲是M10還是M16、和同批零件是否兼容。同時，F(xiàn)ORGE結(jié)合了真實2D圖像和3D點云兩種數(shù)據(jù)模態(tài)，并覆蓋零件核驗、表面缺陷檢測、裝配核驗三類實際工廠任務(wù)，在數(shù)據(jù)精度和任務(wù)設(shè)計上均大幅超越以往同類工作。

Q2：大模型在制造業(yè)場景下表現(xiàn)差的主要原因是什么？

A：研究通過三項專門的瓶頸分析實驗證明，主要原因不是視覺定位能力弱，因為測試顯示模型能準(zhǔn)確找到圖中零件的位置。真正的瓶頸是缺乏細(xì)粒度的制造業(yè)專業(yè)知識，比如分不清平墊圈和彈簧墊圈的具體形態(tài)差異，不知道不同型號零件之間的裝配兼容規(guī)則，以及無法分析微觀表面形態(tài)來判斷缺陷類型。

Q3：微調(diào)小模型的效果真的能媲美大模型嗎？

A：在特定制造業(yè)任務(wù)上可以。研究用FORGE數(shù)據(jù)對只有30億參數(shù)的Qwen2.5-VL-3B進行專業(yè)微調(diào)后，在零件核驗三視圖任務(wù)上準(zhǔn)確率提升了90.8%，達到參數(shù)量是它78倍的Qwen3-VL-235B的相同水平。在裝配核驗任務(wù)上也超越了多個規(guī)模更大的模型。這說明用專業(yè)領(lǐng)域數(shù)據(jù)定向微調(diào)小模型，是一條在制造業(yè)落地AI的實際可行路徑。