始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。

上海人工智能實驗室正式向全球開源其新一代多模態(tài)大模型——書生·萬象InternVL 3.5。本次開源的模型實現(xiàn)了從單純感知理解到實體交互能力的重大跨越，標(biāo)志著多模態(tài)人工智能進入了新的發(fā)展階段。

該模型通過創(chuàng)新的訓(xùn)練架構(gòu)和算法突破，在通用多模態(tài)感知、復(fù)雜情境推理和文本理解等核心能力方面均展現(xiàn)出卓越性能。其旗艦?zāi)Ｐ驮诙鄬W(xué)科綜合推理評估中表現(xiàn)突出，位列全球開源模型領(lǐng)先地位。

更值得關(guān)注的是，新一代模型在多項特色能力上取得顯著進展：

• 具備先進的圖形用戶界面理解與操作能力，支持跨平臺自動化任務(wù)執(zhí)行

• 在具身空間感知方面展現(xiàn)出色表現(xiàn)，為智能體導(dǎo)航與交互提供強大支撐

• 在矢量圖形理解與生成任務(wù)中實現(xiàn)突破性進展

這些突破使InternVL 3.5不再是傳統(tǒng)意義上的"觀察者"，而是能夠真正理解環(huán)境、進行實體交互的智能體。該模型可自主完成文件管理、文檔處理等日常辦公任務(wù)，還能為機器人提供強大的視覺感知與決策能力，在智能制造、智能辦公等領(lǐng)域展現(xiàn)出廣闊應(yīng)用前景。目前已上線始智AI-wisemodel開源社區(qū)-應(yīng)用空間，歡迎大家進行體驗。

https://wisemodel.cn/apps/der5pgpdsis4t7s01k4kf39td

模型地址

https://wisemodel.cn/organization/Intern

01.

實現(xiàn)從“理解”到“行動”的跨越

本次升級，上海AI實驗室研究團隊重點強化了InternVL3.5面向?qū)嶋H應(yīng)用的智能體與文本思考能力，在GUI交互、具身空間推理和矢量圖形處理等多個關(guān)鍵場景實現(xiàn)從“理解”到“行動”的跨越，并得到多項權(quán)威評測驗證。

在GUI交互部分，InternVL3.5在ScreenSpot-v2元素定位任務(wù)以92.9分超越同類模型，同時支持Windows/Ubuntu自動化操作，并在WindowsAgentArena任務(wù)大幅領(lǐng)先Claude-3.7-Sonnet；在具身智能體測試中，InternVL3.5表現(xiàn)出理解物理空間關(guān)系并規(guī)劃導(dǎo)航路徑的能力，在VSI-Bench以69.5分超過Gemini-2.5-Pro；在矢量圖形理解與生成方面，InternVL3.5在SGP-Bench以70.7分刷新開源紀(jì)錄，生成任務(wù)FID值也優(yōu)于GPT-4o和Claude-3.7-Sonnet。

不只是評測成績亮眼，InternVL3.5在智能辦公、機器人訓(xùn)練、AI for Science等實際場景中也展示出強勁實力。具體實例如下：

GUI智能體

InternVL3.5可跨Windows、Mac、Ubuntu、Android等多個平臺，精確識別界面元素并自主執(zhí)行鼠標(biāo)、鍵盤操作，實現(xiàn)恢復(fù)已刪除文件、導(dǎo)出PDF、郵件添加附件等任務(wù)的自動化，有效提升辦公效率。

具身空間推理

InternVL3.5具備更強的grounding能力，可以泛化到全新的復(fù)雜大量小樣本的具身場景，配合抓取算法，支持可泛化的長程物體抓取操作，助力機器人更高效地完成物品識別、路徑規(guī)劃與物理交互。

（視頻由錄制視角記錄）

矢量圖生成與編輯

基于InternVL3.5 8B專有SVG模型，用戶能夠在發(fā)出自然語言指令后，讓模型生成或編輯SVG矢量圖形。本項能力可有效應(yīng)用于網(wǎng)頁圖形生成與工程圖紙解析等專業(yè)場景。

示例1：根據(jù)文字指令生成矢量圖文件

指令示例：

一個帶有黃色和橙色三角形切面的幾何鉆石形狀；

一個帶有扳手和錘子圖標(biāo)的紅色工具箱；

一個帶有深色底座和屏幕的藍色電腦顯示器圖標(biāo)。

效果：

示例2：根據(jù)文字指令編輯矢量圖文件

指令示例：

在番茄的臉上涂一滴眼淚。

輸入：

輸出：

通用推理能力

從數(shù)學(xué)物理考研題到國考圖形推理邏輯測試，再到桌游策略推演，InternVL3.5以領(lǐng)先的通用推理能力實現(xiàn)多場景認知遷移。例如，在AI for Science場景中，模型可協(xié)助科研人員進行分子結(jié)構(gòu)解析、材料性能預(yù)測等復(fù)雜推導(dǎo)。

示例1：數(shù)學(xué)物理考研題

問題

解答這道題

回答

(中間思考過程略)

示例2：國考圖形推理邏輯測試

問題：上面大方框中的紙折疊成一個正方形盒子之后，形成的箭頭的形狀，應(yīng)該是下面A B C D中的哪個

示例3：桌游策略推演

問題：這是什么桌游？給出判斷依據(jù)，分析場上局勢，給出下一步的行動建議

InternVL3.5實現(xiàn)全場景能力提升并非源于單一維度的突破，而是架構(gòu)、訓(xùn)練、部署“三位一體”的系統(tǒng)性優(yōu)化的成果。

02.

破解視覺模塊效率瓶頸

在架構(gòu)方面，InternVL3.5的基礎(chǔ)架構(gòu)遵循了業(yè)界成熟的 “ViT-MLP-LLM”范式，并創(chuàng)新提出視覺分辨率路由（Visual Resolution Router，ViR），有效解決多模態(tài)模型的視覺模塊因高分辨率輸入導(dǎo)致的效率瓶頸這一普遍性難題。

ViR的創(chuàng)新之處在于它能基于圖像語義內(nèi)容進行自適應(yīng)計算。在實際工作中，ViR基于視覺一致性學(xué)習(xí)（ViCO）智能化評估每個圖像塊的語義豐富度，并根據(jù)評估結(jié)果，選擇不同的壓縮路徑：對于語義密集區(qū)域（如文字、圖表），ViR會將其路由至高分辨率通路（保留更多Token）；而對于語義信息較少的背景區(qū)域，則路由至低分辨率通路（保留更少Token）。

實測數(shù)據(jù)顯示，輕量化的InternVL3.5-Flash在將視覺序列長度減少50%的情況下，仍能保持接近100%的性能水平；在DocVQA、OCRBench等高分辨率任務(wù)上，InternVL3.5在保持高性能的同時推理速度顯著提升。

03.

創(chuàng)新多模態(tài)強化學(xué)習(xí)框架

傳統(tǒng)強化學(xué)習(xí)在多模態(tài)模型中常面臨“效率低”或“性能上限低”的兩難困境：在線強化學(xué)習(xí)效果好，但通常計算成本較高且訓(xùn)練過程不穩(wěn)定；離線強化學(xué)習(xí)訓(xùn)練快，但其性能上限往往受到離線數(shù)據(jù)質(zhì)量的限制。

因此，研究團隊提出了級聯(lián)式強化學(xué)習(xí)（Cascade Reinforcement Learning，Cascade RL）框架，通過“離線預(yù)熱-在線精調(diào)”兩個階段，逐步提升多模態(tài)模型的推理能力。

通過Cascade RL，InternVL3.5將離線強化學(xué)習(xí)的高效率、穩(wěn)定性和在線強化學(xué)習(xí)的高性能潛力相結(jié)合，構(gòu)建了一條高效、穩(wěn)定且可擴展的推理能力提升路徑：在離線強化學(xué)習(xí)階段，采用混合偏好優(yōu)化（MPO）算法快速讓模型達到基礎(chǔ)推理水平，為后續(xù)訓(xùn)練提供高質(zhì)量輸出樣本；在在線強化學(xué)習(xí)階段，主要基于GSPO算法，以模型自身生成的樣本為基礎(chǔ)，動態(tài)調(diào)整輸出分布，無需依賴外部參考模型，進一步提升其推理的上限。

對比單階段強化學(xué)習(xí)，級聯(lián)式強化學(xué)習(xí)僅通過50%的GPU訓(xùn)練時間即可達到更優(yōu)的綜合性能，同時在1B到241B全參數(shù)規(guī)模中均實現(xiàn)穩(wěn)定性能增益，實現(xiàn)InternVL3.5全系列模型推理性能相較上一代平均提升16.0分。

其中，InternVL3.5-241B-A28B綜合推理性能達到66.9分，超越上一代模型的54.6分以及Claude-3.7-Sonnet的53.9分，在數(shù)學(xué)推理、邏輯推理等復(fù)雜任務(wù)中表現(xiàn)更為突出。

04.

高效部署實現(xiàn)超4倍的推理加速

在傳統(tǒng)的多模態(tài)模型推理部署方案中，視覺編碼器（如 ViT）和語言模型（LLM）通常串行執(zhí)行，部署在同一個或同一組 GPU 上。然而，這兩部分的計算特性截然不同，視覺編碼器的計算會阻塞語言模型的執(zhí)行，導(dǎo)致GPU資源利用率低下。

基于這一背景，研究團隊提出視覺-語言解耦部署（Decoupled Vision-Language Deployment，DvD）方案：將視覺編碼器（ViT+MLP）與語言模型（LLM）分置于不同GPU，并結(jié)合BF16精度特征傳輸與異步流水線設(shè)計，使視覺計算與語言生成能夠并行執(zhí)行。

DvD帶來了顯著的推理加速，實測數(shù)據(jù)顯示：InternVL3.5-38B模型在處理1344x1344分辨率的圖像時，若僅使用DvD可以將吞吐量提升1.97倍；若結(jié)合使用DvD與ViR，加速效果更為顯著，最高可達4.05倍。這一突破不僅意味著性能上的飛躍，更成為推動高分辨率、強推理能力的多模態(tài)大模型在實際場景中落地應(yīng)用的關(guān)鍵工程成果。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等，還有投資機構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動查看