基于圖像理解人工智能模型的基礎(chǔ)，艾倫人工智能研究所今日推出了Molmo 2，這是一個適用于計算機視頻和多圖像理解的多模態(tài)模型系列。

2024年，Ai2發(fā)布了Molmo，該模型為圖像理解設(shè)立了新的基準(zhǔn)，并幫助建立了強大"指向"和標(biāo)記能力的參考標(biāo)準(zhǔn)。這些模型不僅能夠描述圖像中出現(xiàn)的內(nèi)容，還能以高置信度識別和標(biāo)記物體。

Molmo 2系列包含三個變體，每個都針對不同的使用場景設(shè)計：Molmo 2 8B、Molmo 2 4B和Molmo 2-O 7B。8B和4B模型基于阿里巴巴集團(tuán)的開放權(quán)重推理模型Qwen 3，提供視頻定位和問答能力。Molmo 2-O變體基于Ai2的開源模型系列Olmo構(gòu)建，專注于高智能和推理性能。

據(jù)Ai2介紹，較小的Molmo 2模型相對于其規(guī)模展現(xiàn)出了超常的性能。8B模型在關(guān)鍵圖像理解任務(wù)和相關(guān)基準(zhǔn)測試中超越了原始的Molmo 720億參數(shù)模型，為效率設(shè)立了新標(biāo)準(zhǔn)。

在圖像和多圖像推理方面，4B變體盡管規(guī)模極其緊湊，仍在推理方面表現(xiàn)出色。它超越了Qwen 3-VL-8B等開放模型，且訓(xùn)練數(shù)據(jù)遠(yuǎn)少于類似模型。它僅使用919萬個視頻，而Meta平臺公司的PerceptronLM使用了7250萬個視頻。

這些較小的規(guī)模使模型能夠使用更少的硬件高效部署，降低成本的同時提高了基本能力的可用性。

Ai2首席執(zhí)行官Ali Farhadi表示："通過Olmo，我們?yōu)檎嬲_放的AI設(shè)立了標(biāo)準(zhǔn)，去年Molmo引領(lǐng)行業(yè)走向指向功能；Molmo 2通過將這些能力帶入視頻和時間域，進(jìn)一步推動了發(fā)展。"

像Molmo 2這樣的模型為輔助和智能物理技術(shù)奠定了基礎(chǔ)，通常被稱為物理AI。這些系統(tǒng)感知、理解并推理現(xiàn)實世界，以便有意義地與之交互。

要讓機器與環(huán)境交互，它們必須首先理解所觀察到的內(nèi)容。人類直覺地執(zhí)行這項任務(wù)，但機器需要能夠分割物體、隨時間跟蹤它們、一致地標(biāo)記它們并分配預(yù)期屬性的AI模型。

Ai2表示，Molmo 2為視頻理解引入了此前沒有開放模型能夠提供的能力。這包括準(zhǔn)確識別事件發(fā)生的位置和時間、在復(fù)雜場景中跟蹤多個物體，以及將動作連接到幀級時間線。

這種對物理世界的改進(jìn)理解對于交通攝像頭、零售物品跟蹤平臺、安全監(jiān)控系統(tǒng)、自動駕駛車輛和機器人等智能系統(tǒng)至關(guān)重要?？焖俜诸愐曇爸械奈矬w及其固有特征，使機器能夠推理接下來可能發(fā)生的事情。這種能力不僅對交互至關(guān)重要，對安全也同樣重要。理解機器人正在觀察什么從根本上改變了它選擇如何響應(yīng)的方式。

此外，Ai2還發(fā)布了用于訓(xùn)練Molmo 2的九個新開放數(shù)據(jù)集集合，總計超過900萬個多模態(tài)示例，涵蓋密集視頻字幕、長形式問答定位、跟蹤和多圖像推理。僅字幕數(shù)據(jù)集就涵蓋了1000多個視頻，每個視頻都有平均超過900字的詳細(xì)描述。

據(jù)該研究所介紹，這個數(shù)據(jù)集語料庫提供了視頻指向、多物體跟蹤、合成定位和長視頻推理的混合。它表示，這些數(shù)據(jù)集結(jié)合起來為當(dāng)今最完整的開放視頻數(shù)據(jù)集合奠定了基礎(chǔ)。

所有模型、數(shù)據(jù)集和評估工具現(xiàn)已在GitHub、Hugging Face和Ai2 Playground上公開提供，供交互式測試使用。該研究所表示將很快發(fā)布訓(xùn)練代碼。

Q&A

Q1：Molmo 2相比原版Molmo有什么改進(jìn)？

A：Molmo 2在原有圖像理解基礎(chǔ)上增加了視頻理解能力，能夠識別事件發(fā)生的確切位置和時間，在復(fù)雜場景中跟蹤多個物體，并將動作連接到幀級時間線。8B模型甚至超越了原始720億參數(shù)的Molmo模型性能。

Q2：Molmo 2有哪些不同的版本？

A：Molmo 2系列包含三個變體：Molmo 2 8B和4B基于阿里巴巴的Qwen 3模型，提供視頻定位和問答能力；Molmo 2-O 7B基于Ai2的開源Olmo模型，專注于高智能和推理性能。

Q3：Molmo 2的視頻理解能力可以應(yīng)用在哪些場景？

A：Molmo 2的視頻理解能力可廣泛應(yīng)用于交通攝像頭、零售物品跟蹤平臺、安全監(jiān)控系統(tǒng)、自動駕駛車輛和機器人等智能系統(tǒng)，幫助這些系統(tǒng)更好地感知、理解和推理現(xiàn)實世界。