阿里國(guó)際團(tuán)隊(duì)最近發(fā)布的 多模態(tài)大模型 Ovis引起了科技圈的廣泛關(guān)注。

說(shuō)得簡(jiǎn)單點(diǎn)，Ovis不只是 懂得文字，它還能看圖、理解圖片、做數(shù)學(xué)推理，甚至處理手寫(xiě)公式。這種“多才多藝”讓它不僅在學(xué)術(shù)領(lǐng)域風(fēng)頭正勁，還在實(shí)際應(yīng)用場(chǎng)景中迅速嶄露頭角。

Ovis已經(jīng)在多模態(tài)技術(shù)評(píng)測(cè)平臺(tái) OpenCompass上拿到了 綜合排名第一的成績(jī)。這個(gè)評(píng)測(cè)平臺(tái)堪稱(chēng)多模態(tài)模型界的“奧斯卡”，Ovis能夠拔得頭籌，意味著它在圖像理解、文本生成、數(shù)學(xué)推理等多項(xiàng)任務(wù)中都達(dá)到了頂尖水平，甩開(kāi)了其他同類(lèi)模型好幾條街。

什么是 Ovis？

Ovis 是一種 多模態(tài)大模型，這意味著它可以 同時(shí)理解和處理來(lái)自多種不同形式的數(shù)據(jù)輸入，比如圖片、文字、數(shù)學(xué)公式等。

而市面上比較常見(jiàn)的 大語(yǔ)言模型（LLM），像ChatGPT、GPT-4，擅長(zhǎng)的是處理和生成文本數(shù)據(jù)，特別是文字生成，但在處理圖片和非文本信息上并沒(méi)有太大優(yōu)勢(shì)。

Ovis則不同，它不僅能處理文字，還可以解析圖像、識(shí)別手寫(xiě)體、理解復(fù)雜的數(shù)學(xué)公式，甚至能自動(dòng)生成菜譜或分析財(cái)務(wù)報(bào)告。簡(jiǎn)單來(lái)說(shuō)，Ovis就像一個(gè)能 同時(shí)處理視覺(jué)、語(yǔ)言和復(fù)雜任務(wù)的全能AI，不再局限于某一領(lǐng)域，而是真正能做到跨模態(tài)的理解和應(yīng)用。

阿里這款 Ovis 多模態(tài)大模型的發(fā)布帶來(lái)了多項(xiàng)技術(shù)突破，特別是在視覺(jué)和文本的結(jié)合上。

舉個(gè)例子，Ovis 能識(shí)別手寫(xiě)文案并進(jìn)行精準(zhǔn)的翻譯，無(wú)論字體如何復(fù)雜。

它還能處理復(fù)雜的數(shù)學(xué)公式，展現(xiàn)出強(qiáng)大的數(shù)學(xué)運(yùn)算能力。

通過(guò)識(shí)別食物圖片，它能生成詳細(xì)的菜譜建議。

Ovis的技術(shù)亮點(diǎn)

0 1

可學(xué)習(xí)的視覺(jué)嵌入詞表

這是阿里首次在模型中引入的創(chuàng)新，通過(guò)將視覺(jué)特征轉(zhuǎn)化為視覺(jué) token，能更好地在圖像和語(yǔ)言之間建立橋梁，解決了大部分多模態(tài)模型無(wú)法處理高精度圖像的問(wèn)題。

0 2

動(dòng)態(tài)子圖處理方案

支持極端長(zhǎng)寬比和高分辨率圖像處理，在自動(dòng)駕駛、醫(yī)療影像等領(lǐng)域尤其有用。比如在自動(dòng)駕駛中，攝像頭采集的圖像不規(guī)則，Ovis 可以應(yīng)對(duì)這種復(fù)雜場(chǎng)景。

0 3

全面數(shù)據(jù)優(yōu)化

從 Caption 到 VQA（視覺(jué)問(wèn)答），再到 OCR（光學(xué)字符識(shí)別）、表格和圖表分析，Ovis 的能力覆蓋了各種復(fù)雜的數(shù)據(jù)處理方向。在識(shí)別手寫(xiě)公式時(shí)，Ovis 能快速精確地提取內(nèi)容并進(jìn)行運(yùn)算或解釋。

這對(duì)我們意味著什么？

對(duì)于普通人來(lái)說(shuō)，Ovis可能聽(tīng)起來(lái)有些“技術(shù)腔”，但別著急，這種技術(shù)背后有著非常實(shí)際的應(yīng)用。比如：

自動(dòng)駕駛

它能夠結(jié)合攝像頭、雷達(dá)等多模態(tài)數(shù)據(jù)，實(shí)現(xiàn)更精確的環(huán)境感知和決策，提升自動(dòng)駕駛的安全性。

醫(yī)療診斷

Ovis 能通過(guò)醫(yī)學(xué)影像與文本報(bào)告的結(jié)合，幫助醫(yī)生做出更精準(zhǔn)的診斷建議。

視頻內(nèi)容理解

Ovis 還可以為短視頻、電影等內(nèi)容生成自動(dòng)字幕、情景分析等功能，讓內(nèi)容創(chuàng)作和分析更加高效。

智能家居

設(shè)想一下，你的智能家電看到冰箱里的食材，就能自動(dòng)生成一份健康菜譜，這背后就是Ovis在發(fā)揮作用。

開(kāi)源：阿里給開(kāi)發(fā)者的福音

Ovis 不僅性能出眾，最重要的是 開(kāi)源！這意味著全球的開(kāi)發(fā)者和研究人員可以 自由使用和改進(jìn) Ovis 的代碼、模型和訓(xùn)練數(shù)據(jù)，從而推動(dòng) AI 技術(shù)的普及和進(jìn)步。

阿里在 Ovis 發(fā)布時(shí)，甚至強(qiáng)調(diào)了這一點(diǎn)：

Ovis 不僅僅是阿里巴巴的創(chuàng)新成果，它更是為全球開(kāi)發(fā)者社區(qū)貢獻(xiàn)的公共資源。

未來(lái)，Ovis不僅會(huì)在更多行業(yè)里大展拳腳，還可能成為個(gè)人生活中的助手。想象一下，你家里的AI助手不僅能跟你聊天，還能分析你一天的狀態(tài)，提出鍛煉和飲食建議?；蛘?，你只需要告訴它幾句提示語(yǔ)，它就能為你生成一段有趣的視頻。這種技術(shù)正在迅速?gòu)母拍钭優(yōu)楝F(xiàn)實(shí)，而Ovis正是其中的領(lǐng)跑者之一。