新智元報(bào)道

編輯：艾倫

【新智元導(dǎo)讀】谷歌發(fā)布首個(gè)原生全模態(tài) Embedding 模型 Gemini Embedding 2！它將文本、圖、音視頻及 PDF 無損融于統(tǒng)一向量空間，實(shí)現(xiàn)跨越五大模態(tài)的直接檢索。這極大降低了架構(gòu)成本，賦予了 AI 真正連貫的「記憶」，是重塑 AI 基建的里程碑。

如果說 ChatGPT 等生成式 AI 大模型是 AI 用來表達(dá)的「嘴」，那么 Embedding（嵌入）模型就是負(fù)責(zé)理解與檢索的「記憶神經(jīng)」。

長期以來，這條記憶神經(jīng)處于割裂狀態(tài)。

昨天，Gemini API 上線首個(gè)多模態(tài) Embedding 模型預(yù)覽版gemini-embedding-2-preview。

作為首個(gè)原生全模態(tài) Embedding 模型，它將文本、圖像、音視頻乃至 PDF 文檔，悉數(shù)融合進(jìn)了一個(gè)統(tǒng)一的向量空間。

拆解「原生全模態(tài)」的顛覆性價(jià)值

要真正理解這項(xiàng)技術(shù)的戰(zhàn)略分量，我們需要看清過去 AI 檢索系統(tǒng)面臨的「數(shù)據(jù)巴別塔」困境。

以往，視覺模態(tài)、音頻模態(tài)和文本處理模態(tài)仿佛說著截然不同的語言，每次調(diào)度全局信息都需要極其繁瑣的翻譯對齊。

Gemini Embedding 2 的出現(xiàn)，等同于在數(shù)據(jù)世界推行了一門通用語，其核心突破體現(xiàn)在以下幾個(gè)維度。

斬?cái)噢D(zhuǎn)錄節(jié)點(diǎn)，消除信息損耗黑洞

「原生」二字的含金量在于拒絕任何形式的妥協(xié)與翻譯。

早期讓 AI 「聽懂」播客，必須外掛語音識(shí)別模型先轉(zhuǎn)成純文本，導(dǎo)致說話人略帶反諷的語調(diào)、背景里刺耳的警笛聲等「冗余信息」瞬間灰飛煙滅。

如今，模型直接「生吞」 MP3 音軌的波形與高分辨率圖片的原始像素，那些只可意會(huì)不可言傳的感官細(xì)節(jié)，終于在數(shù)學(xué)空間里找到了精確的坐標(biāo)。

打通統(tǒng)一坐標(biāo)系，解鎖跨物種搜索

當(dāng)五大數(shù)據(jù)類型被壓縮進(jìn)同一個(gè)高維向量空間，數(shù)據(jù)的邊界被徹底消解。

開發(fā)者能夠輕易實(shí)現(xiàn)極其復(fù)雜的跨模態(tài)檢索：

拋入一段發(fā)動(dòng)機(jī)異響的錄音，系統(tǒng)會(huì)瞬間從海量的 PDF 維修手冊中精準(zhǔn)定位到故障部件的圖紙；

上傳一張極具后現(xiàn)代風(fēng)格的建筑照片，系統(tǒng)能直接召回配樂風(fēng)格極其相似的影視片段。

檢索完全進(jìn)化成了純粹的「語義和意圖共振」。

架構(gòu)大簡化，工程復(fù)雜度斷崖式下跌

過去拼湊一個(gè)多模態(tài)檢索應(yīng)用，工程師簡直要經(jīng)歷一場噩夢。

維護(hù)多個(gè)獨(dú)立模型、花重金購買隔離的向量數(shù)據(jù)庫、再編寫極度復(fù)雜的重排算法試圖強(qiáng)行對齊各類得分，這種草臺(tái)班子式的架構(gòu)不僅延遲極高，且極易崩潰。

現(xiàn)在，這堆亂如麻的基建被濃縮成一次簡單的 API 調(diào)用，一套模型足以打穿整個(gè)業(yè)務(wù)流。

已經(jīng)提前嘗鮮的 Agent 創(chuàng)業(yè)者們，也毫不吝嗇自己對這個(gè)全模態(tài)新模型的贊美。

為 Agent 拼上完整的記憶拼圖

Agent 往往容易顯得遲鈍，根本原因就在于其「記憶」是割裂的。

Agent 看完帶有大量數(shù)據(jù)圖表的研報(bào)后，往往只記住了文字，圖表部分則被拋棄。

原生全模態(tài) Embedding 賦予了 AI 一種連貫的底層認(rèn)知模式，讓機(jī)器終于能像人類一樣，將聽到的風(fēng)聲、看到的畫面和讀過的段落，無縫融合成一段完整的記憶。

「五合一」引擎與降本魔法

新模型不僅包攬了五大數(shù)據(jù)類型，更擁有極寬的吞吐邊界！

• 文本：支持超 100 種語言，上下文高達(dá) 8192 個(gè) token。

• 圖像：單次請求最多攝入 6 張圖片（支持 PNG 與 JPEG）。

• 視頻：長達(dá) 128 秒的動(dòng)態(tài)影像。

• 音頻：長達(dá) 80 秒的錄音脫離了轉(zhuǎn)錄工具的依賴，直接聽懂音軌。

• 文檔：跳過常規(guī)的 OCR 提取，最高 6 頁的 PDF 可被原生讀取。

在秀肌肉的同時(shí)，谷歌也替企業(yè)算好了一筆經(jīng)濟(jì)賬。

Gemini Embedding 2 沿用了巧妙的「俄羅斯套娃」表示學(xué)習(xí)技術(shù)（MRL）。

這項(xiàng)技術(shù)允許開發(fā)者像拆解套娃一樣，根據(jù)自身的存儲(chǔ)預(yù)算靈活「折疊」向量的體積。

在默認(rèn)的 3072 維滿血狀態(tài)下，模型自然能提供極致的檢索基準(zhǔn)。

https://ai.google.dev/gemini-api/docs/embeddings?hl=zh-cn

但真正讓人驚艷的是它向下壓縮時(shí)的韌性：當(dāng)維度被對半砍到 1536 維時(shí)，其 MTEB 多語言性能得分依然堅(jiān)挺在 68.17 分，甚至出現(xiàn)了一個(gè)反直覺的現(xiàn)象——這個(gè)分?jǐn)?shù)比 2048 維還要略高一絲。

即便你把預(yù)算壓縮到極致，將向量體積暴減 75% 降至 768 維，其跑分也僅僅微跌了 0.18 分（67.99 分）。

這意味著，開發(fā)團(tuán)隊(duì)完全可以在幾乎不犧牲核心檢索質(zhì)量的前提下，大幅度削減存儲(chǔ)與計(jì)算開銷，用極高的性價(jià)比撬動(dòng)頂級的多模態(tài)能力。

商業(yè)身位與避坑指南

環(huán)顧四周，這條賽道的火藥味從未如此濃烈。

OpenAI 的 text-embedding-3 依然死死守在純文本陣地，視覺方面全靠舊版模型支撐；

老牌玩家 Cohere 的 Embed v4 遺漏了音視頻兩塊關(guān)鍵拼圖；

開源陣營中最能打的 Jina v4 拿下了圖文與 PDF，同樣對聲音和動(dòng)態(tài)影像無能為力。

Gemini Embedding 2 恰好填補(bǔ)了市場空白，成為當(dāng)下唯一覆蓋五大模態(tài)的商用級全能選手，實(shí)現(xiàn)了全模態(tài) SOTA！

對于準(zhǔn)備嘗鮮的工程團(tuán)隊(duì)而言，有幾個(gè)現(xiàn)實(shí)的「坑」必須提前規(guī)避：

• 兼容性斷層。新老模型的向量空間處于不同的維度規(guī)則下。從舊版 gemini-embedding-001 遷移的系統(tǒng)，必須將海量歷史數(shù)據(jù)全部重新編碼并重建索引。

• 格式與時(shí)長閾值。目前音頻僅支持 MP3 與 WAV，且有 80 秒硬性上限，較長的會(huì)議錄音必須自行切片。

• 手動(dòng)歸一化。在代碼調(diào)用層面，若選擇非默認(rèn)的低維度輸出（如 768 維），開發(fā)者需要外掛腳本手動(dòng)進(jìn)行 L2 歸一化處理。

當(dāng)孤立的數(shù)據(jù)孤島被徹底貫通，龐雜的現(xiàn)實(shí)世界才得以在代碼的深海中投下清晰的倒影。

最深遠(yuǎn)的智能革命，往往藏在那些不動(dòng)聲色的基礎(chǔ)設(shè)施里，悄然將萬物重塑為同一種語言。

現(xiàn)在，可以通過 Gemini API 或 Vertex AI 開始使用 Gemini Embedding 2 模型，參考調(diào)用方式如下：

print(result.embeddings)

參考資料：

https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2/