Google DeepMind 今天發(fā)了Gemini Embedding 2，第一個(gè)原生五模態(tài) embedding 模型
文本、圖片、視頻、音頻、PDF，五種東西，首次編碼進(jìn)同一個(gè)向量空間

https://x.com/OfficialLoganK/status/2031411916489298156 它能處理什么

五種模態(tài)，支持 100+ 語言：

• ? 文本：最多 8192 個(gè) input tokens

• ? 圖片：每次最多 6 張，PNG / JPEG

• ? 視頻：最長(zhǎng) 128 秒，MP4 / MOV

• ? 音頻：最長(zhǎng) 80 秒，MP3 / WAV（不支持 AAC、FLAC）

• ? PDF：最多 6 頁

這五種東西可以混著傳。一次 API 調(diào)用里同時(shí)丟一段文字、三張圖、一段錄音進(jìn)去，模型返回一個(gè)向量，這個(gè)向量理解的是它們之間的關(guān)系

以前要做類似的事（比如用一句話搜到相關(guān)的視頻片段），得給每種模態(tài)各跑一個(gè)模型，各建一個(gè)索引，再寫代碼把結(jié)果拼起來。現(xiàn)在一個(gè)模型、一個(gè)索引就夠了

Google 給了這樣的例子：

from google import genai
from google.genai import types

 client = genai.Client()

 result = client.models.embed_content(
    model="gemini-embedding-2-preview",
    contents=[
        "What is the meaning of life?",
        types.Part.from_bytes(
            data=image_bytes,
            mime_type="image/png",
        ),
        types.Part.from_bytes(
            data=audio_bytes,
            mime_type="audio/mpeg",
        ),
    ],
)

在這里，三種模態(tài)，一次調(diào)用，一個(gè)向量

belike 跑分

默認(rèn)輸出 3072 維向量。支持靈活縮維（Matryoshka Representation Learning），縮小之后跑分幾乎不掉：

• ?3072 維：MTEB 68.17

• ?2048 維：MTEB 68.16

• ?1536 維：MTEB 68.17（比 2048 還高 0.01）

• ?768 維：MTEB 67.99

768 維的存儲(chǔ)成本是 3072 維的四分之一，跑分只掉了 0.18

有個(gè)反直覺的細(xì)節(jié)：1536 維的分?jǐn)?shù)比 2048 維略高。Google 建議開發(fā)者優(yōu)先用 3072、1536、768 三個(gè)檔位

補(bǔ)個(gè)背景。前代gemini-embedding-001目前仍然排在 MTEB English 榜第一，均分 68.32，領(lǐng)先第二名 5 分多。Embedding 2 在純文本上沒拉開明顯差距，核心增量在多模態(tài)

Gemini Embedding 2 benchmarks 定價(jià)

• 
  

  ? 文本：$0.20 / 百萬 tokens

• ? Batch API：半價(jià)，$0.10 / 百萬 tokens

• ? 圖片、音頻、視頻：按 Gemini API 標(biāo)準(zhǔn)媒體 token 費(fèi)率

做個(gè)對(duì)比：

• ? 前代gemini-embedding-001（純文本）：$0.15 / 百萬 tokens

• ? OpenAItext-embedding-3-large（純文本）：$0.13 / 百萬 tokens

• ? CohereEmbed v4（文本 + 圖片）：$0.12 / 百萬 tokens

多了音頻、視頻、PDF 三種模態(tài)，價(jià)格比前代漲了 33%?？紤]到能力的增量，這個(gè)溢價(jià)不高

競(jìng)品

多模態(tài) embedding 不是沒人做過：

• ? Cohere Embed v4：文本 + 圖片，不支持音頻和視頻，128K tokens 長(zhǎng)上下文

• ? CLIP 系列 / Jina CLIP v2：圖片 + 文本

• ? Nomic：圖片 + 文本

Gemini Embedding 2 是第一個(gè)在一個(gè)商用 API 里覆蓋五種模態(tài) + 100 語言的

開源側(cè)追得快。NVIDIA 的Llama-Embed-Nemotron-8B領(lǐng)跑多語言 MTEB，Qwen3-Embedding-8B 拿到 70.58 分，支持 32 到 4096 靈活維度。但這些目前都還是純文本

幾個(gè)明確的問題：

向量空間不兼容
gemini-embedding-001和gemini-embedding-2-preview的向量空間完全不同。想升級(jí)，只能把整個(gè)數(shù)據(jù)集全部重新編碼一遍，重建索引。沒有漸進(jìn)遷移的辦法

音頻限制緊
80 秒上限，只支持 MP3 和 WAV。30 分鐘的會(huì)議錄音要切成 20 多段

視頻 128 秒
超過兩分鐘就要自己分片

PDF 最多 6 頁
合同、研報(bào)、論文基本都超

還在 Public Preview
API 容量可能有限，規(guī)格在正式發(fā)布前可能還會(huì)變。做原型沒問題，上生產(chǎn)要掂量

早期反饋

Google 引用了法律科技公司 Everlaw 的 CTO Max Christoff 的說法。他們用 Gemini 多模態(tài) embedding 做訴訟發(fā)現(xiàn)（從海量證據(jù)里找關(guān)鍵信息），百萬級(jí)記錄上精確率和召回率都有提升，圖片和視頻搜索是之前完全沒有的能力

Everlaw CTO 反饋 接入方式

模型名gemini-embedding-2-preview，通過 Gemini API 或 Vertex AI 調(diào)用

已支持：LangChain、LlamaIndex、Haystack、Weaviate、QDrant、ChromaDB、Pinecone、Vector Search

Google 做了個(gè)多模態(tài)語義搜索的 demo，可以直接試看這里：https://findmemedia.lmm.ai/