一句話總結(jié)：這是目前參數(shù)效率最高的開源模型家族，十分之一參數(shù)量，媲美旗艦?zāi)Ｐ?/p>

四款模型，各有定位

Gemma 4 一口氣發(fā)布了四個(gè)尺寸的模型：

來(lái)逐個(gè)看看它們的定位：

31B Dense —— 全密集架構(gòu)，31B 參數(shù)全部激活，主打桌面工作站和單卡 H100。這是 Gemma 4 家族的當(dāng)家花旦，在 Arena AI 開源模型排行榜文本賽道排名第三。不做量化的情況下，可以塞進(jìn)一張 80GB 的 H100。

26B MoE（混合專家架構(gòu)） —— 總參數(shù) 26B，單次推理只激活 3.8B 參數(shù)。在排行榜上排第六。MoE 的優(yōu)勢(shì)是推理速度快、延遲低，同一張卡上的 TPS 遠(yuǎn)超 Dense 版本。如果你更在乎推理速度，MoE 是更好的選擇。

E4B —— 有效參數(shù) 4.5B（加上 embedding 約 8B），為移動(dòng)端 + Jetson / 樹莓派設(shè)計(jì)。是跟 Google Pixel 團(tuán)隊(duì)、高通、聯(lián)發(fā)科聯(lián)合開發(fā)的。

E2B —— 有效參數(shù) 2.3B（加上 embedding 約 5B），主打手機(jī) / IoT / 邊緣設(shè)備。這是整個(gè)家族里最適合端側(cè)部署的版本。

這里解釋一下 E2B 和 E4B 的「E」代表什么。小模型采用了 Per-Layer Embeddings（PLE）技術(shù)來(lái)最大化參數(shù)效率——每個(gè) decoder 層都有自己的小型 embedding 表，這些表雖然體積大但只用來(lái)做快速查找，所以實(shí)際激活的參數(shù)遠(yuǎn)少于總參數(shù)?！窫」就是 Effective（有效）的意思。

全系列支持的能力統(tǒng)一且強(qiáng)悍：

• 多模態(tài)輸入 ：全系列原生支持圖像和視頻理解，小模型額外支持音頻輸入和語(yǔ)音識(shí)別

• 超長(zhǎng)上下文 ：大模型 256K，小模型 128K

• Agent 工作流 ：原生函數(shù)調(diào)用（Function Call）、結(jié)構(gòu)化 JSON 輸出、System Instruction

• 140+ 語(yǔ)言 ：原生訓(xùn)練支持 140 多種語(yǔ)言

• 代碼生成 ：高質(zhì)量離線代碼生成，可以當(dāng)本地代碼助手用

先看 Google 官方給出的基準(zhǔn)測(cè)試數(shù)據(jù)：

Gemma 4 31B 在 Arena AI 開源排行榜文本賽道排第三，26B MoE 排第六，Google 說(shuō)它們超過(guò)了體量大 20 倍的模型。

再看第三方評(píng)測(cè)機(jī)構(gòu) Artificial Analysis 的測(cè)試。在科學(xué)推理評(píng)估 GPQA Diamond 上，Gemma 4 31B（Reasoning）拿到 85.7%，在 40B 以下的開權(quán)重模型中排第二，僅次于 Qwen3.5 27B（85.8%）。差距只有 0.1 個(gè)百分點(diǎn)，基本算打平。

更有意思的是 Token 效率，Gemma 4 31B 在同一個(gè)評(píng)估里只用了約 120 萬(wàn)個(gè)輸出 token，比 Qwen3.5 27B 的 150 萬(wàn)和 Qwen3.5 35B A3B 的 160 萬(wàn)都少。也就是說(shuō)，達(dá)到差不多的準(zhǔn)確率，Gemma 4 用的 token 更少，推理成本更低。

正面對(duì)決 Qwen3.5 27B

說(shuō)到開源模型，現(xiàn)在繞不開中國(guó)選手。來(lái)看 Gemma 4 和 Qwen3.5 27B 的細(xì)項(xiàng)對(duì)比：

坦率講，逐項(xiàng)看下來(lái)基本每一項(xiàng)都是 Qwen3.5 27B 領(lǐng)先。不過(guò) Gemma 4 31B 在 Arena AI 排行榜的 Elo 分和 Qwen3.5 差不多打平，說(shuō)明在人類偏好評(píng)估上兩者體驗(yàn)接近。跑分和實(shí)際使用體感有時(shí)候就是兩碼事。

架構(gòu)解析：為什么沒(méi)變還能起飛

知名 AI 博主 Sebastian Raschka 第一時(shí)間拆解了 Gemma 4 的架構(gòu)。他的結(jié)論很有意思：

? 架構(gòu)幾乎沒(méi)變——還是經(jīng)典的 Pre/Post-norm 設(shè)置 + 5:1 混合注意力機(jī)制（滑動(dòng)窗口局部層 + 全注意力全局層） + 分組查詢注意力（GQA）

? 但性能直接起飛！基準(zhǔn)測(cè)試?yán)锿陝?Gemma 3，和 Qwen3.5 27B 難分高下

? MoE 版本（26B 激活 4B 參數(shù)）跑分只比 Dense 版本差一點(diǎn)點(diǎn)，性價(jià)比極高

? 終于換成標(biāo)準(zhǔn) Apache 2.0 許可，沒(méi)那么多限制了

所以架構(gòu)沒(méi)什么創(chuàng)新，但性能提升巨大，大概率是訓(xùn)練數(shù)據(jù)和訓(xùn)練方法的功勞。有時(shí)候不需要架構(gòu)革命，數(shù)據(jù)和訓(xùn)練配方做對(duì)了，效果就是質(zhì)的飛躍。

本地怎么跑

這才是大家最關(guān)心的部分。

Gemma 4 發(fā)布當(dāng)天，主流推理框架全部跟進(jìn)了適配，生態(tài)確實(shí)給力。

Ollama

Ollama 0.20+ 版本直接支持：

ollama run gemma4:e2b     # 2B 有效參數(shù)，端側(cè)
ollama run gemma4:e4b     # 4B 有效參數(shù)，移動(dòng)端
ollama run gemma4:26b     # 26B MoE（激活 4B）
ollama run gemma4:31b     # 31B Dense

llama.cpp 同步跟進(jìn)，可以用 Homebrew 安裝最新版：

brew install llama.cpp --HEAD
llama-server -hf ggml-org/gemma-4-26B-A4B-it-GGUF:Q4_K_M

Mac 用戶的福音——mlx-vlm v0.4.3 發(fā)布當(dāng)天就支持了 Gemma 4 全系列，包括視覺(jué)、音頻和 MoE 模型。社區(qū)大佬幾個(gè)小時(shí)內(nèi)上傳了 125 個(gè)量化模型。如果你是 Mac 開發(fā)者，現(xiàn)在就可以跑起來(lái)了：

uv pip install -U mlx-vlm

更猛的是，MLX-vlm 0.4.3 搭配 TurboQuant KV 緩存壓縮，Gemma 4 31B 在 128K 上下文下的內(nèi)存表現(xiàn)直接起飛：

• KV 緩存內(nèi)存 ：13.3 GB → 4.9 GB（減少 63%）

• 峰值內(nèi)存 ：75.2 GB → 65.8 GB（直接省了 9.4 GB）

• 質(zhì)量保持 ：壓縮后幾乎無(wú)損

TurboQuant 的壓縮效果跟序列長(zhǎng)度成正比，上下文越長(zhǎng)省得越多。想在 Mac 上體驗(yàn)的話，一行命令搞定：

uv run mlx_vlm.generate --model google/gemma-4-31b-it --kv-bits 3.5 --kv-quant-scheme turboquant

目前已知解碼速度會(huì)有約 1.5 倍的下降（內(nèi)核啟動(dòng)開銷導(dǎo)致），官方說(shuō)后續(xù)版本會(huì)修復(fù)。但光是內(nèi)存省下來(lái)的這些空間，對(duì)于 Mac 用戶來(lái)說(shuō)已經(jīng)很值了——本來(lái)跑不下的上下文長(zhǎng)度，現(xiàn)在能跑了。

Unsloth 量化版

我之前介紹過(guò)的 Unsloth 也第一時(shí)間出了量化版。E2B 和 E4B 大約只需要 6GB 內(nèi)存就能跑，26B MoE 和 31B 大約需要 18GB。

有個(gè)好玩的演示：Gemma 4 E4B 在 Unsloth Studio 里只用 6GB 內(nèi)存就能搜索并引用 10+ 個(gè)網(wǎng)站、執(zhí)行代碼來(lái)找最佳答案。用 6GB 內(nèi)存跑一個(gè)能搜網(wǎng)頁(yè)、寫代碼的 AI Agent，放兩年前說(shuō)出來(lái)沒(méi)人信。

GGUFs 下載：https://huggingface.co/collections/unsloth/gemma-4

vLLM

vLLM 同步支持，原生多模態(tài)（視覺(jué) + 音頻），支持 256K 上下文，跨主流 GPU 架構(gòu)和 TPU。

已經(jīng)有人用 vLLM v0.18.2 + transformers v5.5.0 跑通了 Gemma 4 31B 的工具調(diào)用：

工具調(diào)用能力測(cè)試

ToolCall-15 是一個(gè)專門測(cè)試大模型工具調(diào)用能力的基準(zhǔn)，我之前介紹過(guò)。來(lái)看 Gemma 4 全家族的成績(jī)：

關(guān)鍵發(fā)現(xiàn)：Gemma 4 31B 和 Qwen3.5 27B 都拿到了滿分 15/15。在工具調(diào)用這個(gè)維度上兩者完全打平。

但差距在小模型上就明顯了：Qwen3.5 9B 就能拿到 13/15，Gemma 4 需要上到 26B 才能匹配這個(gè)水平。在小模型的工具調(diào)用能力上，Qwen3.5 還是有優(yōu)勢(shì)。

實(shí)際運(yùn)行性能

別光看跑分了，來(lái)看實(shí)際跑起來(lái)的速度。有人在單張 RTX 4090 上測(cè)試了 Gemma 4 26B MoE：

• 解碼速度：162 token/s

• 預(yù)填充：8,400 token/s

• 完整 262K 原生上下文

• 顯存占用：19.5 GB

• Elo 分只比 31B Dense 低 10 分

雙卡配置（RTX 4090 + RTX 3090）跑 Q8_0 量化的 31B Dense：

• 預(yù)填充 10K token：9,024 token/s

• 全 262K 上下文：2,537 token/s —— 一部小說(shuō)大約 100 秒就能處理完

配合 TurboQuant 分支做 KV cache 量化，還能再省 1.8 GB 顯存，幾乎沒(méi)有性能損失。

單卡 4090 跑滿 262K 上下文的命令（MoE Q4_K_M 量化版）：

llama-server -m gemma-4-26B-A4B-it-UD-Q4_K_M.gguf \
  -c 262144 -np 1 -ctk q8_0 -ctv turbo3 \
  -fa on --fit off --cache-ram 0 -dev CUDA0

MoE 版本的解碼速度是 Dense 版本的 3.7 倍。單張 4090 就能跑滿 262K 上下文，這個(gè)數(shù)據(jù)對(duì)于想本地部署長(zhǎng)上下文 Agent 的開發(fā)者來(lái)說(shuō)，非常有吸引力。

TurboQuant+ 權(quán)重壓縮（實(shí)驗(yàn)性）

TurboQuant 不只是壓 KV 緩存，最新的 TurboQuant+ 分支還支持模型權(quán)重壓縮。原理是對(duì)模型權(quán)重施加 WHT 旋轉(zhuǎn) + Lloyd-Max 極化量化，屬于訓(xùn)練后量化，不需要重新訓(xùn)練或校準(zhǔn)，直接對(duì) Q8_0 的 GGUF 模型操作就行。

Gemma 4 31B 的效果：30.4 GB 壓縮至 18.9 GB，全系列模型都能享受 TurboQuant+ KV 緩存同樣的好處。

目前支持 Apple Silicon（Metal）、NVIDIA（CUDA）和 AMD（ROCm/HIP）三大平臺(tái)。想嘗鮮的話，從實(shí)驗(yàn)分支開始：

git clone https://github.com/TheTom/llama-cpp-turboquant.git
cd llama-cpp-turboquant
git checkout pr/tq4-weight-compression

 # Apple Silicon
cmake -B build -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j

 # NVIDIA
cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -j

詳細(xì)文檔：https://github.com/TheTom/turboquant_plus/blob/main/docs/getting-started.md-compression-tq4_1s--experimental

對(duì)于顯存敏感的本地部署場(chǎng)景，30.4→18.9 GB 的壓縮意味著原來(lái)需要雙卡的配置，現(xiàn)在可能單卡就夠了。這個(gè)實(shí)驗(yàn)分支值得關(guān)注。

英偉達(dá)優(yōu)化

NVIDIA 這次也沒(méi)缺席。Google 和 NVIDIA 聯(lián)合對(duì) Gemma 4 做了針對(duì)性優(yōu)化，覆蓋了從數(shù)據(jù)中心到桌面再到邊緣的全棧場(chǎng)景——RTX GPU、DGX Spark 個(gè)人 AI 超算、甚至 Jetson Orin Nano 邊緣模塊都能跑。

NVIDIA 官方給出了性能基準(zhǔn)：所有配置使用 Q4_K_M 量化，BS=1，ISL=4096，OSL=128，在 RTX 5090 和 Mac M3 Ultra 上用 llama.cpp 的 llama-bench 工具測(cè)試。

具體來(lái)說(shuō)：

• E2B / E4B ：為邊緣場(chǎng)景而生，在 Jetson Nano 上也能完全離線運(yùn)行，延遲接近零

• 26B / 31B ：針對(duì) RTX GPU 和 DGX Spark 做了優(yōu)化，主打 Agent 開發(fā)工作流——代碼助手、推理引擎、函數(shù)調(diào)用都是強(qiáng)項(xiàng)

• OpenClaw 兼容 ：Gemma 4 全系列兼容 NVIDIA 的 OpenClaw 本地 AI Agent 框架，可以直接從個(gè)人文件、應(yīng)用和工作流中提取上下文來(lái)自動(dòng)化任務(wù)

NVIDIA Tensor Core 對(duì) AI 推理的加速在這里體現(xiàn)得很明顯——更高的吞吐、更低的延遲，加上 CUDA 生態(tài)的廣泛兼容性，新模型基本都是 Day-1 就能高效運(yùn)行。

想了解完整部署指南，可以看 NVIDIA 的技術(shù)博客：https://developer.nvidia.com/blog/bringing-ai-closer-to-the-edge-and-on-device-with-gemma-4/

Simon Willison 的評(píng)價(jià)

知名開發(fā)者 Simon Willison 第一時(shí)間測(cè)試了 Gemma 4。他用 LM Studio 跑了 GGUF 版本，2B、4B 和 26B MoE 都運(yùn)行正常，但 31B Dense 出了問(wèn)題——對(duì)每個(gè) prompt 都輸出 "---\n" 死循環(huán)。這種早期 bug 后續(xù)應(yīng)該會(huì)修復(fù)。

他還發(fā)現(xiàn)了一個(gè)有趣的點(diǎn)：E2B 和 E4B 雖然支持音頻輸入，但目前 LM Studio 和 Ollama 都還沒(méi)實(shí)現(xiàn)這個(gè)功能。想在本地跑音頻理解，可能還得等等。

Google 特別強(qiáng)調(diào)了「前所未有的參數(shù)效率」。Simon Willison 認(rèn)為這說(shuō)明在當(dāng)前 AI 研究中，如何做出好用的小模型正在成為最熱門的方向之一。

總結(jié)

Gemma 4 的核心價(jià)值：

優(yōu)勢(shì)：

• Apache 2.0 開源許可，商用無(wú)障礙，這是最大的進(jìn)步

• 參數(shù)效率極高，31B 模型能和大幾倍的模型掰手腕

• MoE 版本性價(jià)比炸裂，單卡 4090 就能跑滿 262K 上下文

• 原生多模態(tài) + 工具調(diào)用 + 超長(zhǎng)上下文，Agent 開發(fā)直接可用

• 端側(cè)模型能跑在手機(jī)和樹莓派上，6GB 內(nèi)存就能跑 Agent

• 生態(tài)完善，Ollama、llama.cpp、vLLM、MLX 全部 Day-1 支持

• TurboQuant+ 加持下，31B 權(quán)重從 30.4 GB 壓到 18.9 GB，MLX 上 128K 上下文 KV 緩存省 63%

不足：

• 跟 Qwen3.5 27B 正面比，多數(shù)跑分項(xiàng)目略遜

• 小模型的工具調(diào)用能力不如同參數(shù)量級(jí)的 Qwen

• 31B Dense 在部分推理框架上還有早期 bug

• 音頻輸入功能暫時(shí)只能通過(guò) Google AI Studio 體驗(yàn)，本地工具還沒(méi)適配

我的建議：

• 如果你需要商業(yè)部署開源模型，Gemma 4 的 Apache 2.0 許可證是一個(gè)很重要的加分項(xiàng)

• 本地跑推薦 26B MoE 版本，速度快、顯存占用相對(duì)小，性能只比 Dense 差一點(diǎn)點(diǎn)

• 有條件上 Dense 就上 Dense，畢竟是質(zhì)量天花板

• Mac 用戶直接走 MLX，體驗(yàn)最佳

• 端側(cè)開發(fā)者可以重點(diǎn)關(guān)注 E2B 和 E4B，6GB 內(nèi)存跑 Agent 的未來(lái)已經(jīng)來(lái)了

官方博客：https://blog.google/innovation-and-ai/technology/developers-tools/gemma-4/

GGUFs 下載：https://huggingface.co/collections/unsloth/gemma-4

Unsloth 指南：https://unsloth.ai/docs/models/gemma-4

.0

制作不易，如果這篇文章覺(jué)得對(duì)你有用，可否點(diǎn)個(gè)關(guān)注。給我個(gè)三連擊：點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個(gè)，謝謝你看我的文章，我們下篇再見！