近期，谷歌發(fā)布新一代開源模型Gemma 4，包括E2B、E4B、26B、31B四個規(guī)格，其中兩個「小模型」E2B和E4B，可以直接在智能手機、樹莓派等端側(cè)設(shè)備部署和離線運行。

谷歌Gemma 4兩款「小模型」一經(jīng)推出，就被不少人譽為迄今為止最好用的端側(cè)模型。雷科技（ID：leitech）也先后發(fā)了兩篇實測內(nèi)容：一篇聚集邏輯推理和多模態(tài)能力，一篇聚焦國產(chǎn)千元機上的體驗表現(xiàn)。

而在使用一段時間后，雷科技（ID：leitech）編輯小伙伴也有了更多新感受和體會。

圖源：雷科技攝制

端側(cè)模型，比百科全書好用100倍

近日，蘋果宣布負責硬件工程的高級副總裁約翰·特努斯將接替蒂姆·庫克，擔任公司首席執(zhí)行官。其后，國內(nèi)外連篇累牘的「為何庫克選他當接班人？」解讀文章，那么把這個問題拋給Gemma 4E4B，它又能給出怎樣的解讀呢？

在聊天框輸入對應(yīng)提問后，谷歌的端側(cè)模型的確是接近「零延遲」，立馬就開始了信息輸出，單說這一體驗設(shè)定，的確讓人眼前一亮。（注：體驗設(shè)備為iPhone 17 Pro Max，下同）

圖源：雷科技

不過，由于輸出的文本量不算少，故而前后用了46秒時間，谷歌端側(cè)模型才給出了完整版的答案。

圖源：雷科技

粗看之下，已經(jīng)可以較好解答相當多人的疑問，而這就是端側(cè)模型的核心優(yōu)勢：

在最低的硬件成本（本地運行+0 Token消耗）條件下，給出一個「相對好」的答案，或一個「夠用」的解決方案。

今年有部熱播國產(chǎn)劇《太平年》，相關(guān)的討論和內(nèi)容很多，前段時間也拋給了谷歌端側(cè)模型一個問題：

吳越國如何能在重稅政策下反而可以維持八十余年的太平繁榮？

這是一個相對專業(yè)和細化的問題，不少大學學歷（非歷史系）的人，都未必了解和清楚，看下E4B模型的水平：

圖源：雷科技

可以看出，端側(cè)模型不僅是離線的大百科全書，而且可以根據(jù)用戶的不同問題乃至方向，去更有側(cè)重地進行解答，包括各類領(lǐng)域的專業(yè)問題咨詢。

谷歌Gemma 4E4B模型的知識截止點時間為2023年10月，在此之前發(fā)生的所有被記錄和公開的事件、科學發(fā)現(xiàn)、歷史信息和文化知識等，理論來說你都可以問它。

雷科技（ID：leitech）認為，這也是端側(cè)模型作為工具應(yīng)用，在當下比較有用的一大使用場景，尤其是對古今中外各類信息和知識感興趣和有好奇心的用戶群體。

而在初步體驗了這款A(yù)pp（Google AI Edge Gallery）后，雷科技（ID：leitech）編輯就把其放在了手機主屏的Dock底欄，因為幾乎天天都用得到。

值得一提的是，谷歌表示雖然Gemma 4的核心訓(xùn)練數(shù)據(jù)有一個知識截止點，但其系統(tǒng)會不斷進行更新和微調(diào)，以提高模型的理解和回答能力水平。

處理簡單問題，端側(cè)模型事故頻發(fā)

本以為，在基礎(chǔ)知識領(lǐng)域，端側(cè)AI模型已經(jīng)可以完全勝任，結(jié)果現(xiàn)實給了重重一錘。

Gemma 4 E4B模型，連唐詩名篇《將進酒》，都可以給錯全文和作者信息。

圖源：雷科技

原因很簡單，端側(cè)模型整體參數(shù)量偏小，發(fā)展至今，依然無法涵蓋所有知識領(lǐng)域，強如谷歌Gemma 4也如此，所以不少領(lǐng)域的細節(jié)信息也就會出現(xiàn)「失真」和「幻覺」現(xiàn)象。

對于這類的古詩文、古籍或資料信息，與其去問端側(cè)模型相應(yīng)的原始文本信息，不如把原始文本信息直接丟給它，例如古詩或文言文等，然后讓其給出翻譯或解讀內(nèi)容。

基于端側(cè)模型參數(shù)量小帶來的知識庫信息量少問題，谷歌也嘗試在端側(cè)模型上首次引入了「智能體」能力。

不過關(guān)于信息檢索類的，目前只能聯(lián)網(wǎng)到在線百科網(wǎng)站（例如維基百科等），并沒有提供可以下載的作為「增量」的各類離線知識庫資源。

圖源：雷科技

除了常規(guī)的知識信息問答，以Gemma 4 E2B/E4B等為代表的端側(cè)AI模型，也在發(fā)力工作協(xié)助和干活場景。

工具應(yīng)用層面，本以為檢查文章基本語病這類工作，完全可以丟給端側(cè)模型去進行協(xié)助，但實際表現(xiàn)同樣不能讓人放心，尤其是長段落文字的語病檢查。

究其原因，像檢查語病這類的高精度任務(wù)，由于需要大量編輯語料和強語言分布記憶，端側(cè)模型常把檢查語病變成了文本修改（潤色），或者混淆了兩者之間的區(qū)別，因為對它來說給出文本潤色和修改建議反而更容易。

值得注意的是，當你把「進行基本語病檢查和修正」的指令發(fā)給端側(cè)模型后，它可能很難「理解到位」，但如果換成「進行基本語病檢查（無語病不要改）」的指令，端側(cè)模型的輸出結(jié)果，就會明了不少。

圖源：雷科技

谷歌Gemma 4有system role、function calling等控制能力，但前提是你要把提示模板、任務(wù)邊界、輸出格式等盡量寫簡單和清晰。

另外，經(jīng)過實測，雖然Gemma 4原生支持超過140種語言，但在檢查長文語病等復(fù)雜精細度任務(wù)上，英文比中文支持得更好，這可能是因其預(yù)訓(xùn)練語料仍以英文為主。

端側(cè)模型更適合專用場景？

除了以上列舉情況，雷科技（ID：leitech）此前已體驗過Gemma 4E4B模型的原生多模態(tài)（圖像、音視頻）能力，它可以直接看圖識物，也可以聽懂簡單的音頻信息、看懂簡單的視頻信息。

在離線和網(wǎng)絡(luò)較差的環(huán)境下，發(fā)一張相冊中的圖片，谷歌端側(cè)模型就可以給出圖像的基本信息。

例如在飛行場景，如果對機上雜志或報紙上的某張圖片有「簡單」的解讀信息需求，那么就可以直接發(fā)給端側(cè)模型，讓其嘗試進行解答。

至于較復(fù)雜的圖像、音頻信息，目前的端側(cè)模型依然難以理解「更多」的信息量。

圖源：雷科技

那么，端側(cè)模型目前最擅長的技能是什么呢？

毫無疑問是這幾項：離線翻譯、計算器、簡單解題和測試訓(xùn)練等工具，以及相對專業(yè)領(lǐng)域（包括健康等領(lǐng)域）的基礎(chǔ)信息科普、咨詢等。

此前，谷歌就基于Gemma 3構(gòu)建了專用的翻譯模型TranslateGemma。而得益于專項訓(xùn)練流程，TranslateGemma 4B模型性能可與規(guī)模較大的Gemma 312B基準模型性能相媲美。可以期待，谷歌后續(xù)很快會推出基于Gemma 4的新一代專用翻譯模型。

谷歌端側(cè)模型和聯(lián)網(wǎng)翻譯工具的翻譯效果對比（圖源：雷科技）

無獨有偶，騰訊混元也在近日開源手機端離線翻譯模型Hy-MT1.5-1.8B-1.25bit，把支持33種語言的翻譯大模型壓縮至440MB，用戶免費下載之后，可在手機直接運行，無需聯(lián)網(wǎng)，官方稱其翻譯效果「比肩」商用翻譯模型。

Gemma 4：端側(cè)模型邁出的「不完美」第一步

最近幾個月，各家的云端大模型迭代飛快，參數(shù)量和智能化比拼也來到新階段。相比之下，不是新概念的端側(cè)模型，也在努力前行，力求早日真正落地結(jié)果。

在體驗一段時間后，雷科技（ID：leitech）的最大感受是，谷歌Gemma 4的推出，標志著端側(cè)模型落地移動終端設(shè)備邁出的那「不完美」的第一步。

至于目前能力水平的端側(cè)模型，推薦的人群有兩大類：

1.天天都要查詢古今中外大量信息的「百科向」用戶，目前的端側(cè)模型可以在一些領(lǐng)域更快、更直接、更定向地給出你想要的一個「初始版本」答案。

2.手機上裝了大量離線app的「工具向」用戶，目前的端側(cè)模型可以在翻譯、計算器、簡單解題和測試訓(xùn)練，以及相對專業(yè)領(lǐng)域的基礎(chǔ)信息科普咨詢等工具應(yīng)用領(lǐng)域有較好的表現(xiàn)。

當然，你想嘗鮮，或者說見證端側(cè)模型的一路成長，也可以下載體驗。

對于iPhone用戶，蘋果即便在未來推出自家的端側(cè)模型產(chǎn)品，大概率也就是谷歌Gemma端側(cè)模型后續(xù)可以實現(xiàn)的程度?？梢云诖摹冈隽俊够颉讣訌姟辜寄?，主要也就端側(cè)模型對于手機各項操作指令的「完美聯(lián)動」和「無縫接入」。

圖源：谷歌

需要指出的是，谷歌Gemma 4端側(cè)模型的回答和響應(yīng)速度，與你手機的運行內(nèi)存和算力水平有著莫大關(guān)系。

iPhone用戶，建議運存8GB起步，推薦12GB；安卓用戶，建議運存12GB起步，推薦16GB。這樣的配置，可以體驗?zāi)壳岸藗?cè)模型的最佳運行表現(xiàn)。

至于如何在手機上下載谷歌Gemma 4端側(cè)模型，步驟極其簡單，所有國內(nèi)用戶均可體驗：

先在國區(qū)App Store或安卓應(yīng)用商店下載配套的App，即Google AI Edge Gallery；其后可在App中對谷歌相關(guān)端側(cè)模型直接進行本地部署（下載）和使用體驗。

圖源：雷科技

端側(cè)模型，成了谷歌面向中國內(nèi)地用戶完全開放下載、并可直接使用的大模型產(chǎn)品。

而這似乎也預(yù)示著谷歌端側(cè)模型（注：經(jīng)過審查和備案后），未來有可能全面部署乃至預(yù)裝到更多國產(chǎn)終端硬件設(shè)備，包括小型物聯(lián)網(wǎng)終端設(shè)備等。

在這方面，谷歌已經(jīng)在發(fā)力。Gemma 4模型支持業(yè)界通行的Apache 2.0許可，這意味著開發(fā)者可以更加自由地使用、修改和分發(fā)該模型，消除了以往商業(yè)化應(yīng)用中的各項顧慮。

而通過與谷歌Pixel硬件團隊以及高通、聯(lián)發(fā)科等移動終端芯片平臺企業(yè)合作，谷歌試圖讓Gemma 4端側(cè)模型可以在更多安卓移動設(shè)備（尤其非高運存設(shè)備）上實現(xiàn)真正的「近乎零延遲」使用體驗。

圖源：雷科技攝制

可以想象，伴隨未來旗艦手機（包括iPhone）運行內(nèi)存全面邁入16GB階段，「小模型」更多、更強、更高效的技能表現(xiàn)（尤其是與智能體的更成熟聯(lián)動），以及更大的本地知識庫信息儲備量，端側(cè)模型也將給用戶帶來全方位的加強版體驗。

這一天，已經(jīng)為時不遠了。