哈嘍，大家好，今天小睿這篇評論，來聊一聊2023年三星的泄密事件，想必大家還有印象，員工把半導(dǎo)體設(shè)備參數(shù)、源代碼這些核心機密輸進ChatGPT，直接導(dǎo)致信息流入訓(xùn)練數(shù)據(jù)庫。

去年國內(nèi)某新能源車企也出過類似問題，工程師用云端AI優(yōu)化電池設(shè)計，結(jié)果核心配方數(shù)據(jù)被平臺緩存，差點造成重大損失。

咱們?nèi)粘Ｓ玫腁I應(yīng)用，不管是手機助手還是圖片生成工具，基本都是把數(shù)據(jù)傳到云端處理。你點同意的那個用戶協(xié)議，其實就是授權(quán)平臺拿你的數(shù)據(jù)。

往大了說，政務(wù)數(shù)據(jù)、企業(yè)機密，往小了說，你的聊天記錄、定位信息，只要過了云端就有泄露風(fēng)險。

現(xiàn)在AI巨頭就那么幾家，要是所有數(shù)據(jù)都往他們服務(wù)器流，等于把全社會的信息都攥在少數(shù)人手里。某省級政務(wù)APP之前想加AI咨詢功能，就是怕社保、房產(chǎn)這些敏感數(shù)據(jù)出問題，硬是擱置了大半年。

普通用戶的隱私更沒保障，有些號稱能“猜你喜歡”的AI，本質(zhì)就是扒你的歷史數(shù)據(jù)。有朋友試過用某云端AI寫病歷總結(jié)，結(jié)果后續(xù)收到一堆精準推送的保健品廣告，細想真的后怕。這些問題不是技術(shù)不行，而是云端模式從根上就有隱私漏洞。

更現(xiàn)實的是硬件限制，國內(nèi)高校和企業(yè)想買英偉達高端顯卡，要么價格翻幾倍，要么拿不到貨。某高校AI實驗室去年采購計劃里，三張高端顯卡拖了半年都沒到位，研究進度直接受影響。

大家都在找國產(chǎn)替代方案，但國產(chǎn)顯卡普遍顯存不夠，24GB顯存想裝個大模型都裝不下。

南京大學(xué)李猛團隊的研究算是解了燃眉之急，他們搞的AI本地化部署技術(shù)，不僅能讓數(shù)據(jù)不碰云端，還能完美適配國產(chǎn)顯卡，

這個技術(shù)的核心發(fā)現(xiàn)特別關(guān)鍵，他們看出混合專家模型里“低分專家可被替換”，就像考試時難題才找尖子生，簡單題普通學(xué)生就行，不用所有人都占著位置。

基于這個規(guī)律，他們設(shè)計的系統(tǒng)能把顯存利用率提兩倍多，深圳有家做工業(yè)檢測的小企業(yè)試過，之前跑一次缺陷識別要兩張進口顯卡，現(xiàn)在用一張國產(chǎn)顯卡就夠，硬件成本直接砍半。團隊還跟某國產(chǎn)顯卡廠商深度合作，專門針對顯存不足的問題優(yōu)化，現(xiàn)在24GB顯存就能跑原來48GB才能裝的模型。

手機端的突破更直觀，某手機廠商拿這個技術(shù)做測試，在12GB內(nèi)存的機型上部署了混合專家模型。之前想跑同級別模型，得24GB內(nèi)存才夠，而且反應(yīng)慢半拍。測試時用它做離線翻譯、本地文檔總結(jié)，速度比原來快30%，還不用聯(lián)網(wǎng)傳數(shù)據(jù)。

對咱們普通用戶來說，這技術(shù)最實在的好處是省錢。手機廠商本來計劃明年主推24GB內(nèi)存機型，說是為了AI功能，價格至少漲一千?，F(xiàn)在有了這個技術(shù)，12GB內(nèi)存就能跑高端本地AI，等于不用換手機也能享新技術(shù)。

隱私保護更是實打?qū)?，杭州有幾家醫(yī)院已經(jīng)在試用這套技術(shù)做影像分析。醫(yī)生把CT片導(dǎo)入本地AI，直接在電腦上出診斷建議，數(shù)據(jù)全程沒離開醫(yī)院內(nèi)網(wǎng)。之前用云端AI，光數(shù)據(jù)脫敏就要花兩小時，現(xiàn)在十分鐘就能搞定，還沒泄露風(fēng)險。

李猛團隊一開始也走了彎路，最早想直接在手機上部署，發(fā)現(xiàn)內(nèi)存不夠就轉(zhuǎn)攻國產(chǎn)顯卡。他們跟高通研究院交流時受到啟發(fā)，把“替換專家”和“多步預(yù)測”結(jié)合起來，才算打通關(guān)鍵環(huán)節(jié)?，F(xiàn)在這套技術(shù)在國產(chǎn)顯卡上跑的效果，跟進口顯卡比沒差多少。

當(dāng)然技術(shù)還有提升空間，但這步突破已經(jīng)很關(guān)鍵，它不光解決了隱私和成本問題，更給國產(chǎn)顯卡打開了新市場。未來咱們用AI，不用再糾結(jié)數(shù)據(jù)安全，不用非得買高價硬件，這才是技術(shù)該有的樣子。

AI的核心是服務(wù)人，不是讓人被技術(shù)綁架。南大團隊的研究證明，把技術(shù)做扎實，兼顧安全和實用，才能讓AI真正普惠起來。