湖南
松果財(cái)經(jīng)訊，面壁智能近日發(fā)布了一款基于全新稀疏-線性混合架構(gòu)（SALA）的9B參數(shù)規(guī)模模型，在提升推理效率與降低計(jì)算成本方面取得重要突破。
SALA架構(gòu)的核心在于將稀疏激活機(jī)制與線性變換路徑進(jìn)行有機(jī)融合。與傳統(tǒng)密集模型在每次推理時(shí)激活全部參數(shù)不同，SALA通過(guò)動(dòng)態(tài)路由策略，僅為特定輸入激活部分專家模塊，大幅降低了計(jì)算開銷。與此同時(shí)，模型中引入的線性計(jì)算路徑能夠高效處理通用特征，與稀疏專家模塊形成協(xié)同。
面壁智能團(tuán)隊(duì)表示，這一設(shè)計(jì)使得9B模型在實(shí)際推理時(shí)的激活參數(shù)量?jī)H相當(dāng)于3B級(jí)別模型，卻保持了接近甚至超越同規(guī)模密集模型的性能表現(xiàn)。在語(yǔ)言理解、代碼生成與長(zhǎng)文本處理等多項(xiàng)評(píng)測(cè)中，SALA-9B展現(xiàn)出優(yōu)異的精度-效率平衡。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
