北京
海外對美團開源的這個模型 LongCat-Flash 評價不錯啊，刷到好幾個介紹貼了。
基準測試與 DeepSeek-V3、Qwen3 等差不多，同時推理速度非?？?，比DeepSeek-V3 快了至少一倍，在千億參數(shù)量下，還能用低成本實現(xiàn)100 tokens/秒的推理速度，非常經(jīng)濟了可以說。
仔細看了一下論文和介紹記個筆記
MoE 模型總參數(shù) 560B，激活參數(shù)平均 27B，能根據(jù)上下文自適應激活參數(shù)數(shù)量。
在 20T 數(shù)據(jù)上訓練，數(shù)據(jù)處理包括：長上下文擴展，預處理有抽取、過濾和去重。
得益于“Zero-Computational expert”機制。模型架構創(chuàng)新包括每層有兩個注意力塊（Attention block），同時包含前饋網(wǎng)絡（FFN）和混合專家（MoE），并引入零計算專家作為“匯聚點”，讓簡單 token 可以選擇不計算，提升效率。
負載均衡方面，采用類似 dsv3 的輔助損失和衰減機制。擴展性上，模型先訓練小模型再堆疊擴展，并用超參數(shù)遷移優(yōu)化。穩(wěn)定性方面，跟蹤梯度范數(shù)比和專家余弦相似度，采用 z-loss 控制激活值，優(yōu)化 Adam epsilon。
生僻概念解釋：
Zero-Computational expert（零計算專家）：模型中的一種特殊專家，token 可以選擇它而不進行實際計算，相當于“跳過”處理，節(jié)省算力。
dsv3（輔助損失機制）：用于負載均衡的損失函數(shù)，幫助模型合理分配 token 到不同專家。
z-loss：一種正則化損失，用于控制隱藏狀態(tài)的激活值，防止梯度爆炸。
Adam epsilon：Adam 優(yōu)化器中的一個參數(shù)，影響數(shù)值穩(wěn)定性，設得很小可以提升訓練精度。
模型可以在這里體驗：https://longcat.chat/
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
