來源：調(diào)研紀要

事件：DeepSeek更新V3.1版本，并表示其使用的UE8M0 FP8 Scale參數(shù)精度是針對即將發(fā)布的下一代國產(chǎn)芯片設計，引起市場廣泛關注。

周二已經(jīng)在群里發(fā)了，今天關注點在UE8M0 FP8，再續(xù)近期國產(chǎn)算力的熱度，《海外算力VS國產(chǎn)算力》《辟謠龍》

1、重要變化：V3.1 vs GPT-5

1）一個模型支持思考/非思考模式。全球似乎都在走這種混合模型的路子（阿里Qwen走過這個路子但是后來放棄了），GPT-5是一個系統(tǒng)拖三個模型，而DeepSeek是一個模型，兩者原理有別但殊途同歸。

2）提效。V3.1和V3.1 Think相比V3和R1，達到同樣效果需要的token數(shù)明顯減少。注意這是提效而不是通縮，因為后續(xù)可以通過加算力獲得額外性能。

3）Agent。通過后訓練，增強了工具使用能力，Agent任務提升顯著。

4）預訓練。V3.1 Base在V3基礎上重新做了外擴訓練，增加訓練了 840B tokens（vs V3訓練了14.8T，大概比例是5.7%）。雖然增加的token不多，但是依然證明預訓練和智能性是正比的，預訓練還未結束。這840B我們推測有很多Agent數(shù)據(jù)。

2）和3）都明顯利好應用，尤其是Agent類應用。至于上下文擴展到128k，其實V3論文是支持128k，只是DS官方為了成本優(yōu)化到了64k，這次又加回來了。

2、另一個關注點就是使用UE8M0 FP8，明確指出“是針對即將發(fā)布的下一代國產(chǎn)芯片設計 ”，官方把這句話置頂在公眾號評論里了。在DeepSeek-V3.1模型卡的說明文檔中，確實提到了一句：使用UE8M0 FP8精度數(shù)據(jù)格式進行訓練。

FP8是原版V3采用的精度，F(xiàn)P8的兩種主流編碼是E4M3和E5M2（英偉達、Arm、Intel定的），UE8M0代表在E4M3和E5M2的一種縮放，但是本質(zhì)還是8位代表一個數(shù)。

目前支持FP8的是英偉達H和B系列，國產(chǎn)芯片中，明確已經(jīng)支持FP8的只有摩爾線程。

3、什么是UE8M0 FP8？

1）基本概念

- FP8：FP代表浮點數(shù)（小數(shù)），8代表數(shù)據(jù)用8bit（8位0、1）表示。計算機里的小數(shù)都是用科學計數(shù)法表示的，只不過與通常的科學計數(shù)法不同，不是10的次方，而是2的次方，例如3.14可以表示為1.57*2^1，0.618可以表示為1.236*2^（-1）。

- U：Unsigned，無符號，與有符號（Signed）相對應，也就是數(shù)字不帶正負號，這種數(shù)據(jù)格式無法表示負數(shù)，但是可以用同樣的數(shù)據(jù)長度表示更多正數(shù)。

- E：Exponent，指數(shù)，科學計數(shù)法的“次方”。

- M：Mantissa，尾數(shù)，科學計數(shù)法的“頭”或“有效數(shù)字”。

- UE8M0：無符號（只能取0或正數(shù)），用8位數(shù)字表達指數(shù)，用0位數(shù)字表達尾數(shù)（此時尾數(shù)默認為1），也就是說這種數(shù)字格式只能表示2的n次方，從2的0次方到2的255次方。

- UE8M0與常規(guī)FP8的區(qū)別：常規(guī)FP8通常是“（S1）E5M2”或者“（S1）E4M3”，對數(shù)據(jù)的表示范圍有所不同。

2）FP8精度：E4M3、E5M2、UE8M0等多種格式都代表什么？

-E4M3=1位符號+4位指數(shù)+3 位尾數(shù)。動態(tài)范圍小，精度較高，就像一本“小本子”，能記細節(jié)，但容量有限。

-E5M2：1 位符號+5 位指數(shù)+2 位尾數(shù)。動態(tài)范圍大，精度差，就像一張“粗略地圖”，范圍很廣，但細節(jié)模糊。

- UE8M0：8位指數(shù)，沒有符號和尾數(shù)，只能表示 2^n 倍數(shù)，非常適合存縮放因子、就像相機的調(diào)焦光圈，讓畫面（E4M3/E5M2）放大或者縮小，來適應相框（訓練/推理）的需要。

總結：計算/存儲數(shù)值用E4M3/E5M2省算力和顯存，縮放用UE8M0提高穩(wěn)定性和生態(tài)兼容性。

3）UE8M0是怎么來的？

UE8M0首先出自NVIDIA PTX指令集，主要用來作為 MXFP8 訓練推理中的縮放因子。DS-V3/R1在對FP8 穩(wěn)定訓練方面做出了突出貢獻，并通過 DeepGEMM 這樣的開源庫把這種實現(xiàn)公開出來。DeepGEMM 的README就直接寫了“SM100 需要 packed UE8M0 縮放因子”，并提供了相應kernel，幫助整個生態(tài)在工程上落地。

總結：NVIDIA 提供了標準（UE8M0 格式），而DeepSeek貢獻了工程實現(xiàn)與大規(guī)模實踐（DeepGEMM代碼、FP8 穩(wěn)定訓練方案）

4、UE8M0 FP8，對算力有何影響？

1）FP8：相比FP16可以節(jié)約一半算力/顯存容量/通信帶寬，相比FP32能節(jié)約3/4。數(shù)據(jù)長度的縮短，有利于提升計算速度，并且可以用更少的算力卡、更小的集群裝下模型。沿著該思路，使用FP6、FP4更能節(jié)約算力、顯存、帶寬。

2）UE8M0：可以把計算中占據(jù)大多數(shù)的乘法轉化為更簡單的加法。由于科學計數(shù)法的“頭”全是1，所以數(shù)據(jù)只能是2的n次方。由于神經(jīng)網(wǎng)絡中，主要的運算是矩陣乘法，而2的n次方乘法，比通常的乘法簡單很多，可以簡化為加法，例如2^m * 2^n = 2^(m+n)。

3）加法相比乘法，快很多、簡單很多。通常，加法器電路的面積比乘法器小很多，一次乘法運算消耗的時間是加法的數(shù)倍。

- 國產(chǎn)芯片要支持FP8，需要同時滿足①芯片硬件在算子層面原生支持E4M3/E5M2和②支持UE8M0 等FP8縮放標準

- 對原本只支持BF16/FP16精度的老芯片，可以通過 FP8 存儲 + 轉換 BF16/FP16 計算，節(jié)省顯存/帶寬

- 對未來新發(fā)布的原生支持FP8的國產(chǎn)芯片，即可享受滿血版的算力/顯存/帶寬約2x的效率提升

結論：UE8M0格式的乘法，比其他FP8快數(shù)倍，且明顯節(jié)約芯片面積。我們認為，推出更靈活的數(shù)據(jù)格式UE8M0 FP8，是DeepSeek通過更進一步的工程優(yōu)化（類似采用FP8數(shù)據(jù)訓練），針對國產(chǎn)AI芯片算力不足的問題做的優(yōu)化（動態(tài)的去減少尾數(shù)可以使得更多的計算采用整數(shù)乘法器進行操作，可以較大程度的釋放算力，在國產(chǎn)芯片設計端，未來在有限的制程下也可以塞入更多的整形計算單元來堆砌更多算力）。

核心1：低精度訓練可以提高吞吐量，降低內(nèi)存與帶寬消耗，強調(diào)了FP8等低精度訓練的重要性。

核心2：采用UE8M0 FP8可以幫助平衡FP8訓練的動態(tài)范圍和精度，在國產(chǎn)卡支持FP8精度的初期階段，通過軟件層的優(yōu)化、帶來國產(chǎn)卡FP8精度的調(diào)優(yōu)與使用效率提升。

5、UE8M0 FP8，對模型有何影響？

- 在現(xiàn)有算力條件下，采用新數(shù)據(jù)格式可以大幅提升訓練推理效率，加快模型迭代。

- 同樣的顯存容量下，可以增大等效KV Cache容量，增加上下文長度，對于模型的記憶能力、復雜項目分析能力大有助益。

- 同樣的網(wǎng)絡帶寬下，可以增加網(wǎng)絡效率、集群效率，降低模型公司成本，改善用戶體驗。

國產(chǎn)算力支撐國產(chǎn)模型，本次DeepSeek V3.1有望助推國產(chǎn)算力競爭力提升，看好國產(chǎn)算力與國產(chǎn)模型合力支撐下的中國AI產(chǎn)業(yè)。

6、對存儲需求的影響

我們認為不同的FP8格式實際上在存儲單元的占用均為8 bit，實際上對內(nèi)存單元以及內(nèi)存帶寬的需求并沒有任何優(yōu)化或者變化，因此部分公眾號中解讀的所謂利空HBM，降低存儲需求的表述是明顯錯誤的。只要為FP8的格式，那么讀寫都是8bit的存儲單元占用。

7、電話會議紀要

1）芯片技術討論

? 華為下一代芯片（可能命名為910x）將支持FP8精度，預計第四季度送測廠商。當前910B庫存積壓，主要用于推理而非訓練。

? 寒武紀690、摩爾線程S5000等國產(chǎn)芯片已支持FP8，但華為生態(tài)軟件適配更優(yōu)。

? 國產(chǎn)GPU架構自主可控問題：計算公司公告稱“力爭解決”，實際未完全自主（采用Imagination IP）。

2）AI模型與部署

? DeepSeek V3.1更新：增加訓練token數(shù)量、優(yōu)化Agent支持、增強Function Calling（如Anthropic Code API接入）。

? FP8精度的意義：降低推理存儲占用（100B模型從200G壓縮至100G），提升吞吐量，但需與國產(chǎn)芯片（如華為、寒武紀）深度適配。

? 國產(chǎn)芯片推理部署：華為升騰910C不支持FP8，下一代芯片將支持；寒武紀受限于FP16，需轉換精度。

3）行業(yè)動態(tài)與市場情緒

? 中興通訊：中標移動集采，但AI卡依賴第三方（如壁仞），實際技術能力存疑。

? 半導體設備國產(chǎn)化：國產(chǎn)設備訂單增長，政策要求新建晶圓廠提高國產(chǎn)設備比例。

? 摩爾線程：融資70億，軟件生態(tài)是優(yōu)勢，但技術門檻低（對比計算、漢博等競品）。

4）投資觀點

? 看好標的：中興通訊（組織優(yōu)化）、中芯國際（14nm獨家產(chǎn)能）、華為系（升騰下一代芯片）。

? 風險提示：東芯架構非自研，炒作需謹慎；華宏收購華利威為擴產(chǎn)，但市場反應負面。

? AI應用方向：DeepSeek開源可能利好辦公（如金山）、編程、游戲領域，Agent生態(tài)將成變現(xiàn)重點。

5）其他要點

? 鴻蒙系統(tǒng)適配：9月30日前應用需適配鴻蒙，但實際效果待觀察；小米汽車利潤超預期，與華為差異化競爭。

? 國產(chǎn)替代趨勢：下半年至明年，設備、材料、芯片全鏈條受益政策驅(qū)動（如算力采購補貼傾斜國產(chǎn)）。*

— THE END —