AI基礎設施競爭，已經不再只是“誰的芯片跑分更高”，而是“誰能把芯片、內存、網絡、軟件、電力和數據中心組織成一臺更高效的智能生產機器”。
在摩爾定律邊際放緩之后，半導體產業(yè)的勝負手，越來越從單芯片設計，轉向系統(tǒng)級協(xié)同設計；從“賣器件”，轉向“賣平臺”；從“訓練一次”，轉向“長期推理運營”。

一、什么叫“AI基礎設施”？

AI基礎設施（AI Infrastructure）
指支撐人工智能訓練、后訓練、推理和部署的一整套底層系統(tǒng)。它不只是芯片，而是包括：

• 計算芯片（GPU、CPU、ASIC、TPU等）

• 存儲與內存（HBM、DDR、SSD等）

• 互連與網絡（NVLink、InfiniBand、Ethernet、交換機）

• 服務器與機柜

• 數據中心電力與散熱

• 軟件棧（CUDA、編譯器、分布式訓練框架）

• 云平臺與調度系統(tǒng)

一句話理解：
AI基礎設施不是一顆芯片，而是一座“AI工廠”的全部設備與管線。

二、計算芯片類術語 1. GPU

圖形處理器（Graphics Processing Unit）
原本用于圖形渲染，后來因為特別擅長大規(guī)模并行計算，成為AI訓練和推理的主力芯片。

通俗解釋：
CPU像一個很聰明的管理者，GPU像一支能同時干很多重復性工作的超大施工隊。

2. CPU

中央處理器（Central Processing Unit）
負責通用計算、操作系統(tǒng)、任務調度、控制邏輯。AI系統(tǒng)里，CPU通常不負責主要訓練計算，但負責“指揮”和“協(xié)調”。

通俗解釋：
CPU像大腦里的“總控中樞”，GPU像真正出力干活的“肌肉群”。

3. ASIC

專用集成電路（Application-Specific Integrated Circuit）
為某種特定任務專門設計的芯片，比如AI訓練或推理專用芯片。

特點：

• 優(yōu)點：效率高、能耗低、針對性強

• 缺點：通用性弱、生態(tài)難做、開發(fā)成本高

代表：

• Google TPU

• AWS Trainium / Inferentia

• 各類AI加速芯片創(chuàng)業(yè)公司產品

Tensor Processing Unit
Google自研的AI專用加速器，本質上是一類針對張量計算優(yōu)化的ASIC。

通俗解釋：
如果GPU是“萬能型重型機械”，TPU更像“為AI大規(guī)模矩陣運算定制的專用生產線設備”。

5. AI加速器（AI Accelerator）

泛指專門加速AI計算的芯片，范圍比GPU更大，包含GPU、TPU、NPU、部分ASIC等。

6. NPU

神經網絡處理器（Neural Processing Unit）
常用于手機、PC、邊緣設備中的AI計算單元，也可泛指神經網絡專用處理模塊。

常見場景：

• 手機本地AI

• AI PC

• 攝像頭邊緣識別

• 機器人終端

• 通用芯片：適合更多類型任務，靈活，比如CPU、GPU

• 專用芯片：專門為某類計算設計，效率高，比如TPU、Trainium

核心矛盾：
AI時代一直在討論：到底是“通用平臺勝出”，還是“專用芯片分流”。

三、AI計算核心概念 8. 張量（Tensor）

AI模型處理數據的基本數學形式，可以理解為“多維數組”。

通俗解釋：
標量是一個數，向量是一列數，矩陣是一張表，張量就是更高維度的數據盒子。

9. 矩陣乘法（Matrix Multiplication）

深度學習最核心的計算操作之一。大模型訓練的大部分算力都耗在矩陣乘法上。

為什么重要：
誰能更高效地做矩陣乘法，誰就更可能在AI芯片競爭中占優(yōu)勢。

10. FLOPS

每秒浮點運算次數（Floating Point Operations Per Second）
衡量芯片理論計算能力的指標。

常見單位：

• TFLOPS：萬億次

• PFLOPS：千萬億次

• EFLOPS：百億億次

注意：
FLOPS高不等于真實AI性能一定強，因為還要看內存、互連、軟件利用率。

11. TOPS

每秒萬億次操作（Tera Operations Per Second）
常用于邊緣AI、推理芯片宣傳，表示整數或低精度運算能力。

注意：
TOPS常被用于營銷，讀者要看清是何種精度下的TOPS。

12. 吞吐量（Throughput）

單位時間內系統(tǒng)完成的任務量，比如每秒生成多少token、每秒處理多少張圖片。

適合衡量：

• 云端推理效率

• 模型服務能力

• 數據中心產能

從輸入請求到輸出結果所花的時間。

舉例：

• 問AI一個問題，多久開始回答

• 模型每生成一個token需要多久

AI應用里常見矛盾：

• 高吞吐通常追求批量效率

• 低延遲追求用戶體驗
  兩者常常需要平衡

芯片或集群的實際工作效率。
比如一塊GPU理論很強，但如果大部分時間都在等待數據，那利用率就不高。

為什么重要：
大模型時代，比拼的不只是芯片峰值性能，而是“真實系統(tǒng)利用率”。

四、精度與數值格式 15. FP32

32位浮點數
傳統(tǒng)高精度計算常用格式。

16. FP16

16位浮點數
比FP32更省內存和帶寬，訓練中大量使用。

17. BF16

Brain Floating Point 16
一種對深度學習更友好的16位格式，訓練中非常流行。

為什么重要：
很多大模型訓練已經從FP32轉向BF16/FP16，以提高效率。

18. INT8 / INT4

8位整數 / 4位整數
多用于推理和量化，可以顯著降低顯存占用和功耗。

通俗解釋：
精度略降一點，換來更便宜、更快、更省電的推理。

19. 量化（Quantization）

把模型參數從高精度壓縮到低精度，比如FP16變INT8、INT4。

作用：

• 降低顯存需求

• 降低部署成本

• 提升推理吞吐

代價：

• 可能損失部分精度

• 工程實現難度提高

訓練過程中混合使用高精度和低精度數值格式，以兼顧穩(wěn)定性和效率。

五、內存與存儲術語 21. HBM

高帶寬內存（High Bandwidth Memory）
AI芯片最關鍵的配套資源之一。和GPU/AI芯片封裝得很近，帶寬極高。

為什么重要：
今天很多AI系統(tǒng)的瓶頸不只是算力，而是“喂不飽算力”的內存帶寬。

一句話：
HBM是AI芯片時代最貴、最緊缺、最關鍵的資源之一。

22. 顯存（VRAM）

GPU用于存放模型參數、中間激活值、KV Cache等的數據空間。

23. 帶寬（Bandwidth）

單位時間內能傳輸多少數據。
AI訓練和推理都非常依賴高帶寬內存和高帶寬網絡。

24. 容量（Capacity）

能裝下多少數據。
在AI里，容量決定模型能不能放進去，帶寬決定模型跑得快不快。

25. KV Cache

大語言模型推理時，為了避免重復計算，會緩存注意力機制中的Key和Value。

為什么重要：

• 長上下文會顯著增加KV Cache開銷

• 這是推理成本上升的重要來源之一

固態(tài)硬盤
用于存儲訓練數據集、模型權重、檢查點等。

27. 檢查點（Checkpoint）

訓練過程中定期保存的模型狀態(tài)文件。
方便中斷恢復、繼續(xù)訓練或后續(xù)微調。

六、互連與網絡術語 28. NVLink

英偉達的高速芯片互連技術，用于GPU和GPU之間高速通信。

為什么重要：
單卡算力再強也不夠，大模型訓練必須多卡協(xié)同。NVLink就是讓GPU之間“說話更快”的專用高速通道。

29. NVSwitch

用于把多塊GPU連接成更大高速互聯域的交換芯片。

通俗解釋：
NVLink像高速公路，NVSwitch像大型立交樞紐。

30. InfiniBand

一種高性能網絡技術，常用于AI訓練集群和高性能計算集群。

特點：

• 低延遲

• 高帶寬

• 適合大規(guī)模分布式訓練

以太網。傳統(tǒng)數據中心最常見的網絡方案。
如今也越來越多被用于AI集群，尤其在大規(guī)模云廠商中。

產業(yè)趨勢：
AI網絡并不一定都走InfiniBand，越來越多公司在推動高性能以太網AI集群。

32. 交換機（Switch）

負責在服務器、機柜、節(jié)點之間轉發(fā)數據流量的網絡設備。

33. RDMA

遠程直接內存訪問（Remote Direct Memory Access）
讓一臺機器能繞過過多CPU干預，直接訪問另一臺機器內存，提高效率、降低延遲。

34. Scale-Up

指單個系統(tǒng)內的擴展，比如一臺服務器里增加更多GPU，并通過NVLink/NVSwitch高速互連。

35. Scale-Out

指跨服務器、跨機柜擴展，通過網絡把大量節(jié)點組成更大集群。

區(qū)別：

• Scale-Up：做大“單機”

• Scale-Out：做大“整個集群”

網絡連接結構設計。
比如GPU之間怎么連、機柜之間怎么連，會直接影響訓練效率和成本。

七、訓練相關術語 37. 預訓練（Pre-training）

用海量數據讓模型學習語言、圖像、代碼等通用規(guī)律，是大模型能力的基礎階段。

38. 后訓練（Post-training）

預訓練之后的對齊、微調、強化學習等過程，用來讓模型更實用、更安全、更符合人類意圖。

39. 微調（Fine-tuning）

在已有基礎模型上用更小數據集繼續(xù)訓練，使其適應特定任務。

40. 指令微調（Instruction Tuning）

讓模型學會更好地遵循人類指令。

41. 強化學習（Reinforcement Learning）

通過獎勵機制優(yōu)化模型行為。
在AI領域，常見于對齊和復雜推理優(yōu)化。

42. RLHF

基于人類反饋的強化學習（Reinforcement Learning from Human Feedback）
通過人工偏好數據幫助模型學會更符合人類喜好的回答方式。

43. 合成數據（Synthetic Data）

不是來自真實世界直接采集，而是由模型、程序或規(guī)則生成的數據。

為什么重要：
真實高質量數據越來越稀缺，合成數據越來越成為重要補充。

44. 數據并行（Data Parallelism）

多張卡同時處理不同批次的數據，然后同步參數。

45. 模型并行（Model Parallelism）

當模型太大，一張卡裝不下，就把模型切分到多張卡上運行。

46. 張量并行（Tensor Parallelism）

把某一層中的矩陣計算拆給多張GPU并行完成。

47. 流水線并行（Pipeline Parallelism）

把模型不同層分到不同設備上，像工廠流水線一樣順序處理。

48. 分布式訓練（Distributed Training）

利用大量加速器共同完成模型訓練。

核心難點：
不是“卡越多越好”，而是通信、同步、負載均衡都很復雜。

49. 梯度同步（Gradient Synchronization）

多卡訓練后，需要把各卡算出的梯度同步，才能繼續(xù)一致地更新參數。

50. 批大?。˙atch Size）

一次送入模型訓練的數據量。
批越大，吞吐可能更高，但訓練穩(wěn)定性和顯存壓力也會變化。

八、推理相關術語 51. 推理（Inference）

模型訓練完成后，真正拿來回答問題、生成圖片、寫代碼的執(zhí)行過程。

一句話：
訓練是“學”，推理是“用”。

52. 在線推理（Online Inference）

面向實時請求的推理服務，比如聊天機器人、搜索問答、實時推薦。

53. 離線推理（Offline Inference）

提前批量處理任務，不追求實時響應，比如文檔批量總結、廣告排序預計算。

54. 首token時間（TTFT, Time To First Token）

用戶發(fā)出請求后，模型生成第一個token需要多久。

為什么重要：
這直接影響用戶覺得“這個AI快不快”。

55. 每秒token數（Tokens per Second）

衡量模型生成速度的重要指標。

56. 批處理（Batching）

把多個用戶請求打包一起處理，提高吞吐量。

代價：
可能會增加單個用戶等待時間。

57. 動態(tài)批處理（Dynamic Batching）

系統(tǒng)根據實時請求自動組合批次，兼顧吞吐與延遲。

58. 服務化推理（Serving）

把模型包裝成可調用服務，供應用或用戶訪問。

59. 推理引擎（Inference Engine）

專門優(yōu)化模型部署和推理執(zhí)行的軟件系統(tǒng)。

常見作用：

• 圖優(yōu)化

• 算子融合

• 內存管理

• 調度優(yōu)化

把模型計算圖轉換成更適合硬件執(zhí)行的形式，以提升性能。

九、大模型特有術語 61. Token

模型處理文本時的最小單位，不一定等于“一個字”或“一個單詞”。

62. 上下文窗口（Context Window）

模型一次能處理的輸入長度范圍。

例如：
8K、32K、128K、1M上下文。

意義：
上下文越長，模型一次能“記住”的內容越多，但推理成本通常也更高。

63. 參數量（Parameters）

模型中可學習權重的數量，比如7B、70B、175B。

注意：
參數量大不等于一定更強，數據、訓練方法、后訓練和推理系統(tǒng)同樣重要。

64. 稠密模型（Dense Model）

每次推理時，大部分參數都會參與計算的模型。

65. MoE

混合專家模型（Mixture of Experts）
模型由多個“專家模塊”組成，每次只激活其中一部分。

優(yōu)點：

• 總參數量可非常大

• 單次計算量不一定同比增長

難點：

• 路由復雜

• 通信要求高

• 系統(tǒng)調度更難

MoE中決定某個token交給哪些專家處理的機制。

67. 激活參數（Active Parameters）

MoE推理時實際參與運算的那部分參數。

68. 長上下文（Long Context）

模型可以處理超長輸入內容的能力。

產業(yè)意義：
長上下文不僅是模型能力問題，也是基礎設施問題，因為KV Cache和顯存壓力會迅速上升。

69. 思維鏈（Chain of Thought）

模型通過分步驟推理來提升復雜任務正確率的方式。

基礎設施影響：
思維鏈越長，通常意味著推理token更多、延遲更高、成本更高。

70. Test-Time Compute

測試時算力 / 推理時算力
不是在訓練時增加計算，而是在回答問題時給模型更多算力、更多步驟、更多搜索機會，以換取更好的答案。

這是AI產業(yè)的重要變化：
未來競爭不只看訓練算力，還看推理階段能否高效使用更多算力。

71. Agent / Agentic Systems

讓模型不只是回答問題，而是能調用工具、分解任務、執(zhí)行多步流程的系統(tǒng)。

影響：
Agent系統(tǒng)通常帶來：

• 更多token消耗

• 更多輪調用

• 更復雜的推理資源管理

• 更高的基礎設施需求

專門為AI訓練或推理設計的服務器，通常包含多顆GPU/AI加速器、高帶寬互連和高功率供電。

73. 節(jié)點（Node）

集群中的一臺服務器。

74. 機柜（Rack）

數據中心中安裝服務器、電源、網絡設備的柜體。

75. Pod / Superpod

由大量服務器和網絡組成的更大規(guī)模AI集群單元。

76. 集群（Cluster）

由大量計算節(jié)點組成的統(tǒng)一計算系統(tǒng)。

77. AI工廠（AI Factory）

一種強調“工業(yè)化生產AI”的說法。
它不是學術集群，而是持續(xù)把電力、數據和計算轉化為智能輸出的生產系統(tǒng)。

黃仁勛式表達里常見含義：

• 數據中心不是IT成本中心，而是智能制造工廠

• Token是產品，算力是產線，電力是原材料

部署服務器、存儲、交換機、電力和冷卻設施的地方。

79. TDP

熱設計功耗（Thermal Design Power）
芯片設計中需要按多大散熱能力去準備。

80. 功耗墻（Power Wall）

芯片和系統(tǒng)性能提升越來越受制于電力供應和散熱能力，而不是晶體管數量本身。

81. 液冷（Liquid Cooling）

通過液體帶走熱量的散熱技術，越來越適用于高功率AI服務器。

82. PUE

電能使用效率（Power Usage Effectiveness）
衡量數據中心整體能效的指標。

83. 電力容量（Power Capacity）

數據中心能夠提供的總供電能力。
AI時代，很多項目卡的不是芯片，而是電力、變壓器和冷卻系統(tǒng)。

十一、軟件生態(tài)術語 84. CUDA

英偉達構建的GPU計算軟件平臺和編程生態(tài)。

為什么關鍵：
很多人以為英偉達強在芯片，其實它更強的是“芯片+互連+軟件生態(tài)”的整個平臺。

85. ROCm

AMD的GPU軟件棧，目標是對標CUDA。

86. 編譯器（Compiler）

把模型和程序轉換成底層硬件可執(zhí)行指令的軟件工具。

87. 驅動（Driver）

連接操作系統(tǒng)和硬件的底層軟件。

88. 框架（Framework）

開發(fā)和訓練模型的軟件框架，如PyTorch、JAX、TensorFlow。

89. 算子（Operator）

模型計算中的基本操作單元，如矩陣乘法、卷積、歸一化等。

90. 內核（Kernel）

在GPU等設備上執(zhí)行某個具體計算任務的底層程序單元。

91. 軟件棧（Software Stack）

從應用到框架、編譯器、驅動、固件的整套軟件體系。

92. 生態(tài)（Ecosystem）

圍繞某個平臺形成的開發(fā)者、工具鏈、合作伙伴、應用適配能力。

產業(yè)結論：
AI芯片競爭，不是誰芯片先做出來就贏，而是誰先建立“可用生態(tài)”誰更強。

十二、商業(yè)與產業(yè)競爭術語 93. 超大規(guī)模云廠商（Hyperscaler）

指超大規(guī)模建設和運營數據中心的云公司。

典型代表：

• AWS

• Microsoft Azure

• Google Cloud

• Meta（雖非傳統(tǒng)公有云，但屬于超大規(guī)?；A設施運營者）

云廠商自己設計芯片，而不是完全依賴外部供應商。

原因：

• 降低成本

• 提高供應鏈掌控力

• 針對自家工作負載優(yōu)化

• 對沖英偉達議價權

資本開支（Capital Expenditure）
建設數據中心、購買GPU服務器、網絡設備等的大額前期投入。

96. OPEX

運營開支（Operating Expenditure）
日常運營成本，如電費、維護費、帶寬費、人力成本等。

97. TCO

總擁有成本（Total Cost of Ownership）
不僅是買芯片多少錢，而是系統(tǒng)全生命周期總成本。

包括：

• 芯片采購

• 網絡

• 機柜

• 電力

• 冷卻

• 運維

• 軟件遷移成本

• 單芯片思維：只盯著某顆芯片的性能

• 系統(tǒng)級思維：看整機、互連、軟件、網絡、功耗、利用率和部署效率

AI時代的核心變化：
摩爾定律放緩之后，競爭越來越從“單顆芯片更快”轉向“整個系統(tǒng)更優(yōu)”。

99. 系統(tǒng)級協(xié)同設計（System Co-Design）

芯片、封裝、網絡、內存、軟件、數據中心一起協(xié)同優(yōu)化，而不是各自獨立設計。

一句話：
今天的AI基礎設施競爭，本質上越來越像“整個平臺工程競爭”。

100. 平臺型公司（Platform Company）

不只賣芯片，而是賣整套開發(fā)生態(tài)、服務器架構、網絡、軟件與解決方案的公司。

典型理解：
英偉達越來越像平臺公司，而不只是GPU供應商。

十三、宣傳敘事中常見高頻詞

下面這些詞，公眾號寫作時最好提示讀者：它們有時是事實，有時是戰(zhàn)略表達，有時是估值敘事。

101. “加速計算（Accelerated Computing）”

意思是用GPU/加速器替代傳統(tǒng)CPU主導計算。
既是技術趨勢，也是一種平臺敘事。

102. “AI工廠（AI Factory）”

既可以理解為新的數據中心形態(tài)，也是一種很強的商業(yè)包裝語言。

103. “全棧（Full Stack）”

公司不僅做芯片，還做網絡、服務器、軟件、模型工具鏈。
這通常意味著更強控制力，也意味著更高估值敘事空間。

104. “端到端（End-to-End）”

從芯片到云服務到應用，一家公司盡量打通全鏈路。

105. “主權AI（Sovereign AI）”

一個國家或地區(qū)希望擁有自己的AI算力、數據和模型能力，不完全依賴外國平臺。

106. “Token工廠”

把token生產類比為工業(yè)生產，是AI推理經濟學的一種形象說法。

107. “推理時代”

強調未來AI需求不只在訓練，更在大規(guī)模、高頻、長期的推理。

108. “推理爆發(fā) / 推理擴張”

指隨著AI普及，真正消耗算力的可能是海量推理請求，而非一次性訓練。

十四、普通讀者最容易混淆的術語對照 1. GPU 和 CPU 有什么區(qū)別？

• CPU：通用、控制強、單線程能力強

• GPU：并行能力強，適合AI大規(guī)模計算

• GPU更通用，生態(tài)成熟

• ASIC更專用，理論效率更高，但適配范圍更窄

• 訓練：讓模型學會能力

• 推理：讓模型實際干活

HBM通常是高端AI加速器上的顯存技術形態(tài)之一；顯存是更泛的概念。

5. NVLink 和網絡有什么區(qū)別？

NVLink更多是服務器內部或近距離高性能互連；數據中心網絡則負責更大范圍連接。

6. 算力強就一定贏嗎？

不一定。還要看：

• 內存帶寬

• 網絡

• 軟件生態(tài)

• 功耗

• 成本

• 實際利用率