如果說(shuō)過(guò)去十年科技產(chǎn)業(yè)的主角是智能手機(jī)，那么未來(lái)十年的主角，很可能就是AI基礎(chǔ)設(shè)施

很多人以為，大模型競(jìng)爭(zhēng)就是“誰(shuí)家的模型更聰明”。但在產(chǎn)業(yè)層面，真正決定勝負(fù)的，往往不是聊天界面上的答案，而是背后那套龐大的基礎(chǔ)設(shè)施系統(tǒng)：芯片、內(nèi)存、網(wǎng)絡(luò)、服務(wù)器、數(shù)據(jù)中心、電力、散熱、軟件棧、云平臺(tái)，以及把它們組織起來(lái)的系統(tǒng)工程能力。

換句話說(shuō)，今天的AI戰(zhàn)爭(zhēng)，表面上看是模型之戰(zhàn)，底層其實(shí)是基礎(chǔ)設(shè)施之戰(zhàn)。
而理解這場(chǎng)戰(zhàn)爭(zhēng)，最好的方式，就是先把核心術(shù)語(yǔ)搞清楚。

這篇文章，就用100個(gè)關(guān)鍵詞，帶你從GPU一路看到AI工廠，系統(tǒng)理解大模型時(shí)代的底層競(jìng)爭(zhēng)邏輯。

一、總覽篇：什么是AI基礎(chǔ)設(shè)施？ 1. AI基礎(chǔ)設(shè)施

指支撐人工智能訓(xùn)練、后訓(xùn)練、推理和部署的一整套底層系統(tǒng)。
它不僅包括芯片，也包括服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)、軟件平臺(tái)、數(shù)據(jù)中心和電力冷卻系統(tǒng)。

一句話理解：
AI基礎(chǔ)設(shè)施不是一顆芯片，而是一整座“智能生產(chǎn)工廠”。

2. AI工廠（AI Factory）

這是近兩年非常流行的說(shuō)法。
意思是：未來(lái)的數(shù)據(jù)中心，不再只是存儲(chǔ)和計(jì)算的IT機(jī)房，而是把電力、算力、數(shù)據(jù)持續(xù)轉(zhuǎn)化為token、模型能力和AI服務(wù)的“工廠”。

它既是技術(shù)概念，也是產(chǎn)業(yè)敘事。

3. 數(shù)據(jù)中心（Data Center）

部署服務(wù)器、存儲(chǔ)、交換機(jī)、網(wǎng)絡(luò)設(shè)備、電源和冷卻設(shè)施的物理空間。
AI時(shí)代的數(shù)據(jù)中心越來(lái)越像重工業(yè)基礎(chǔ)設(shè)施，而不只是互聯(lián)網(wǎng)機(jī)房。

4. 集群（Cluster）

由大量計(jì)算節(jié)點(diǎn)組成、統(tǒng)一調(diào)度的計(jì)算系統(tǒng)。
大模型訓(xùn)練不是靠一臺(tái)機(jī)器完成，而是靠成百上千，甚至成千上萬(wàn)顆加速器組成集群。

5. 節(jié)點(diǎn)（Node）

集群中的一臺(tái)服務(wù)器，通常裝有多顆GPU或AI加速器。

6. 機(jī)柜（Rack）

數(shù)據(jù)中心里安裝服務(wù)器、電源和網(wǎng)絡(luò)設(shè)備的標(biāo)準(zhǔn)柜體。
今天討論AI基礎(chǔ)設(shè)施，很多時(shí)候已經(jīng)不是“單卡性能”問(wèn)題，而是“整柜功耗”和“整柜散熱”問(wèn)題。

7. Pod

由多個(gè)機(jī)柜、多個(gè)節(jié)點(diǎn)組成的較大規(guī)模計(jì)算單元。
你可以把它理解為“數(shù)據(jù)中心里的一個(gè)大型算力車間”。

8. Superpod

比Pod更大的AI基礎(chǔ)設(shè)施部署單元，通常用于超大規(guī)模訓(xùn)練和推理系統(tǒng)。

二、計(jì)算芯片篇：誰(shuí)在提供AI時(shí)代的“發(fā)動(dòng)機(jī)”？ 9. CPU

中央處理器，通用計(jì)算核心。
在AI系統(tǒng)里，CPU更多負(fù)責(zé)控制、調(diào)度、數(shù)據(jù)管理和系統(tǒng)運(yùn)行，而不是主要AI計(jì)算。

比喻：
CPU像總指揮，GPU像真正干重活的大型施工隊(duì)。

10. GPU

圖形處理器，本來(lái)是為圖形渲染設(shè)計(jì)，后來(lái)因?yàn)樘貏e擅長(zhǎng)大規(guī)模并行計(jì)算，成為AI訓(xùn)練和推理的核心芯片。

為什么GPU能贏？
因?yàn)樯疃葘W(xué)習(xí)本質(zhì)上需要做海量重復(fù)矩陣運(yùn)算，而這恰恰是GPU最擅長(zhǎng)的事。

11. AI加速器

泛指專門用來(lái)加速AI運(yùn)算的芯片。
GPU是AI加速器的一種，TPU、NPU、部分ASIC也都屬于AI加速器。

12. ASIC

專用集成電路。
指為某一類任務(wù)專門設(shè)計(jì)的芯片，比如專門做AI訓(xùn)練或推理。

特點(diǎn)：

• 優(yōu)勢(shì)：效率高、能耗低、針對(duì)性強(qiáng)

• 劣勢(shì)：通用性差、生態(tài)難做、適配工作重

Google自研的AI專用加速器。
本質(zhì)上，它是面向張量運(yùn)算優(yōu)化的一類ASIC。

14. NPU

神經(jīng)網(wǎng)絡(luò)處理器。
通常用于手機(jī)、PC、邊緣設(shè)備等場(chǎng)景，負(fù)責(zé)本地AI能力。

15. DPU

數(shù)據(jù)處理器。
主要負(fù)責(zé)網(wǎng)絡(luò)、存儲(chǔ)、安全等基礎(chǔ)設(shè)施卸載，不直接承擔(dān)主要模型訓(xùn)練任務(wù)，但在大規(guī)模AI數(shù)據(jù)中心中越來(lái)越重要。

16. 通用芯片

可適應(yīng)多種任務(wù)場(chǎng)景的芯片，比如CPU、GPU。
優(yōu)點(diǎn)是靈活，缺點(diǎn)是未必針對(duì)某一場(chǎng)景做到極致效率。

17. 專用芯片

專門為某類任務(wù)做優(yōu)化的芯片，比如TPU、部分推理ASIC。
優(yōu)點(diǎn)是效率更高，難點(diǎn)是生態(tài)和通用性。

18. 異構(gòu)計(jì)算

系統(tǒng)中同時(shí)使用不同類型芯片協(xié)同工作，比如CPU+GPU+DPU。
AI時(shí)代，單一芯片已經(jīng)很難解決所有問(wèn)題，異構(gòu)計(jì)算越來(lái)越成為主流。

三、算力基礎(chǔ)篇：為什么AI這么“吃算力”？ 19. 張量（Tensor）

深度學(xué)習(xí)里的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)，可以理解為“多維數(shù)組”。

20. 矩陣乘法

深度學(xué)習(xí)最核心的運(yùn)算之一。
大模型訓(xùn)練的大部分算力，最終都消耗在矩陣乘法上。

21. 浮點(diǎn)運(yùn)算

帶小數(shù)的數(shù)值運(yùn)算。
AI訓(xùn)練和高精度推理大量依賴浮點(diǎn)計(jì)算能力。

22. FLOPS

每秒浮點(diǎn)運(yùn)算次數(shù)，用于衡量理論算力水平。

常見單位包括：

• TFLOPS：萬(wàn)億次

• PFLOPS：千萬(wàn)億次

• EFLOPS：百億億次

每秒萬(wàn)億次操作。
常用于邊緣AI或低精度推理芯片宣傳。

注意：
TOPS常常更適合營(yíng)銷口徑，不能簡(jiǎn)單等同于真實(shí)模型表現(xiàn)。

24. 峰值性能

芯片在理想狀態(tài)下的理論最大算力。
現(xiàn)實(shí)世界中，系統(tǒng)通常達(dá)不到這個(gè)峰值。

25. 實(shí)際性能

在真實(shí)訓(xùn)練、推理任務(wù)中的表現(xiàn)。
這才是用戶真正關(guān)心的性能。

26. 吞吐量（Throughput）

單位時(shí)間內(nèi)系統(tǒng)處理任務(wù)的能力，比如每秒生成多少token。

27. 延遲（Latency）

從發(fā)起請(qǐng)求到得到結(jié)果所需的時(shí)間。
推理系統(tǒng)里，延遲越低，用戶體驗(yàn)通常越好。

28. 利用率（Utilization）

芯片或集群實(shí)際被有效使用的程度。
理論算力再?gòu)?qiáng)，如果大部分時(shí)間都在等數(shù)據(jù)、等通信，那利用率也會(huì)很差。

29. 算力墻

今天很多系統(tǒng)繼續(xù)提速的瓶頸，不只是設(shè)計(jì)更強(qiáng)芯片，而是如何讓整套系統(tǒng)真正把算力用起來(lái)。

四、精度與數(shù)值格式篇：為什么不是精度越高越好？ 30. FP32

32位浮點(diǎn)數(shù)，傳統(tǒng)高精度計(jì)算常見格式。

31. FP16

16位浮點(diǎn)數(shù)。
相比FP32更省內(nèi)存、更省帶寬，也更適合大規(guī)模AI訓(xùn)練。

32. BF16

一種對(duì)深度學(xué)習(xí)更友好的16位格式。
如今很多大模型訓(xùn)練會(huì)大量使用BF16。

33. INT8

8位整數(shù)格式，推理場(chǎng)景中很常見。

34. INT4

4位整數(shù)格式。
壓縮更激進(jìn)，部署成本更低，但對(duì)精度保持的挑戰(zhàn)更高。

35. 量化（Quantization）

把模型從高精度壓縮成低精度表示，比如從FP16降到INT8或INT4。
目的是降低顯存占用、降低成本、提高推理效率。

36. 混合精度訓(xùn)練

訓(xùn)練過(guò)程中混合使用不同精度的數(shù)據(jù)格式，以同時(shí)兼顧訓(xùn)練穩(wěn)定性和效率。

37. 數(shù)值穩(wěn)定性

模型訓(xùn)練時(shí)，低精度計(jì)算可能帶來(lái)的誤差、溢出或梯度異常問(wèn)題。
所以并不是“精度越低越省錢”就一定最好。

五、內(nèi)存與存儲(chǔ)篇：為什么今天HBM這么重要？ 38. HBM

高帶寬內(nèi)存。
這是AI芯片時(shí)代最關(guān)鍵的資源之一，通常與GPU或AI加速器緊密封裝，提供極高的數(shù)據(jù)傳輸帶寬。

一句話：
今天很多AI系統(tǒng)的瓶頸，不在“算得不夠快”，而在“數(shù)據(jù)喂得不夠快”。

39. 顯存（VRAM）

GPU上用于存儲(chǔ)模型參數(shù)、激活值、KV Cache等數(shù)據(jù)的存儲(chǔ)空間。

40. 內(nèi)存帶寬

單位時(shí)間能傳輸?shù)臄?shù)據(jù)量。
AI訓(xùn)練和推理都極度依賴高帶寬。

41. 容量

能裝下多少數(shù)據(jù)。
容量決定模型能否放進(jìn)去，帶寬決定模型能跑多快。

42. DDR

傳統(tǒng)服務(wù)器內(nèi)存，容量較大但帶寬通常低于HBM。

43. SRAM

速度很快但容量小、成本高的存儲(chǔ)形式，通常位于芯片內(nèi)部，用于高速緩存。

44. Cache

緩存。
用于減少訪問(wèn)慢速內(nèi)存的次數(shù)，提高數(shù)據(jù)訪問(wèn)效率。

45. KV Cache

大語(yǔ)言模型推理中緩存注意力機(jī)制中Key和Value的結(jié)構(gòu)。
長(zhǎng)上下文推理時(shí)，KV Cache會(huì)顯著占用顯存，是推理成本的重要來(lái)源。

46. SSD

固態(tài)硬盤。
用于存放數(shù)據(jù)集、模型權(quán)重、訓(xùn)練日志、檢查點(diǎn)等。

47. 檢查點(diǎn)（Checkpoint）

訓(xùn)練過(guò)程中定期保存的模型狀態(tài)文件。
方便斷點(diǎn)續(xù)訓(xùn)、恢復(fù)訓(xùn)練和后續(xù)微調(diào)。

六、互連與網(wǎng)絡(luò)篇：多卡協(xié)同為什么這么難？ 48. 互連（Interconnect）

不同芯片、不同服務(wù)器之間進(jìn)行高速通信的技術(shù)總稱。
大模型訓(xùn)練的本質(zhì)是“很多芯片一起干活”，所以互連極其關(guān)鍵。

49. NVLink

英偉達(dá)的高速GPU互連技術(shù)。
主要解決GPU之間如何更快交換數(shù)據(jù)的問(wèn)題。

50. NVSwitch

連接多顆GPU的交換芯片。
你可以把它理解成GPU之間高速通信的“交通樞紐”。

51. InfiniBand

一種高性能網(wǎng)絡(luò)技術(shù)，常用于高性能計(jì)算和AI訓(xùn)練集群。
特點(diǎn)是高帶寬、低延遲。

52. Ethernet

以太網(wǎng)。
傳統(tǒng)數(shù)據(jù)中心最主流的網(wǎng)絡(luò)方式。
如今也正被越來(lái)越多用于AI集群。

53. RDMA

遠(yuǎn)程直接內(nèi)存訪問(wèn)。
允許服務(wù)器繞過(guò)過(guò)多CPU參與，直接高效訪問(wèn)遠(yuǎn)程內(nèi)存，降低延遲、提高通信效率。

54. 交換機(jī)（Switch）

網(wǎng)絡(luò)里的數(shù)據(jù)分發(fā)中心。
在大規(guī)模AI集群里，交換機(jī)的重要性已經(jīng)不亞于服務(wù)器本身。

55. 拓?fù)洌═opology）

指整個(gè)集群中芯片、服務(wù)器、機(jī)柜的連接結(jié)構(gòu)。
拓?fù)湓O(shè)計(jì)不好，會(huì)導(dǎo)致訓(xùn)練效率大幅下降。

56. Scale-Up

單機(jī)或單系統(tǒng)內(nèi)部擴(kuò)展。
比如一臺(tái)服務(wù)器里連接更多GPU。

57. Scale-Out

跨服務(wù)器、跨機(jī)柜擴(kuò)展。
通過(guò)網(wǎng)絡(luò)把更多節(jié)點(diǎn)連成更大集群。

58. 東西向流量

服務(wù)器之間橫向交換的數(shù)據(jù)流。
AI訓(xùn)練集群里，這類流量非常大，對(duì)網(wǎng)絡(luò)要求極高。

七、訓(xùn)練篇：模型是怎么“學(xué)會(huì)”的？ 59. 訓(xùn)練（Training）

讓模型通過(guò)大量數(shù)據(jù)調(diào)整參數(shù)、形成能力的過(guò)程。

60. 預(yù)訓(xùn)練（Pre-training）

用海量通用數(shù)據(jù)訓(xùn)練基礎(chǔ)模型，是模型獲得語(yǔ)言、圖像、代碼等一般能力的關(guān)鍵階段。

61. 后訓(xùn)練（Post-training）

預(yù)訓(xùn)練完成后，為了讓模型更可用、更安全、更會(huì)聽指令而進(jìn)行的一系列優(yōu)化過(guò)程。

62. 微調(diào)（Fine-tuning）

在已有模型基礎(chǔ)上，用更小、更專業(yè)的數(shù)據(jù)繼續(xù)訓(xùn)練，使其適應(yīng)特定任務(wù)。

63. 指令微調(diào)

讓模型更善于理解并執(zhí)行人類指令的訓(xùn)練方式。

64. 對(duì)齊（Alignment）

讓模型輸出更符合人類意圖、規(guī)范、安全要求的過(guò)程。

65. RLHF

基于人類反饋的強(qiáng)化學(xué)習(xí)。
通過(guò)人工偏好數(shù)據(jù)提升模型回答質(zhì)量和風(fēng)格一致性。

66. 合成數(shù)據(jù)

不是直接采集于現(xiàn)實(shí)世界，而是通過(guò)模型、程序或規(guī)則自動(dòng)生成的數(shù)據(jù)。
在高質(zhì)量訓(xùn)練數(shù)據(jù)變得稀缺后，合成數(shù)據(jù)越來(lái)越重要。

67. 批大?。˙atch Size）

一次訓(xùn)練中送入模型的數(shù)據(jù)量。
批大小會(huì)影響訓(xùn)練吞吐、穩(wěn)定性和顯存占用。

68. 梯度

模型訓(xùn)練時(shí)，用來(lái)指導(dǎo)參數(shù)更新方向的核心量。

69. 梯度同步

多卡訓(xùn)練后，不同設(shè)備需要同步梯度，以保證更新方向一致。

70. 分布式訓(xùn)練

用大量GPU或AI加速器共同完成訓(xùn)練。
這已經(jīng)是大模型時(shí)代的標(biāo)準(zhǔn)做法。

71. 數(shù)據(jù)并行

把不同數(shù)據(jù)分給不同設(shè)備并行處理，再同步結(jié)果。

72. 模型并行

把模型拆分到多張卡上運(yùn)行，用于單卡放不下的大模型。

73. 張量并行

把某一層內(nèi)部的大矩陣運(yùn)算進(jìn)一步拆分給多張GPU并行處理。

74. 流水線并行

把模型不同層分配到不同設(shè)備上，像工廠流水線一樣接力執(zhí)行。

八、推理篇：模型真正賺錢，靠的不是訓(xùn)練而是“使用” 75. 推理（Inference）

模型訓(xùn)練完成后，實(shí)際響應(yīng)用戶請(qǐng)求、生成內(nèi)容、提供服務(wù)的過(guò)程。

76. 在線推理

面向?qū)崟r(shí)請(qǐng)求的推理。
比如聊天機(jī)器人、搜索問(wèn)答、實(shí)時(shí)生成應(yīng)用。

77. 離線推理

不追求實(shí)時(shí)響應(yīng)，而是批量執(zhí)行任務(wù)。
比如批量摘要、內(nèi)容審核、離線推薦。

78. Serving

把模型包裝成可被調(diào)用的服務(wù)，供應(yīng)用程序和用戶訪問(wèn)。

79. 推理引擎

專門為模型部署和推理執(zhí)行做優(yōu)化的軟件系統(tǒng)。
目標(biāo)是跑得更快、占用更少、調(diào)度更穩(wěn)。

80. 首token時(shí)間（TTFT）

從用戶發(fā)起請(qǐng)求到模型輸出第一個(gè)token的時(shí)間。
它非常影響“這個(gè)AI快不快”的主觀感受。

81. 每秒token數(shù)

衡量模型生成速度的常見指標(biāo)。

82. 批處理（Batching）

把多個(gè)請(qǐng)求打包一起算，以提高吞吐量。

83. 動(dòng)態(tài)批處理

根據(jù)實(shí)時(shí)請(qǐng)求自動(dòng)組織批次，在吞吐和延遲之間找平衡。

84. Prefill

模型先讀取并處理全部輸入上下文的階段。
長(zhǎng)上下文下，Prefill開銷很大。

85. Decode

模型逐步生成輸出token的階段。
聊天類應(yīng)用大多對(duì)Decode速度非常敏感。

九、大模型篇：為什么大模型正在重塑基礎(chǔ)設(shè)施？ 86. Token

模型處理文本的最小單位。
它不一定等于一個(gè)字，也不一定等于一個(gè)單詞。

87. 上下文窗口（Context Window）

模型一次性能處理的輸入長(zhǎng)度范圍。
上下文越長(zhǎng)，模型一次能“看見”的信息越多。

88. 參數(shù)量

模型中可學(xué)習(xí)權(quán)重的數(shù)量，比如7B、70B、175B。
參數(shù)多不一定絕對(duì)更強(qiáng)，但通常意味著更大的模型容量。

89. 稠密模型（Dense Model）

每次推理時(shí)，大部分參數(shù)都會(huì)參與計(jì)算的模型。

90. MoE

混合專家模型。
模型里有多個(gè)“專家模塊”，每次只激活其中一部分。

它的意義在于：
可以把總模型做得很大，但單次計(jì)算量未必同比暴漲。

91. 路由（Routing）

MoE系統(tǒng)中，決定某個(gè)token交給哪些專家處理的機(jī)制。

92. 激活參數(shù)

MoE在一次推理中真正參與計(jì)算的那部分參數(shù)。

93. 長(zhǎng)上下文

模型能處理很長(zhǎng)輸入內(nèi)容的能力。
這不只是模型能力問(wèn)題，更是基礎(chǔ)設(shè)施問(wèn)題，因?yàn)樗鼤?huì)顯著推高顯存和KV Cache開銷。

94. 思維鏈（Chain of Thought）

模型通過(guò)分步驟推理來(lái)提高復(fù)雜任務(wù)正確率的方式。
但思維鏈越長(zhǎng)，通常也意味著推理時(shí)間更長(zhǎng)、成本更高。

95. Test-Time Compute

推理時(shí)算力。
意思是：不是在訓(xùn)練階段加更多算力，而是在模型回答問(wèn)題時(shí)投入更多算力和步驟，以換取更好的答案。

這正在改變AI基礎(chǔ)設(shè)施的需求結(jié)構(gòu)。

96. Agent

不只是回答問(wèn)題，而是能調(diào)用工具、分解任務(wù)、執(zhí)行流程的AI系統(tǒng)。

97. Agentic Systems

由多個(gè)模型、工具、記憶、任務(wù)流和反饋環(huán)組成的復(fù)雜智能系統(tǒng)。
它們比普通聊天機(jī)器人更耗資源，也更依賴推理基礎(chǔ)設(shè)施。

十、產(chǎn)業(yè)與商業(yè)篇：為什么今天拼的不是單芯片，而是整個(gè)平臺(tái)？ 98. CUDA

英偉達(dá)的GPU軟件平臺(tái)和生態(tài)體系。
它的重要性不只是“讓GPU能跑”，而是讓開發(fā)者、框架、工具鏈都圍繞它形成標(biāo)準(zhǔn)。

99. 軟件棧（Software Stack）

從應(yīng)用層、框架層、編譯器、驅(qū)動(dòng)到固件的整套軟件體系。
AI基礎(chǔ)設(shè)施競(jìng)爭(zhēng)，軟件棧越來(lái)越重要。

100. 系統(tǒng)級(jí)協(xié)同設(shè)計(jì)（System Co-Design）

芯片、內(nèi)存、互連、封裝、服務(wù)器、軟件、數(shù)據(jù)中心一起協(xié)同優(yōu)化，而不是只優(yōu)化一顆芯片。
這正是AI時(shí)代最核心的競(jìng)爭(zhēng)邏輯。

摩爾定律紅利放緩之后，半導(dǎo)體產(chǎn)業(yè)的勝負(fù)手，正從“單顆芯片更快”轉(zhuǎn)向“整個(gè)系統(tǒng)更強(qiáng)”。如果只看表面，AI基礎(chǔ)設(shè)施像是在比誰(shuí)有更強(qiáng)的GPU。
但往下看一層，你會(huì)發(fā)現(xiàn)競(jìng)爭(zhēng)已經(jīng)變成：

• 誰(shuí)能拿到更多HBM

• 誰(shuí)能做更好的互連網(wǎng)絡(luò)

• 誰(shuí)能把數(shù)千顆加速器真正組織起來(lái)

• 誰(shuí)能把訓(xùn)練成本打下來(lái)

• 誰(shuí)能把推理吞吐提上去

• 誰(shuí)能把電力、散熱和機(jī)柜效率做成優(yōu)勢(shì)

• 誰(shuí)能構(gòu)建最強(qiáng)的軟件生態(tài)和開發(fā)者平臺(tái)

所以，大模型時(shí)代真正的底層戰(zhàn)爭(zhēng)，不只是芯片戰(zhàn)爭(zhēng)，而是系統(tǒng)戰(zhàn)爭(zhēng)、平臺(tái)戰(zhàn)爭(zhēng)、基礎(chǔ)設(shè)施戰(zhàn)爭(zhēng)。從這個(gè)角度看，GPU只是起點(diǎn)，AI工廠才是終局。

免費(fèi)報(bào)名參加：

歡迎加入行業(yè)交流群，備注崗位+公司，請(qǐng)聯(lián)系老虎說(shuō)芯（加V：tigerchip）