傳統(tǒng)數(shù)據(jù)中心過去主要用于數(shù)據(jù)的存儲(chǔ)、檢索與處理。但在生成式 AI 與代理式 AI 時(shí)代，這些設(shè)施已演變?yōu)?AI Token 工廠。隨著 AI 推理成為其核心工作負(fù)載，它們的主要產(chǎn)出已轉(zhuǎn)變?yōu)橐?Token 形式制造的智能。

這一轉(zhuǎn)變也需要對(duì)包括總體擁有成本（TCO）在內(nèi)的 AI 基礎(chǔ)設(shè)施的經(jīng)濟(jì)效益評(píng)估方式相應(yīng)地進(jìn)行調(diào)整。然而，在評(píng)估 AI 基礎(chǔ)設(shè)施時(shí)，企業(yè)仍過于關(guān)注芯片峰值規(guī)格、計(jì)算成本，或每美元所能獲得的浮點(diǎn)運(yùn)算性能，即每美元 FLOPS。

關(guān)鍵區(qū)別在于：

• 算力成本是企業(yè)為 AI 基礎(chǔ)設(shè)施所支付的費(fèi)用，無論是從云服務(wù)提供商租用，還是在本地自建部署。
• 每美元 FLOPS 衡量的是企業(yè)每投入一美元所獲得的原始算力，但原始算力并不等同于現(xiàn)實(shí)世界中的 Token 產(chǎn)出。
• 每 Token 成本指的是企業(yè)生成并交付每一個(gè) Token 的綜合成本，通常以每百萬 Token 成本來表示。

前兩者僅是投入指標(biāo)。但當(dāng)業(yè)務(wù)圍繞產(chǎn)出運(yùn)轉(zhuǎn)時(shí)，只針對(duì)投入優(yōu)化，本質(zhì)上是一種根本性的錯(cuò)配。

每 Token 成本決定了企業(yè)能否實(shí)現(xiàn) AI 的規(guī)模化盈利。它是唯一能夠直接綜合反映硬件性能、軟件優(yōu)化、生態(tài)系統(tǒng)支持以及實(shí)際利用率的 TCO 指標(biāo)，而 NVIDIA 在這一指標(biāo)上實(shí)現(xiàn)了行業(yè)最低的每 Token 成本。

以上為摘要內(nèi)容，點(diǎn)擊鏈接閱讀完整內(nèi)容：重新思考 AI TCO：為何每 Token 成本才是唯一重要的指標(biāo) | NVIDIA 英偉達(dá)博客