Baseten、DeepInfra、Fireworks AI 和 Together AI 正通過在 NVIDIA Blackwell 平臺(tái)上運(yùn)行優(yōu)化的推理堆棧，幫助各行業(yè)降低每 token 成本。

一次醫(yī)療領(lǐng)域的診斷洞察、一次互動(dòng)游戲中角色的對(duì)話、一次來自客服代理的自主解決方案——這些由 AI 驅(qū)動(dòng)的交互，皆基于同一智能單元：一個(gè) token。

要擴(kuò)展這些 AI 交互，企業(yè)需要考慮是否能夠承擔(dān)更多 token 成本。答案在于更優(yōu)的 Token 經(jīng)濟(jì)學(xué)（tokenomics）——其核心在于降低每個(gè) token 的成本。這種下降趨勢(shì)正在各行各業(yè)中顯現(xiàn)。

近期麻省理工學(xué)院研究發(fā)現(xiàn)，基礎(chǔ)設(shè)施與算法效率的提升使前沿水平性能的推理成本正逐年降低至原來的 1/10。

要理解基礎(chǔ)設(shè)施效率如何提升 tokenomics，可以把它類比為一臺(tái)高速印刷機(jī)。如果這臺(tái)印刷機(jī)只需在油墨、能源和設(shè)備本身上進(jìn)行小幅追加投資，就能實(shí)現(xiàn) 10 倍的產(chǎn)出，那么每頁印刷成本自然會(huì)下降。同理，對(duì) AI 基礎(chǔ)設(shè)施的投資如果能帶來遠(yuǎn)超預(yù)期的 token 產(chǎn)出，就會(huì)顯著降低每個(gè) token 的成本。

正因如此，包括 Baseten、DeepInfra、Fireworks AI 和 Together AI 在內(nèi)的領(lǐng)先推理服務(wù)提供商紛紛采用 NVIDIA Blackwell 平臺(tái)。Blackwell 平臺(tái)幫助這些企業(yè)將每個(gè) token 的成本最多可降至 NVIDIA Hopper 平臺(tái)的 1/10。

這些提供商托管著先進(jìn)的開源模型，其智能水平現(xiàn)已達(dá)前沿級(jí)別。通過融合開源的前沿智能、NVIDIA Blackwell 極致的軟硬件協(xié)同設(shè)計(jì)以及自主優(yōu)化的推理堆棧，這些服務(wù)商正助力各行各業(yè)的企業(yè)實(shí)現(xiàn) token 成本的大幅降低。

以上為摘要內(nèi)容，點(diǎn)擊鏈接閱讀完整內(nèi)容：領(lǐng)先推理提供商借助基于 NVIDIA Blackwell 平臺(tái)的開源模型，將 AI 成本削減至 1/10 | NVIDIA 英偉達(dá)博客