醫(yī)療診斷洞察、互動(dòng)游戲中的角色對(duì)話、客服智能體的自主響應(yīng)——這些AI驅(qū)動(dòng)的交互都基于同一個(gè)智能單元：Token。

擴(kuò)展這些AI交互需要企業(yè)考慮是否能負(fù)擔(dān)更多Token成本。答案在于更好的Token經(jīng)濟(jì)學(xué)——其核心是降低每個(gè)Token的成本。這一下降趨勢(shì)正在各行業(yè)展開。麻省理工學(xué)院最新研究發(fā)現(xiàn)，基礎(chǔ)設(shè)施和算法效率正將前沿性能的推理成本年降幅提升至10倍。

要理解基礎(chǔ)設(shè)施效率如何改善Token經(jīng)濟(jì)學(xué)，可以想象一臺(tái)高速印刷機(jī)。如果印刷機(jī)通過對(duì)墨水、能源和機(jī)器本身的增量投資實(shí)現(xiàn)10倍產(chǎn)出，那么每頁的印刷成本就會(huì)下降。同樣，對(duì)AI基礎(chǔ)設(shè)施的投資能帶來遠(yuǎn)超成本增長(zhǎng)的Token產(chǎn)出，從而顯著降低每Token成本。

這正是Baseten、DeepInfra、Fireworks AI和Together AI等領(lǐng)先推理服務(wù)商選擇使用NVIDIA Blackwell平臺(tái)的原因，該平臺(tái)幫助他們將每Token成本相比NVIDIA Hopper平臺(tái)降低多達(dá)10倍。

這些服務(wù)商托管先進(jìn)的開源模型，這些模型現(xiàn)已達(dá)到前沿智能水平。通過結(jié)合開源前沿智能、NVIDIA Blackwell的極致硬件-軟件協(xié)同設(shè)計(jì)以及他們自己的優(yōu)化推理堆棧，這些服務(wù)商正為各行各業(yè)的企業(yè)實(shí)現(xiàn)顯著的Token成本降低。

醫(yī)療領(lǐng)域變革

在醫(yī)療領(lǐng)域，醫(yī)療編碼、文檔記錄和保險(xiǎn)表格管理等繁瑣耗時(shí)的任務(wù)占用了醫(yī)生與患者相處的時(shí)間。

Sully.ai通過開發(fā)能處理醫(yī)療編碼和記錄等常規(guī)任務(wù)的"AI員工"來幫助解決這一問題。隨著公司平臺(tái)規(guī)模擴(kuò)大，其專有閉源模型產(chǎn)生了三個(gè)瓶頸：實(shí)時(shí)臨床工作流中的不可預(yù)測(cè)延遲、推理成本增長(zhǎng)超過收入增長(zhǎng)，以及對(duì)模型質(zhì)量和更新控制不足。

為克服這些瓶頸，Sully.ai使用Baseten的模型API，在NVIDIA Blackwell GPU上部署如gpt-oss-120b等開源模型。Baseten采用低精度NVFP4數(shù)據(jù)格式、NVIDIA TensorRT-大語言模型庫和NVIDIA Dynamo推理框架來提供優(yōu)化推理。公司選擇NVIDIA Blackwell運(yùn)行其模型API，因?yàn)橄啾萅VIDIA Hopper平臺(tái)，每美元吞吐量提升了2.5倍。

結(jié)果，Sully.ai的推理成本下降了90%，相比之前的閉源實(shí)現(xiàn)實(shí)現(xiàn)了10倍降低，同時(shí)醫(yī)療記錄生成等關(guān)鍵工作流的響應(yīng)時(shí)間改善了65%。公司現(xiàn)已為醫(yī)生節(jié)省超過3000萬分鐘，這些時(shí)間此前都浪費(fèi)在數(shù)據(jù)錄入和其他手動(dòng)任務(wù)上。

游戲體驗(yàn)革命

Latitude正在通過其AI Dungeon冒險(xiǎn)故事游戲和即將推出的AI驅(qū)動(dòng)角色扮演游戲平臺(tái)Voyage構(gòu)建AI原生游戲的未來，玩家可以創(chuàng)建或游玩世界，自由選擇任何行動(dòng)并創(chuàng)造自己的故事。

公司平臺(tái)使用大語言模型響應(yīng)玩家行動(dòng)——但這帶來了擴(kuò)展挑戰(zhàn)，因?yàn)槊總€(gè)玩家行動(dòng)都會(huì)觸發(fā)推理請(qǐng)求。成本隨參與度擴(kuò)展，響應(yīng)時(shí)間必須保持足夠快以確保無縫體驗(yàn)。

Latitude在DeepInfra的推理平臺(tái)上運(yùn)行大型開源模型，該平臺(tái)由NVIDIA Blackwell GPU和TensorRT-大語言模型驅(qū)動(dòng)。對(duì)于大規(guī)模專家混合模型，DeepInfra將每百萬Token成本從NVIDIA Hopper平臺(tái)的20美分降至Blackwell上的10美分。轉(zhuǎn)向Blackwell原生低精度NVFP4格式進(jìn)一步將成本降至僅5美分——總計(jì)4倍每Token成本改善——同時(shí)保持客戶期望的準(zhǔn)確性。

在DeepInfra的Blackwell驅(qū)動(dòng)平臺(tái)上運(yùn)行這些大規(guī)模專家混合模型，使Latitude能夠經(jīng)濟(jì)高效地提供快速可靠響應(yīng)。DeepInfra推理平臺(tái)在可靠處理流量峰值的同時(shí)提供這種性能，讓Latitude能部署更強(qiáng)大的模型而不妨礙玩家體驗(yàn)。

推理系統(tǒng)突破

Sentient Labs專注于匯聚AI開發(fā)者共同構(gòu)建強(qiáng)大的推理AI系統(tǒng)，所有系統(tǒng)都是開源的。目標(biāo)是通過安全自主、智能體架構(gòu)和持續(xù)學(xué)習(xí)研究加速AI解決更難推理問題。

其首個(gè)應(yīng)用Sentient Chat編排復(fù)雜的多智能體工作流，集成了社區(qū)中十多個(gè)專業(yè)AI智能體。因此，Sentient Chat有巨大計(jì)算需求，因?yàn)閱蝹€(gè)用戶查詢可能觸發(fā)通常導(dǎo)致昂貴基礎(chǔ)設(shè)施開銷的自主交互級(jí)聯(lián)。

為管理這種規(guī)模和復(fù)雜性，Sentient使用運(yùn)行在NVIDIA Blackwell上的Fireworks AI推理平臺(tái)。通過Fireworks的Blackwell優(yōu)化推理堆棧，Sentient實(shí)現(xiàn)了相比之前基于Hopper部署25-50%的成本效率提升。

每GPU更高吞吐量使公司能以相同成本服務(wù)顯著更多并發(fā)用戶。平臺(tái)的可擴(kuò)展性支持了24小時(shí)內(nèi)180萬用戶排隊(duì)的病毒式發(fā)布，單周處理560萬次查詢，同時(shí)保持一致的低延遲。

客服智能體優(yōu)化

語音AI客服通話往往以挫敗告終，因?yàn)榧词馆p微延遲也可能導(dǎo)致用戶與智能體重疊說話、掛斷或失去信任。

Decagon為企業(yè)客戶支持構(gòu)建AI智能體，AI驅(qū)動(dòng)語音是其最苛刻的渠道。Decagon需要能在不可預(yù)測(cè)流量負(fù)載下提供亞秒級(jí)響應(yīng)的基礎(chǔ)設(shè)施，以及支持全天候語音部署的Token經(jīng)濟(jì)學(xué)。

Together AI在NVIDIA Blackwell GPU上為Decagon的多模型語音堆棧運(yùn)行生產(chǎn)推理。兩家公司在幾個(gè)關(guān)鍵優(yōu)化上合作：投機(jī)解碼，訓(xùn)練較小模型生成更快響應(yīng)，同時(shí)較大模型在后臺(tái)驗(yàn)證準(zhǔn)確性；緩存重復(fù)對(duì)話元素以加速響應(yīng)；構(gòu)建自動(dòng)擴(kuò)展以處理流量激增而不降低性能。

Decagon看到響應(yīng)時(shí)間在處理每查詢數(shù)千Token時(shí)仍保持400毫秒以下。每查詢成本（完成一次語音交互的總成本）相比使用閉源專有模型下降了6倍。這通過Decagon的多模型方法（部分開源，部分在NVIDIA GPU上內(nèi)部訓(xùn)練）、NVIDIA Blackwell的極致協(xié)同設(shè)計(jì)和Together的優(yōu)化推理堆棧組合實(shí)現(xiàn)。

未來發(fā)展趨勢(shì)

醫(yī)療、游戲和客服領(lǐng)域看到的顯著成本節(jié)省由NVIDIA Blackwell的效率驅(qū)動(dòng)。NVIDIA GB200 NVL72系統(tǒng)通過為推理專家混合模型提供相比NVIDIA Hopper突破性的10倍每Token成本降低，進(jìn)一步擴(kuò)大了這一影響。

NVIDIA在堆棧每一層的極致協(xié)同設(shè)計(jì)——涵蓋計(jì)算、網(wǎng)絡(luò)和軟件——及其合作伙伴生態(tài)系統(tǒng)正在大規(guī)模解鎖每Token成本的巨大降低。

這一勢(shì)頭將延續(xù)到NVIDIA Rubin平臺(tái)——將六款新芯片集成到單一AI超級(jí)計(jì)算機(jī)中，相比Blackwell提供10倍性能和10倍更低Token成本。

Q&A

Q1：NVIDIA Blackwell平臺(tái)相比Hopper平臺(tái)在成本節(jié)省方面有什么優(yōu)勢(shì)？

A：NVIDIA Blackwell平臺(tái)幫助領(lǐng)先推理服務(wù)商將每Token成本相比NVIDIA Hopper平臺(tái)降低多達(dá)10倍。例如，DeepInfra將大規(guī)模專家混合模型的每百萬Token成本從Hopper平臺(tái)的20美分降至Blackwell上的10美分，使用NVFP4格式進(jìn)一步降至5美分。

Q2：開源模型在AI應(yīng)用中能達(dá)到什么樣的性能水平？

A：開源模型現(xiàn)已達(dá)到前沿智能水平。通過結(jié)合開源前沿智能、NVIDIA Blackwell的極致硬件-軟件協(xié)同設(shè)計(jì)以及優(yōu)化的推理堆棧，這些模型能夠?yàn)楦餍袠I(yè)企業(yè)實(shí)現(xiàn)顯著的Token成本降低，同時(shí)保持高質(zhì)量的AI交互體驗(yàn)。

Q3：這些成本優(yōu)化對(duì)實(shí)際業(yè)務(wù)應(yīng)用有什么影響？

A：成本優(yōu)化帶來顯著業(yè)務(wù)價(jià)值。例如，Sully.ai推理成本下降90%，為醫(yī)生節(jié)省超過3000萬分鐘；Decagon每查詢成本下降6倍，響應(yīng)時(shí)間保持400毫秒以下；Sentient實(shí)現(xiàn)25-50%成本效率提升，支持24小時(shí)內(nèi)180萬用戶排隊(duì)的病毒式發(fā)布。