云與 AI 原生技術(shù)會(huì)議圍繞大語言模型 (LLM) 訓(xùn)練與推理兩大主題，其中 LLM 推理主題匯集騰訊、NVIDIA、快手、阿里云、美團(tuán)等行業(yè)先鋒，分享 Hopper 架構(gòu)長文本推理優(yōu)化、DeepSeek 模型全棧加速、DiT 視頻推理新方案、全局 KV Cache 高效推理、Dynamo Router 協(xié)同設(shè)計(jì)等前沿實(shí)踐。從性能突破到落地案例，解鎖 LLM 推理效率提升的核心密碼，助力 AI 應(yīng)用高效落地。立即觀看，獲取頭部企業(yè)的推理實(shí)操干貨！

推薦演講

基于 NVIDIA Hopper 架構(gòu)的

LLM 長文本推理場(chǎng)景

性能優(yōu)化實(shí)踐和探索

會(huì)議代碼：S81986

會(huì)議時(shí)間：3 月 17 日上午 10:00 - 10:50（北京時(shí)間）

演講嘉賓：

向乾彪 | 騰訊 AI 推理架構(gòu)師

會(huì)議內(nèi)容：

在騰訊混元大模型支持的各項(xiàng)服務(wù)中，長文本請(qǐng)求消耗的 GPU 計(jì)算資源占比高達(dá) 60%。隨著深度搜索 (DeepSearch) 與智能體 (Agent) 技術(shù)的興起，長文本處理已成為大模型推理服務(wù)的主要成本負(fù)擔(dān)與優(yōu)化核心方向。為此，我們針對(duì)長文本場(chǎng)景落地實(shí)施了稀疏注意力機(jī)制、并行計(jì)算策略及鍵值緩存 (KV Cache) 優(yōu)化等一系列技術(shù)方案，不僅取得了顯著的性能提升，還有效降低了線上長文本推理的部署成本。

利用 NVIDIA Dynamo Router 的

LongCat-Flash 高效推理案例研究：

面向智能體時(shí)代的模型-系統(tǒng)協(xié)同設(shè)計(jì)

會(huì)議代碼：S81943

會(huì)議時(shí)間：3 月 18 日上午 10:00 - 11:00（北京時(shí)間）

演講嘉賓：

錢玉磊 | 美團(tuán)研發(fā)工程師

會(huì)議內(nèi)容：

聚焦 LongCat-Flash 560B MoE 模型的系統(tǒng)級(jí)協(xié)同設(shè)計(jì)實(shí)踐，展示如何實(shí)現(xiàn)面向 Agent 場(chǎng)景的極低延時(shí)與高性價(jià)比推理。在多層次并行調(diào)度與動(dòng)態(tài)算子融合的支撐下，LongCat-Flash 在單用戶 100 TPS 的高并發(fā)場(chǎng)景中，以每百萬輸出 token 僅 0.7 美元的成本，達(dá)成吞吐與成本的最優(yōu)平衡。該架構(gòu)通過結(jié)構(gòu)相關(guān)的算子編排策略，充分調(diào)度 NVLink 高速互連、NIC 網(wǎng)絡(luò)接口卡、GPU 計(jì)算單元及內(nèi)存帶寬等異構(gòu)資源，構(gòu)建高吞吐、低延時(shí)的推理系統(tǒng)。依托 NVIDIA Dynamo router 等關(guān)鍵組件，系統(tǒng)在生產(chǎn)環(huán)境中實(shí)現(xiàn)高可用性與動(dòng)態(tài)容錯(cuò)能力，穩(wěn)態(tài)維持推理服務(wù)的 SLA 一致性，為智能體時(shí)代的大規(guī)模推理服務(wù)提供可落地的通用范式。

基于全局 KV Cache 存儲(chǔ)系統(tǒng)的

高效 LLM 推理加速方案

會(huì)議代碼：S82360

會(huì)議時(shí)間：3 月 18 日下午 14:00 - 14:50（北京時(shí)間）

演講嘉賓：

張順康 | NVIDIA GPU 計(jì)算專家團(tuán)隊(duì) (DevTech) 工程師

張為 | 阿里云智能集團(tuán)資深技術(shù)總監(jiān)

會(huì)議內(nèi)容：

KV Cache 通過“以存儲(chǔ)換計(jì)算”的方式顯著提升了大語言模型 (LLM) 的推理效率。然而，受限于高帶寬內(nèi)存 (HBM) 容量有限且成本高昂，將 KV Cache 擴(kuò)展至外部高性能存儲(chǔ)系統(tǒng)已成為關(guān)鍵優(yōu)化方向。圍繞與 NVIDIA 聯(lián)合開展的系統(tǒng)級(jí)協(xié)同優(yōu)化工作，在滿足服務(wù)等級(jí)目標(biāo) (SLO) 的前提下，針對(duì) LLM 推理中動(dòng)態(tài)變化的工作負(fù)載，提出一套端到端的全局 KV Cache 解決方案。該方案涵蓋：推理引擎與遠(yuǎn)程存儲(chǔ)的深度集成優(yōu)化，全局 KV Cache 元數(shù)據(jù)的統(tǒng)一管理與配置策略，面向 KV Cache 訪問模式定制的遠(yuǎn)程存儲(chǔ)架構(gòu)設(shè)計(jì)。在典型 LLM 推理場(chǎng)景中，該方案實(shí)現(xiàn)了顯著性能與成本收益：Cache 命中率提升 39%，P99 延遲降低 78%，單位 token 的計(jì)算與存儲(chǔ)綜合成本降至原來的 24%（即降低 76%）。

GTC 2026 線上注冊(cè)參會(huì)攻略

點(diǎn)擊鏈接查看 GTC 2026 注冊(cè)教程，提前完成線上注冊(cè)，并將您感興趣的會(huì)議添加進(jìn)日程：

GTC2026 | 一圖解鎖線上注冊(cè)參會(huì)全攻略，贏 NVIDIA 定制好禮！「鏈接」

點(diǎn)擊鏈接，了解云與 AI 原生技術(shù)會(huì)議詳情：云與 AI 原生技術(shù)會(huì)議 | NVIDIA GTC 2026