在DeepSeek等國產(chǎn)大模型加速普及的今天，AI基礎(chǔ)設(shè)施（AI Infra）如同數(shù)字時代的“水電煤”。然而，長期以來，這一領(lǐng)域的核心技術(shù)被vLLM、TensorRT-LLM等海外框架牢牢占據(jù)。隨著一支年輕團隊打造的xLLM在今年8月底出世，這一局面正悄然改變。

12月6日，成立僅三個月的xLLM社區(qū)將在北京舉辦主題為“共建開源AI Infra生態(tài)”的線下Meetup。作為AI Infra技術(shù)架構(gòu)中的“中樞神經(jīng)”，xLLM如同操作系統(tǒng)般連接底層國產(chǎn)芯片與上層大模型應(yīng)用，將算力高效轉(zhuǎn)化為模型智能。項目負責(zé)人劉童璇首次接受采訪，揭秘這一國產(chǎn)引擎背后的創(chuàng)新故事。

初衷：中國技術(shù)人的技術(shù)“破冰”之旅

回溯項目誕生之初的抉擇時刻，劉童璇的目光依然堅定如炬�！爱敃r，我們站在技術(shù)路口的‘懸崖邊’，面前是兩條截然不同的道路。”他回憶道。一條是沿著vLLM、Sglang等開源框架的既定軌道前行；另一條，則是挺進“無人區(qū)”，為國產(chǎn)芯片打造一個專屬的“動力引擎”。

“打造一款對標國際頂尖水平的推理引擎，最大的挑戰(zhàn)在于技術(shù)路徑的選擇，”劉童璇坦言，“是繼續(xù)在開源框架上做局部優(yōu)化，還是徹底從頭構(gòu)建？”最終，團隊選擇了一條“難而正確”的道路。與vllm、sglang等方案主要專注于大模型和多模態(tài)模型不同，xLLM不僅同樣支持這兩大核心領(lǐng)域，還將其能力拓展至生成式推薦、文生圖、文生視頻等AIGC場景。與此同時，xLLM的一個優(yōu)勢在于對多種國產(chǎn)芯片的全面兼容與深度性能優(yōu)化——在昇騰等國產(chǎn)硬件上的性能表現(xiàn)，顯著優(yōu)于vllm-ascend等開源適配方案。此外，與vllm、sglang需依賴Dynamo等外部框架來提供大模型服務(wù)能力不同，xLLM還進一步開源了大模型服務(wù)端的關(guān)鍵組件，如全局請求調(diào)度、動態(tài)PD分離等，從而實現(xiàn)了從推理引擎到上層推理服務(wù)的更完整技術(shù)棧閉環(huán)。

更令人興喜的是，最終扛起這一重任的，是一支平均年齡不到30歲的年輕團隊。這群“95后”工程師憑著初生牛犢的銳氣直面挑戰(zhàn)。“一群平均工作年限僅兩三年的年輕人，就靠著一股不服輸?shù)臎_勁，硬是把核心引擎搭建了出來。”言談之間，劉童璇的自豪之情溢于言表。

破繭：三箭齊發(fā)構(gòu)建生態(tài)護城河

經(jīng)過近一年的潛心研發(fā)，成果于8月底在GitHub正式亮相。出乎團隊預(yù)料，xLLM開源后迅速引發(fā)社區(qū)熱烈反響�！斑h超預(yù)期！我們本打算長期打磨，但大模型熱潮讓xLLM獲得了前所未有的關(guān)注�！眲⑼寡泽@喜之余更感責(zé)任重大，“它還不夠完美，架構(gòu)設(shè)計、易用性都有很大的提升空間。”

當杭州的計算中心率先部署xLLM，在AI基礎(chǔ)設(shè)施這片關(guān)鍵的戰(zhàn)場，xLLM如同一面獵獵作響的旗幟，插在了《國務(wù)院關(guān)于深入實施“人工智能+”行動的意見》的政策高地上。這份2025年發(fā)布的11號文件明確提出“加快研究更加高效的模型訓(xùn)練和推理方法”，而xLLM正是對這一國家戰(zhàn)略最生動的技術(shù)響應(yīng)。

最令團隊振奮的，是xLLM技術(shù)落地所展現(xiàn)出的深度與廣度。“我們在一次技術(shù)沙龍上得知，已有用戶將xLLM部署到遠在新疆的電站，運行在國產(chǎn)化一體機中，”劉童璇感慨，“當技術(shù)真正走進田間地頭，服務(wù)國計民生，那種價值感無可替代�！�

面向未來一年，xLLM已規(guī)劃清晰路線圖。劉童璇提到三個點，場景縱深：重點突破文生視頻、生成式推薦系統(tǒng)等復(fù)雜生成式場景；模型聯(lián)盟：深化與國產(chǎn)大模型廠商合作，建立快速響應(yīng)機制，緊跟模型演進前沿；芯片協(xié)同：與國內(nèi)芯片企業(yè)深度聯(lián)動，針對國產(chǎn)硬件特性進行極致優(yōu)化。最終是逐步將xLLM鍛造為數(shù)據(jù)中心級別的“智能操作系統(tǒng)”，以“AI for System”為理念，構(gòu)建驅(qū)動未來的智能化超級大腦。

“從填補生態(tài)空白，到支撐新疆電站運行，xLLM正將‘卡脖子’清單轉(zhuǎn)化為技術(shù)攻堅的‘加速器’�！眲⑼偨Y(jié)道。這支年輕團隊承載的不僅是技術(shù)參數(shù)層面的突破，更象征著中國年輕工程師從技術(shù)追隨者向標準制定者的身份蛻變。當xLLM的代碼在GitHub上流淌，當新疆電站的控制系統(tǒng)因它而更高效運轉(zhuǎn)，這支團隊用鍵盤敲出的每個字符，都在為"人工智能+"的國家戰(zhàn)略注入鮮活注腳。