提AI就不能不提DeepSeek，DeepSeek絕對是今年最火的話題之一，不管國內(nèi)外都引起了廣泛討論。OpenAI前政策主管Jack Clark曾提到，DeepSeek吸引了一批“難以捉摸的天才”

“其實沒有什么‘難以捉摸的天才’，只是來自頂尖高校的應(yīng)屆生、博士生（甚至是四五年級的實習生），以及一些有幾年經(jīng)驗的年輕人?！薄癉eepSeek V2.0完全是由本土人才打造的。目前，全球前50的AI人才可能確實不在中國，但我們希望自己培養(yǎng)出這樣的團隊?！边@是DeepSeek創(chuàng)始人梁文鋒的回答。

由衷的佩服梁文鋒這樣的企業(yè)家，好像有點扯遠了，回到AI本身，DeepSeek非常優(yōu)秀，但是放到整個AI體系來看它只是一個上層的應(yīng)用，如下圖所示。

可以說DeepSeek成功的背后離不開AI技術(shù)底座的創(chuàng)新，這包括數(shù)據(jù)、算法、算力所涉及到的訓推框架、編譯與計算框架、硬件等更底層的技術(shù)。

DeepSeek很好，但是只有DeepSeek顯然是不夠的，慶幸的是我們還是有企業(yè)去推動這些更底層的創(chuàng)新。推動基礎(chǔ)的創(chuàng)新并不容易，也不是一個企業(yè)就能做成的，美國的創(chuàng)新建立在美國發(fā)達的科技教育土壤之上的，我們也應(yīng)該如此。

AI大模型的成敗在于人才、數(shù)據(jù)、算力與算法

AI大模型的成功構(gòu)建依賴于幾個關(guān)鍵要素：人才（研發(fā)與應(yīng)用者）、高質(zhì)量數(shù)據(jù)（訓練基礎(chǔ)）、強大算力（計算支撐）以及先進算法（核心技術(shù)）。眾所周知，算力、算法、數(shù)據(jù)也是俗稱的AI三要素，目前需要的提升主要體現(xiàn)在：

• 算力：需要更多的算力，尤其是可以自主的算力；
• 算法：提升算法的效率，例如混合精度訓練、模型壓縮、量化等，與訓推框架等合作創(chuàng)新
• 數(shù)據(jù)：采集以及生成高質(zhì)量訓練數(shù)據(jù)

我們想要AI大模型給我們提供更多的便利就需要在基礎(chǔ)的算力、算法和數(shù)據(jù)上有更多的創(chuàng)新和突破。而這些年AI大模型領(lǐng)域的一大變化，就是業(yè)界紛紛把目光投向了知名高校，這個天生攜帶創(chuàng)新基因之地，并因此在AI領(lǐng)域獲益匪淺。

高校是AI創(chuàng)新的發(fā)源地和人才的搖籃

當AI發(fā)展裹足不前時，人們赫然發(fā)現(xiàn)高校才是創(chuàng)新的源地，AI的爆發(fā)源自高校的創(chuàng)新，而DeepSeek的出現(xiàn)讓更多人認識到中國的高校同樣人才濟濟。DeepSeek創(chuàng)始人梁文鋒表示“DeepSeek V2.0完全是由本土人才打造的”“只是來自頂尖高校的應(yīng)屆生、博士生（甚至是四五年級的實習生），以及一些有幾年經(jīng)驗的年輕人。”

根據(jù)全球知名學術(shù)期刊《Nature》發(fā)布的“Nature Index Supplements 2024 AI”，可以看到在AI學術(shù)研究領(lǐng)域中國有19所高校進入了全球TOP100，僅次于美國，清華大學甚至進入了全球前10。

無獨有偶，據(jù)研究機構(gòu)的數(shù)據(jù)（數(shù)據(jù)來源于AI頂會NeurIPS收錄的論文），2022年頂級人工智能研究機構(gòu)前25名中有6家來自中國，分別是清華大學、北京大學、中科院、上海交通大學、浙江大學以及華為公司

這一項項的數(shù)據(jù)都在證明，高校是AI創(chuàng)新的發(fā)源地。相比企業(yè)的短期目標導(dǎo)向，高校鼓勵長期基礎(chǔ)研究（如數(shù)學、理論物理），允許“失敗”和“非功利性探索”，為顛覆性創(chuàng)新提供土壤。同時高校是頂尖人才聚集高地，大量教授、科研人員及全球優(yōu)秀學生匯聚形成高濃度“智力池”，最典型的現(xiàn)象就是MIT的教授和校友中誕生了100位諾貝爾獎得主。如此高知識的密度和學術(shù)自由的氛圍，促成了一個個世界級創(chuàng)新成果的產(chǎn)生。

雖然高校的AI創(chuàng)新有著很多的優(yōu)勢，但是也面臨很多的問題

孵化中心是解決高校AI大模型困局的良方

一棟樓能蓋多高取決于地基的堅固程度，AI發(fā)展的高度取決于AI基礎(chǔ)創(chuàng)新的能力和人才的厚度。

高校是創(chuàng)新的重要基地也是人才培養(yǎng)的基地，但是AI行業(yè)的巨大成本和投入?yún)s成了一堵隱形的高墻?！禢ature》通過對35家機構(gòu)的50名科學家調(diào)查后得出結(jié)論——學術(shù)界在GPU獲取上面臨的嚴峻挑戰(zhàn)，甚至需要排隊申請等待數(shù)天的學校GPU集群。

“學術(shù)界與行業(yè)界的模型差距巨大，但本可以小得多?！泵绹A盛頓特區(qū)非營利AI研究機構(gòu)EleutherAI的執(zhí)行董事Stella Biderman說

算力的限制使得高校發(fā)展大模型變得異常困難，而且隨著模型規(guī)模的不斷增大，高校的創(chuàng)新和人才聚集優(yōu)勢越來越難以得到發(fā)揮，語言大模型尚且如此，視頻大模型等更是難上加難，這對AI底層技術(shù)的優(yōu)化提出了更高的要求，這是全球高校AI研究普遍遇到的問題，中國高校也不例外。

企業(yè)對于創(chuàng)新與AI人才的渴望，高校對于算力資源的渴望，讓校企合作成為了最佳的選擇，目前國內(nèi)做得比較好的當屬華為與高校聯(lián)合創(chuàng)辦的鯤鵬昇騰科教創(chuàng)新卓越中心/孵化中心（簡稱卓越中心/孵化中心）——不僅支援了緊缺的算力資源，還提供了昇騰全流程AI基礎(chǔ)軟硬件技術(shù)支持及技能培訓，通過不斷與高校共同推動AI底層技術(shù)的完善和創(chuàng)新，賦能科研項目高效推進：

• 算力：鯤鵬昇騰科教創(chuàng)新卓越中心/孵化中心項目會向那些有創(chuàng)新有技術(shù)的高?？蒲袌F隊提供足夠的自主算力。尤其對于被列入了美國制裁名單的頂尖高校自主算力的補給可謂“雪中送炭”。
• 算法：昇騰CANN提供了開放的生態(tài)，并且在算子開發(fā)、調(diào)優(yōu)方面聯(lián)合創(chuàng)新，部分算法如MoH、MoE與硬件規(guī)劃方案結(jié)合，可以實現(xiàn)更高效的計算性能和資源利用率。DeepSeek的案例也充分證明了高效利用底層能力是創(chuàng)新的重要途徑。

但是鯤鵬昇騰科教創(chuàng)新孵化中心的合作不止于此，這是一個多層次，多形式的合作，不僅可以扶持好的科研項目，還以特訓營、研討會、專業(yè)競賽（算子挑戰(zhàn)賽）等形式挖掘及培養(yǎng)人才。概括來說鯤鵬昇騰科教創(chuàng)新孵化中心的實踐主要體現(xiàn)在下面三方面：

• 改革課程體系，以科研課題、 產(chǎn)業(yè)課題、競賽課題驅(qū)動，培養(yǎng)計算產(chǎn)業(yè)頂尖人才
• 攻堅體系架構(gòu)、計算加速能力、 算法能力、系統(tǒng)能力，孕育世界級的創(chuàng)新成果
• 創(chuàng)新AI+X，聯(lián)合華為+高校計算專家，共同賦能交叉學科， 引領(lǐng)智能化生態(tài)發(fā)展

鯤鵬昇騰科教創(chuàng)新孵化中心項目目前有序進展中，簽約的高校包含：

鯤鵬昇騰科教創(chuàng)新卓越中心：清華大學、北京大學、上海交通大學、浙江大學、中國科學技術(shù)大學；

鯤鵬昇騰科教創(chuàng)新孵化中心：復(fù)旦大學、哈爾濱工業(yè)大學、華中科技大學、西安交通大學、南京大學、北京航空航天大學、北京理工大學、電子科技大學、東南大學、北京郵電大學等

讓人驚訝的是鯤鵬昇騰科教創(chuàng)新卓越中心/孵化中心項目實施一年左右已經(jīng)有行業(yè)重大影響力的項目產(chǎn)生了，例如清華大學KTransformers項目。

有影響力的AI成果在不斷孵化

在卓越中心提供的昇騰技術(shù)支持下，清華大學系初創(chuàng)團隊趨境科技研發(fā)的KTransformers異構(gòu)推理框架橫空出世。此框架的驚人之處在于實現(xiàn)了單卡運行千億參數(shù)模型的技術(shù)突破，通過高級內(nèi)核優(yōu)化和布局/并行策略來增強Transformers體驗，進一步說便是通過異構(gòu)計算優(yōu)化和內(nèi)核級加速技術(shù)來提升表現(xiàn)，最終大幅降低了大模型的運行成本。在如今大模型規(guī)模指數(shù)級增長的產(chǎn)業(yè)現(xiàn)狀下具備重大價值，也是底層技術(shù)架構(gòu)創(chuàng)新的典范。

據(jù)了解，KTransformers異構(gòu)協(xié)同推理技術(shù)為趨境科技業(yè)界首創(chuàng)，這項技術(shù)基于鯤鵬CPU與昇騰NPU的異構(gòu)協(xié)同優(yōu)勢，通過基于計算強度的offload策略，將計算強度較低的MoE 層參數(shù)offload 到鯤鵬CPU，將計算強度高的MLA 保持在昇騰NPU，顯存占用降低90%以上。不僅如此，還針對鯤鵬平臺做了很多深度的優(yōu)化：

• NUMA親和優(yōu)化，對算子進行 NUMA 親和改造，以減少跨 NUMA 的訪問和同步，以此降低訪問延遲，提升推理吞吐。
• 鯤鵬計算加速，使用了 KML 鯤鵬數(shù)學庫進行加速，算子性能提升100%；通過鯤鵬工具鏈中的畢昇編譯器編譯，性能提升50%。
• 并行計算加速，開啟 MTP（多 tokens/s 預(yù)測），大約提升 40% 的性能；采用新技術(shù)“Expert 延遲計算”，完全隱藏 NPU CPU 運行空泡，性能最高提升2倍

同時趨境科技與華為在今年5月的KADC大會上聯(lián)合發(fā)布了“鯤鵬+xPU解決方案”，并完成了兩種方案的性能調(diào)試，均實現(xiàn)了顯著的性能提升：

• 昇騰+鯤鵬 KTransformers 方案（AK+K），在單機單卡的環(huán)境中，能夠運行 DeepSeek R1 671B 8bit 滿血版，prefill 和 decode 速度是 llama.cpp 的 4-6 倍。
• 鯤鵬 CPU+ KTransformers 方案（K+K），在單機零卡的環(huán)境中，CPU MoE 算子帶寬利用率達到 70 %，運行 DeepSeek R1 671B 8bit 滿血版，prefill 和 decode 速度是 llama.cpp 的 4-6 倍。

KTransformers解決了大模型部署中高昂的硬件成本與顯存瓶頸問題，降低了中小團隊和開發(fā)者參與大模型研發(fā)的資金門檻，將大模型拓展到端側(cè)，極大推動了AI 智能普惠。

事實上，卓越中心/孵化中心提供的不僅僅是硬件資源，還有以鯤鵬、昇騰技術(shù)為底座的全流程AI技術(shù)，這也意味著許多高?？蒲许椖靠梢匀鎿肀ё灾魉懔蜕鷳B(tài)。

以昇騰為例，其開放性和易用性讓各大高校的科研項目在其平臺上的開展并不困難。昇騰CANN8.0支持主流的Pytorch、TensorFlow、ONNX等第三方深度學習框架，這種無縫的銜接使得各主流項目都可以很快的移植到了昇騰體系內(nèi)，還可以使用torch_npu進行開發(fā)，整體代碼都可以無縫在昇騰NPU上訓練和推理。

對于一個模型來說，算子是其靈魂，決定了這個模型的性能，CANN對自定義算子的支持是模型做出差異化的關(guān)鍵。Ascend C是CANN針對算子開發(fā)場景推出的編程語言，支持C和C++標準規(guī)范，兼具開發(fā)效率和運行性能?；贏scend C編寫的算子程序，通過編譯器編譯和運行時調(diào)度，運行在昇騰AI處理器上。此外算子加速庫提供了一系列豐富的深度優(yōu)化、硬件親和的高性能算子，如Neural Network、Digital Vision Pre-Processing算子等，方便開發(fā)者調(diào)用進一步優(yōu)化算法運行性能、構(gòu)筑差異化，目前基于CANN開發(fā)的融合算子數(shù)量新增80 多個。

除了CANN，昇騰應(yīng)用使能套件也很好地賦能AI應(yīng)用的開發(fā)。例如MindSpeed在大模型需求量激增的時代背景下，起到了非常關(guān)鍵的作用。當規(guī)模達達到百億甚至更大時，就需要進行模型切分，并在多個節(jié)點上進行模型并行。在這方面可以充分利用昇騰MindSpeed分布式加速套件，讓大模型分布式并行運算。更有甚者，針對大模型的深度思考能力，昇騰推出了MindSpeed RL強化學習套件。面對訓推環(huán)節(jié)反復(fù)迭代和轉(zhuǎn)換遇到的計算資源利用率低，通信時延高和內(nèi)存溢出風險，MindSpeed RL具備訓推共卡和推理異步生成技術(shù)，顯著減少內(nèi)存占用并加速收斂，大幅提升后訓練資源利用率。

從硬件、底層技術(shù)架構(gòu)到應(yīng)用使能層，卓越中心/孵化中心提供了以鯤鵬、昇騰為主的全面的技術(shù)支持，同時使能高校反哺系統(tǒng)平臺的創(chuàng)新。這樣一來，雙方合力做厚算力黑土地，在未來可以更好地、更廣泛地支撐應(yīng)用開發(fā)者的創(chuàng)新。

孵化中心是校企的雙贏選擇，是AI基礎(chǔ)技術(shù)躍升的“溫床”

回顧AI的發(fā)展，高質(zhì)量數(shù)據(jù)集的建立，神經(jīng)卷積網(wǎng)絡(luò)的出現(xiàn)都是從高校開始的，甚至CUDA也是通過在高校建立卓越中心發(fā)展起來的。高校，尤其是頂尖高校是AI人才的搖籃，這是毋庸置疑的，同時各種報告和數(shù)據(jù)也顯示出高校在AI人才的培養(yǎng)也面臨諸多問題，比如高校的算力不足，再比如無法深入硬件層優(yōu)化算法等。

鯤鵬昇騰科教創(chuàng)新卓越中心/孵化中心的建立是高校和企業(yè)雙贏的選擇，高校在算力、技術(shù)支持及學生技能提升上獲益的同時，通過與昇騰團隊的交流合作，在算子開發(fā)領(lǐng)域也攻克了很多難題，共同推動了AI基礎(chǔ)技術(shù)的發(fā)展。

“萬丈高樓平地起”，做好基礎(chǔ)技術(shù)的創(chuàng)新是一個“打地基”的過程，越成熟、越穩(wěn)固的底座，便能承載和支持更加豐富且性能強大的產(chǎn)品創(chuàng)新。立足長遠，夯實基礎(chǔ)就是鯤鵬昇騰科教創(chuàng)新卓越中心和孵化中心正在做的。

參考資料：

領(lǐng)先的 100 所學術(shù)機構(gòu) | |補充劑 |自然指數(shù)

github.com/PKU-YuanGroup/Open-Sora-Plan

AI’s computing gap: academics lack access to powerful chips needed for research

鯤鵬昇騰科教創(chuàng)新卓越中心/孵化中心-高校人才發(fā)展社區(qū)

昇思MindSpore | 全場景AI框架 | 昇思MindSpore社區(qū)官網(wǎng)

Open-Sora 計劃：開源大型視頻生成模型

憑借昇騰澎湃算力，Open-Sora Plan實現(xiàn)電影級視頻生成

GitHub - kvcache-ai/ktransformers：用于體驗尖端 LLM 推理優(yōu)化的靈活框架