【全球存儲觀察 ｜ 科技熱點關(guān)注】

當前，隨著大模型行業(yè)應(yīng)用的展開，打造AI基礎(chǔ)設(shè)施在全球受到前所未有的重視，美國星際之門，法國的France 2030……

企業(yè)可以利用AI基礎(chǔ)設(shè)施中的算力、存力、算法和數(shù)據(jù)，推動業(yè)務(wù)實現(xiàn)智能化創(chuàng)新與進步。特別是在智能汽車、具身智能機器人、智能制造等新興領(lǐng)域的發(fā)展過程中，AI基礎(chǔ)設(shè)施帶來的價值日益凸顯。

不過，推動AI基礎(chǔ)設(shè)施建設(shè)，在算力需求上呈現(xiàn)出了三大趨勢：算力需求分層、存算協(xié)同、GPU國產(chǎn)替代。其中，先進存力依然占據(jù)著基石地位。

全球存儲觀察分析指出，隨著中國存儲力量的逐漸崛起，借助AI基礎(chǔ)設(shè)施建設(shè)的大好機遇，加速彎道超車，大有可為。

聚焦存需求變革，以創(chuàng)變應(yīng)萬變

AI訓練與推理的應(yīng)用對高性能存儲產(chǎn)品可謂是剛需。近年來中國存儲廠商在高性能存儲領(lǐng)域不斷發(fā)力，正好可以立足當前AI應(yīng)用，順勢而為，在數(shù)據(jù)存儲領(lǐng)域推陳出新，以滿足AI基礎(chǔ)設(shè)施對存儲的高要求。

伴隨DeepSeek出現(xiàn)，通過算法優(yōu)化和混合精度訓練，大模型訓練成本已經(jīng)大幅降低。開源模型開始推動推理需求爆發(fā)，推理普及化與專業(yè)化，企業(yè)可基于DeepSeek蒸餾小模型，結(jié)合領(lǐng)域數(shù)據(jù)微調(diào)，實現(xiàn)低延遲、高精度推理，邊緣端部署成為可能。同時對于數(shù)據(jù)模型精細化要求提升，就此帶來了存力需求的三大變革。

一是，刺激了數(shù)據(jù)存儲需求增加。隨著大模型的廣泛應(yīng)用和推理需求的增長，數(shù)據(jù)的產(chǎn)生和存儲需求也在不斷增加。企業(yè)需要處理和存儲大量的訓練數(shù)據(jù)、模型參數(shù)以及推理過程中產(chǎn)生的中間結(jié)果，這對存儲系統(tǒng)的容量和性能提出了更高的要求。

二是，迫使存儲性能要求提升。為了滿足大模型快速推理的需求，存儲系統(tǒng)需要具備更高的讀寫速度和更低的延遲。傳統(tǒng)的存儲架構(gòu)可能無法滿足這些要求，因此需要采用更先進的存儲技術(shù)和架構(gòu)，如分布式存儲、閃存存儲等，以提高存儲系統(tǒng)的性能和可靠性。

三是，強化數(shù)據(jù)管理并確保安全性。大量的數(shù)據(jù)存儲也帶來了數(shù)據(jù)管理和安全性的挑戰(zhàn)。企業(yè)需要建立有效的數(shù)據(jù)管理系統(tǒng)，確保數(shù)據(jù)的一致性、完整性和可用性。同時，還需要加強數(shù)據(jù)安全防護，防止數(shù)據(jù)泄露和被惡意篡改。

聚焦AI時代的存力需求變革，唯有以創(chuàng)新應(yīng)萬變，方能與時俱進，力爭中國存儲彎道超車。曙光存儲副總裁張新鳳分析指出，特別是在自動駕駛應(yīng)用領(lǐng)域，每天需要采集數(shù)TB數(shù)據(jù)，并做數(shù)據(jù)存儲匯總，然后經(jīng)過標注、清洗等處理后的數(shù)據(jù)，供給大模型訓練，訓練完的數(shù)據(jù)需要歸檔存儲起來。于是在每一個數(shù)據(jù)處理階段，將面對不同的存儲協(xié)議，如數(shù)據(jù)采集階段需要S3協(xié)議，數(shù)據(jù)標注處理時需要NAS協(xié)議，算法訓練時需要高性能POSIX協(xié)議，歸檔云端需要S3協(xié)議。

為此，針對支持AI訓練加速應(yīng)用場景的需求，曙光存儲全新升級的ParaStor分布式全閃存儲解決方案，采取2U2N設(shè)計。其帶寬190GB/s，讀寫速度500萬 IOPS/s，大模型CKPT時間縮短到分鐘級，充分壓榨算力性能，萬億參數(shù)大模型訓練時間可以從數(shù)月縮短到數(shù)周，并且ParaStor分布式系統(tǒng)本身對多協(xié)議有著高效的支持能力，全面滿足自動駕駛應(yīng)用場景每個處理數(shù)據(jù)階段的存儲協(xié)議需求。

然而，一個存儲設(shè)備不可能滿足AI的所有需求。因此針對訓練提速與推理應(yīng)用的高要求上，需要有所不同的創(chuàng)新考量。

AI推理對存儲系統(tǒng)性能要求很高，可能大家有所耳聞，那么到底有多高呢？

全球存儲觀察分析認為，主要在于AI推理對實時性要求高，高并發(fā)請求，以及數(shù)據(jù)密集型處理要求存儲系統(tǒng)性能必須高之又高，可謂沒有最高只有更高。為此，我們才看到SPC存儲性能打榜，每隔一段時間，總會出現(xiàn)新奇跡，這也是曙光、華為等國產(chǎn)存儲廠商努力登榜的原因所在。

AI推理需要快速響應(yīng)用戶請求，尤其是在實時交互場景中，如中大規(guī)模實時推理應(yīng)用、金融行業(yè)實時交易類業(yè)務(wù)等。存儲系統(tǒng)需要具備低延遲特性，以確保數(shù)據(jù)能夠快速加載和處理，從而滿足這類場景應(yīng)用的實時性要求。

在高并發(fā)請求上，大模型實時推理往往帶來每秒千萬級的并發(fā)請求，這對存儲系統(tǒng)的IO吞吐量和并發(fā)處理能力提出了極高的要求。

當然，AI推理屬于數(shù)據(jù)密集型處理的典型應(yīng)用場景，尤其是在處理大規(guī)模數(shù)據(jù)集時，會涉及大量數(shù)據(jù)的讀取和寫入。因而，存儲系統(tǒng)需要具備高帶寬和大容量，才能支持AI推理場景下的數(shù)據(jù)快速傳輸和存儲。

為了更好滿足AI推理加速應(yīng)用場景的需求，曙光FlashNexus集中式全閃存儲（8000）在AI推理領(lǐng)域樹立起了新的性能標桿。這款具備全球最強存儲性能的產(chǎn)品，擁有32控、超3000萬IOPS性能和 0.202ms的時延，通過超級隧道技術(shù)，實現(xiàn)RAG、KV-Cache親和，切實解決AI推理場景的存儲性能瓶頸，應(yīng)對AI推理場景的實時性、低延遲、高并發(fā)、數(shù)據(jù)密集型等存儲高性能需求。

除此之外，降本增效一直是中國存儲產(chǎn)業(yè)發(fā)展的長期話題。因此，針對AI應(yīng)用場景的需求變革，還有一個重要的事情，AI應(yīng)用的數(shù)據(jù)最終會有很大一部分需要長期存儲，歸檔存儲的成本優(yōu)化一直是所有存儲用戶所關(guān)注的重點之一。但是，AI應(yīng)用數(shù)據(jù)的歸檔存儲需要在保障存儲高效率的前提下，去實現(xiàn)成本的優(yōu)化。

瞄準AI降本增效的應(yīng)用需求，立足高融合AI存儲需求，曙光存儲創(chuàng)新推出了4U60 ParaStor分布式全閃方案，實現(xiàn)更低成本歸檔AI數(shù)據(jù)。以1.44PB/框的超大容量和20%成本降低支撐千億參數(shù)歸檔，通過冷熱數(shù)據(jù)分層技術(shù)和智能數(shù)據(jù)調(diào)度功能，實現(xiàn)動態(tài)優(yōu)化存儲資源的分配、跨形態(tài)熱溫冷數(shù)據(jù)無感流動，提高了存儲資源的利用率。

其實，無論是針對訓練提速、推理高質(zhì)，還是極致降本的應(yīng)用場景需求，都存在兩個最大的共性，那就是數(shù)據(jù)管理與數(shù)據(jù)安全，以及擴展性和靈活性。

在AI訓練與推理過程中，數(shù)據(jù)的安全性和隱私性至關(guān)重要。因而，任何一個過硬的存儲系統(tǒng)需要提供數(shù)據(jù)加密和訪問控制功能，以防止數(shù)據(jù)泄露和未授權(quán)訪問。值得一提的是，在數(shù)據(jù)全生命周期管理上，曙光ParaStor具備熱溫冷數(shù)據(jù)智能分級流動，支持給數(shù)據(jù)自定義標簽，過期后自動刪除。對于AI數(shù)據(jù)存儲的安全要求，曙光ParaStor憑借全棧自研能力，從操作系統(tǒng)、存儲架構(gòu)、軟件核心模塊、存儲介質(zhì)等多層面保障數(shù)據(jù)安全。提升存儲可靠性，降低數(shù)據(jù)管理成本，讓AI訓練與推理應(yīng)用變得省心省力。

同時對于擴展性和靈活性的要求，隨著AI模型規(guī)模和數(shù)據(jù)量的增長，存儲系統(tǒng)需要具備良好的擴展性。于此，曙光存儲ParaStor分布式體系，與生俱來的擴展性與靈活性，能夠提供動態(tài)擴展能力，支持存儲資源的靈活分配，這都不在話下。

新架構(gòu)重塑AI存儲，借勢加速彎道超車

兵來將擋，水來土掩。通常而言，在存儲技術(shù)創(chuàng)新的道路上，唯有搞定了難點、痛點，才能談得上存儲技術(shù)的真創(chuàng)新。

面對AI基礎(chǔ)設(shè)施的大好發(fā)展時機，中科曙光在存儲產(chǎn)品升級的背后，暗藏新架構(gòu)重塑AI存儲的玄機，也借勢加速彎道超車。

首先，讓數(shù)據(jù)離GPU更近，搞定AI存儲兩大痛點。曙光存儲另辟蹊徑的XDS技術(shù)，讓數(shù)據(jù)直通GPU顯存，解決AI大模型訓練和推理場景下的存儲痛點，提升數(shù)據(jù)處理效率和存儲性能，大幅縮短了訓練時間，提高了模型的開發(fā)效率。XDS技術(shù)采用多層級智能加速，集成了算力端和存力端各維度各層級的加速引擎，實現(xiàn)了高效的存算協(xié)同。在存力端，XDS內(nèi)嵌ParaBuffer加速引擎，在AI訓練計算節(jié)點與存儲系統(tǒng)之間構(gòu)造大內(nèi)存池，將系統(tǒng)整體I/O性能提升數(shù)倍，大幅降低訓練時間。

其次，實現(xiàn)高效數(shù)據(jù)處理，以存代算與以存促算相結(jié)合。作為一種在Transformer架構(gòu)中用于提升模型推理效率的關(guān)鍵技術(shù)，中科曙光AI存儲采用的KV-Cache通過緩存已計算的Key和Value矩陣，避免在自回歸生成過程中重復計算，從而顯著提升推理效率。由此，不僅提升實時交互性能，同時也降低同等GPU資源消耗，實現(xiàn)更高并發(fā)推理請求，推理效率提升50%，令業(yè)界刮目相看。不僅如此，中科曙光AI存儲支持檢索增強生成RAG技術(shù)，突破大模型在知識更新、幻覺問題和推理效率上的限制。這種多源數(shù)據(jù)整合能力有助于提升模型在處理復雜問題時的準確性和全面性。

其三，打造AI數(shù)據(jù)湖，構(gòu)建AI全棧數(shù)據(jù)通道。中科曙光AI存儲通過高性能池、大容量池、數(shù)據(jù)保護池打造AI數(shù)據(jù)湖解決方案，聚焦數(shù)據(jù)加工的全環(huán)節(jié)，集成數(shù)據(jù)預處理、檢查點保存/加載等，能夠自動查找、篩選和傳輸數(shù)據(jù)。

基于此，在新架構(gòu)重溯AI存儲的賽道上，曙光存儲通過多年的計算、存儲等領(lǐng)域技術(shù)積累，擁有面向AI存儲最新發(fā)展趨勢的創(chuàng)新能力，不只是發(fā)布升級產(chǎn)品，強化AI市場策略，聚焦行業(yè)用戶創(chuàng)新需求，同時也在引領(lǐng)中國存儲行業(yè)的發(fā)展，助推先進存力賦能AI基礎(chǔ)設(shè)施的創(chuàng)新與變革。

而今大踏步邁入AI存儲時代，如此良好的發(fā)展契機，為何不順應(yīng)行業(yè)發(fā)展的時代機遇，實現(xiàn)中國存儲高質(zhì)量發(fā)展呢？

誠然，順應(yīng)行業(yè)政策對AI基礎(chǔ)設(shè)施建設(shè)的重視與支持，像曙光、華為等中國存儲廠商正在加大研發(fā)投入，提升技術(shù)水平，推動產(chǎn)業(yè)發(fā)展。同時抓住AI技術(shù)的快速發(fā)展和應(yīng)用的大好時機，中國存儲廠商不斷推出符合市場需求的產(chǎn)品和解決方案，實現(xiàn)市場份額更大增長，推動中國存儲高質(zhì)量發(fā)展。

由此可見，借AI新基礎(chǔ)設(shè)施建設(shè)的上升大勢頭，繼續(xù)提升中國存力的世界影響力，中國存儲加速彎道超車也將從理想逐漸變成現(xiàn)實。

機不可失，時不我待。

你怎么看？

歡迎文末評論補充！

【全球存儲觀察 ｜全球云觀察｜科技明說｜阿明觀察】專注科技公司分析，用數(shù)據(jù)說話，帶你看懂科技。本文和作者回復僅代表個人觀點，不構(gòu)成任何投資建議。