用于監(jiān)測整個(gè)GPU的運(yùn)行狀況和庫存。

作者 | ZeR0

編輯 | 漠影

芯東西12月11日報(bào)道，今日，英偉達(dá)宣布正在開發(fā)用于可視化和監(jiān)測GPU集群的軟件解決方案，并再度強(qiáng)調(diào)：“NVIDIA GPU沒有硬件跟蹤技術(shù)、終止開關(guān)和后門?！?/p>

此前據(jù)外媒報(bào)道，英偉達(dá)已開發(fā)出位置驗(yàn)證技術(shù)，可顯示其芯片在哪個(gè)國家運(yùn)行。今日英偉達(dá)在一篇博客文章中提供了更多相關(guān)細(xì)節(jié)，包括計(jì)劃將客戶端軟件智能體開源。

根據(jù)英偉達(dá)博客文章，這項(xiàng)新軟件解決方案是為了確保AI數(shù)據(jù)中心保持最佳狀態(tài)運(yùn)行而設(shè)計(jì)，向云合作伙伴和企業(yè)提供洞察儀表板，可幫助數(shù)據(jù)中心運(yùn)營商監(jiān)測整個(gè)AI GPU集群運(yùn)行狀況，提高整個(gè)計(jì)算基礎(chǔ)設(shè)施的GPU正常運(yùn)行時(shí)間。

該功能將以軟件選件的形式提供給用戶安裝，并利用GPU的“機(jī)密計(jì)算能力”。這項(xiàng)服務(wù)由客戶選擇、自行安裝和控制，用于監(jiān)測GPU使用情況、配置和錯(cuò)誤。

通過這項(xiàng)服務(wù)，數(shù)據(jù)中心運(yùn)營商將能夠：

• 追蹤功耗峰值，在不超出能耗預(yù)算的前提下最大化單位功耗性能。
• 監(jiān)測整個(gè)集群的利用率、內(nèi)存帶寬和互連運(yùn)行狀況。
• 及早發(fā)現(xiàn)熱點(diǎn)和氣流問題，以避免過熱降頻和組件過早老化。
• 確認(rèn)軟件配置和設(shè)置一致，以確保結(jié)果可復(fù)現(xiàn)以及運(yùn)行可靠。
• 發(fā)現(xiàn)錯(cuò)誤和異常情況，及早發(fā)現(xiàn)故障部件。

這些功能可以幫助企業(yè)和云提供商可視化其GPU集群、解決系統(tǒng)瓶頸并優(yōu)化生產(chǎn)力，從而提高投資回報(bào)。

此可選服務(wù)提供實(shí)時(shí)監(jiān)測，讓每個(gè)GPU系統(tǒng)與外部云服務(wù)通信和共享GPU指標(biāo)。服務(wù)將配備客戶端軟件智能體，客戶可安裝該智能體，將節(jié)點(diǎn)級GPU遙測數(shù)據(jù)流式傳輸?shù)酵泄茉贜VIDIA NGC的門戶網(wǎng)站上。

客戶可在儀表板中可視化其GPU集群利用率，既可以全局查看，也可以按計(jì)算區(qū)域（在同一物理或云位置注冊的節(jié)點(diǎn)組）查看。

該客戶端工具智能體也計(jì)劃開源，以提供透明度和可審計(jì)性。它將提供一個(gè)實(shí)際示例，展示客戶如何將英偉達(dá)工具整合到他們自己的GPU基礎(chǔ)設(shè)施監(jiān)測解決方案中。

這一軟件能夠幫助企業(yè)了解其GPU庫存情況，但無法修改GPU配置或底層運(yùn)行機(jī)制。它提供的是只讀遙測數(shù)據(jù)，并由客戶自行管理及自定義。

該服務(wù)還支持客戶生成詳細(xì)介紹GPU集群信息的報(bào)告。

另據(jù)外媒今日報(bào)道，英偉達(dá)周三透露，“沒有功能允許英偉達(dá)遠(yuǎn)程控制或?qū)σ炎韵到y(tǒng)采取行動(dòng)”，發(fā)送給英偉達(dá)服務(wù)器的遙測數(shù)據(jù)是“只讀的”，這意味著該公司的服務(wù)器不能將數(shù)據(jù)寫回芯片，“英偉達(dá)GPU內(nèi)部沒有允許英偉達(dá)或遠(yuǎn)程參與者禁用英偉達(dá)GPU的功能”。

該功能將首先在英偉達(dá)最新的Blackwell芯片上實(shí)現(xiàn)，英偉達(dá)也在研究前幾代芯片的選擇。