“科學人工智能”通常是指應用機器學習來加速科學發(fā)現(xiàn)。SandboxAQ和Nvidia之間的一項新合作表明，人工智能優(yōu)化的硬件可以如何適應高性能計算并應用于科學研究中。該項目包括來自PNNL（美國太平洋西北國家實驗室）和匈牙利維格納物理研究中心的研究人員，他們使用混合精度方法來實現(xiàn)科學模擬所需的精度。

在一篇論文中，科學家們證明，傳統(tǒng)上要求極高數(shù)值精度的量子化學模擬可以在Nvidia的Blackwell GPU上精確運行。這項工作展示了在AI優(yōu)化的GPU上模擬雙精度算法的新精度水平，在具有挑戰(zhàn)性的量子化學任務中實現(xiàn)了化學精度。

該研究表明，驅(qū)動現(xiàn)代人工智能工作負載的GPU架構也可以加速基于物理的模擬，前提是它們的低精度硬件以更智能的方式使用。這項工作的核心是一種稱為混合精度算法的方法，它將快速、低精度的計算與選擇性的高精度步驟相結合，以達到和保持科學精度。

SandboxAQ的物理學家兼人工智能模擬創(chuàng)新主管Adam Lewis表示：“英偉達的這些硬件進步是為了快速運行專門的機器學習計算而開發(fā)的，但將它們應用于模擬任務并不簡單。”“這篇論文展示的是如何使用這些相同的技術來獲得量子化學所需的確切結果，同時有效地利用機器學習硬件�！�

使人工智能硬件適應科學

這項研究的核心是Nvidia的Blackwell GPU架構，該平臺用于訓練和運行大型語言模型的推理。這些芯片旨在提高低精度算術的效率，每秒可以執(zhí)行大量計算，但到目前為止，這種速度是以犧牲準確性為代價的。不過科學研究人員已經(jīng)找到了彌合這一差距的方法。

他們的方法依賴于一種名為FP64仿真的技術，該技術最初由日本計算機科學家Kensuke Ozaki提出，該技術可以從精度低得多的操作中重建出雙精度。在實踐中，這意味著將64位數(shù)字表示為一組較小的定點切片，這些切片可以由Blackwell的張量核快速處理。然后將結果重新組合，以產(chǎn)生與本地FP64計算相當?shù)木取?

研究人員在分子系統(tǒng)上測試了這種方法，這些系統(tǒng)測試了當前科學計算方法的局限性，包括參與天然氮生產(chǎn)的復雜金屬簇FeMoco和藥物代謝中的關鍵酶細胞色素P450。兩者都是具有重金屬中心的大型多電子系統(tǒng)，這使得它們很難建模。然而，在Blackwell GPU上使用FP64仿真，該團隊再現(xiàn)了與傳統(tǒng)高精度計算結果非常匹配的結果。

底層算法是一種稱為密度矩陣重整化群（DMRG）的張量網(wǎng)絡方法，它將量子波函數(shù)表示為相互連接的張量網(wǎng)絡。它的結構使其非常適合GPU，在GPU中，類似的張量操作驅(qū)動著現(xiàn)代神經(jīng)網(wǎng)絡。通過將這種結構與模擬的精確數(shù)學相結合，該團隊實現(xiàn)了科學代碼中很少見到的性能水平，即使對于復雜的酶系統(tǒng)，GPU利用率也達到了90%至95%。Lewis指出，這一結果“相當瘋狂”，并表明Blackwell架構的特征可能出乎意料地與量子化學兼容。

Lewis稱：“即使在LLM應用程序中，這些GPU也經(jīng)過了精確的調(diào)優(yōu)，這將是一個非常令人印象深刻的數(shù)字�！薄案呃寐时砻鳎鼈儗嶋H上經(jīng)過了奇怪的優(yōu)化，可以執(zhí)行這些量子化學計算，而這些計算在最初制作時并沒有人想到�！�

連接人工智能和高性能計算

研究結果突顯了人工智能和高性能計算之間日益增長的重疊。隨著GPU架構的發(fā)展以支持不斷擴展的AI模型，它們也成為科學模擬的強大引擎。處理具有數(shù)十億（或數(shù)萬億）參數(shù)的人工智能模型的硬件進步現(xiàn)在可以在適當?shù)乃惴ㄏ聦υ雍头肿拥男袨檫M行建模。

Lewis將這一結果描述為一個更大的行業(yè)模式的一部分：隨著人工智能在更多的計算領域占據(jù)主導地位，為機器學習工作負載開發(fā)的硬件創(chuàng)新開始溢出到模擬中。他說：“隨著人工智能在計算蛋糕中占據(jù)越來越大的份額，過去幾代人降低精度算法的趨勢可能會繼續(xù)下去�！�

其影響不僅限于化學。雙精度數(shù)學的高效仿真可以使人工智能加速器適用于一系列物理和材料科學工作負載，其中許多工作負載受到對專用HPC基礎設施需求的限制。通過利用已經(jīng)針對人工智能訓練和推理進行了優(yōu)化的GPU，研究人員可以在不等待專業(yè)系統(tǒng)的情況下大幅擴展對科學計算能力的訪問。

此次合作也反映了英偉達對科學人工智能的興趣日益濃厚，這是該公司近年來一直在發(fā)聲的主題。Lewis稱SandboxAQ與該公司的合作“非常富有成效”，并指出Nvidia的內(nèi)部研究團隊深度參與了該項目。他說：“他們總是對那些以新的方式使用硬件進行科學研究的人感興趣。他們非常樂于助人�！�

科學人工智能的未來

Lewis說，下一步是使該方法在更廣泛的分子系統(tǒng)中更快、更穩(wěn)健。雖然該方法實現(xiàn)了高精度，但它仍然依賴于大量的GPU資源。他說：“如果你必須為每個數(shù)據(jù)點使用整個DGX集群，從投資回報率的角度來看，這不一定有吸引力�！薄跋乱徊绞沁M行更有效的近似和加速。并使算法更加穩(wěn)定和健壯（魯棒），這樣我們就可以在沒有任何控制的情況下將其用于任意系統(tǒng)�！�

另一個方向是將這些基于物理的模擬與機器學習相結合。他說：“一個主要的應用是根據(jù)這些數(shù)據(jù)訓練模型�！痹趯嵺`中，這可能意味著使用模擬的精確量子化學計算為材料發(fā)現(xiàn)或分子設計中的基礎模型生成訓練數(shù)據(jù)，在人工智能和模擬之間建立一個反饋回路，從而加強兩者。

對于SandboxAQ來說，這項研究加強了其開發(fā)大型定量人工智能模型的使命，該模型將基于物理的模擬的嚴謹性與人工智能的適應性相結合。它還暗示了一個未來，訓練LLM的芯片也可能模擬化學反應、發(fā)現(xiàn)新藥或設計新材料。