在研究地球氣候變化的競賽中，速度和準(zhǔn)確性至關(guān)重要。但如今使用的最廣泛的氣候模擬器往往很困難：由于計算限制，它們無法完全捕捉到雷暴或高聳的熱帶云等關(guān)鍵氣候微小過程。

為了捕捉這些特征，科學(xué)家們運行了稱為云解析模型（CRM）的超高分辨率模擬。這些模擬追蹤云是如何形成和演變的，但它們非常昂貴，運行一個十年的全球氣候預(yù)測幾乎是不可能的。

如果科學(xué)家們能夠?qū)⑦@些詳細(xì)模擬仿真提煉成一個運行速度快幾十到幾百倍的機器學(xué)習(xí)模型，而不放棄保真度，那會怎么樣？

ClimSim Online因此推出，它是一個可復(fù)制的框架，用于大規(guī)模開發(fā)和部署混合物理機器學(xué)習(xí)氣候模型。該框架由NVIDIA Earth 2系統(tǒng)和來自政府及學(xué)術(shù)界的國際氣候建模者聯(lián)合制作。由哥倫比亞大學(xué)的一個由美國國家科學(xué)基金會資助的科學(xué)技術(shù)中心發(fā)起和支持的，該中心正在探索人工智能氣候模擬技術(shù)的未來。

訓(xùn)練人工智能模擬復(fù)雜氣候

ClimSim Online基于NeurIPS 2023上推出的屢獲殊榮的ClimSim數(shù)據(jù)集。該數(shù)據(jù)集在HuggingFace存儲庫中提供。該數(shù)據(jù)集是使用能源Exascale地球系統(tǒng)模型多尺度建?？蚣埽‥3SM-MMF）創(chuàng)建的，這是一種新一代氣候模擬器，在主粗網(wǎng)格氣候模型的每個大氣柱中嵌入了數(shù)千個本地化的計算密集型CRM。這是一種生成氣候預(yù)測的實驗性方法，可以減少通常必須對精細(xì)尺度物理學(xué)做出的假設(shè)數(shù)量，但它的計算成本很高，因此在國際上沒有用于主流的預(yù)測方法。不過將嵌套物理外包給人工智能可能會改變這一點。

主氣候模型以約1.5度（約150km）或更粗的水平分辨率運行，而每個嵌入式CRM以2km的分辨率運行，明確地模擬了更精細(xì)尺度的云和對流。

在模擬的10年跨度內(nèi)，E3SM-MMF產(chǎn)生了驚人的57億個樣本，每個樣本都描述了小尺度物理過程如何改變大尺度大氣狀態(tài)。這些過程包括湍流上升氣流如何導(dǎo)致云形成，微物理液滴形成的原因，對流如何從單個云的尺度組織到大型有組織的云復(fù)合體，以及這些云系統(tǒng)如何與太陽和紅外輻射相互作用，從而調(diào)節(jié)氣候。

這個龐大的數(shù)據(jù)集是訓(xùn)練模擬子網(wǎng)格物理的機器學(xué)習(xí)模型的基礎(chǔ)，可以取代昂貴的嵌入式CRM，后者消耗了大約95%的總計算費用。它已經(jīng)引發(fā)了一場全球競賽，吸引了來自世界各地的460多個團隊在這個高保真氣候數(shù)據(jù)集上開發(fā)和基準(zhǔn)化機器學(xué)習(xí)解決方案，通過開放、協(xié)作的創(chuàng)新幫助加快進展。

這些模型需要的不僅僅是離線準(zhǔn)確。當(dāng)集成到實時氣候模擬器中時，它們必須保持穩(wěn)定——年復(fù)一年，一小時又一小時地運行——而不會讓虛擬大氣漂移到不切實際的狀態(tài)?？刂苹旌衔锢頇C器學(xué)習(xí)（ML）模擬的行為是一個巨大的挑戰(zhàn)，特別是在宿主物理模型無法微分的情況下。一些簡單的宿主模型可以用可微代碼重寫，從而直接實現(xiàn)混合動力學(xué)的ML優(yōu)化。但許多候選宿主模型不易微重寫，或者是非線性的，直接優(yōu)化混合行為是不切實際的?？缭綌?shù)百萬行源代碼的功能齊全的氣候模擬器就是一個很好的例子。

插入并模擬

ClimSim Online由NVIDIA率先推出，旨在讓更廣泛的機器學(xué)習(xí)社區(qū)能夠使用混合氣候建模。研究人員構(gòu)建了一個可重復(fù)的、容器化的工作流程，以避開運行功能齊全的氣候模擬器的典型障礙，例如對某些超級計算機和軟件環(huán)境的依賴，這些障礙限制了廣泛應(yīng)用。

只需一個TorchScript模型文件，用戶就可以將他們訓(xùn)練好的ML模型注入到基于Fortran的E3SM氣候模擬器中，并啟動混合模擬。無論它們是在本地工作站、HPC集群還是云VM上，它們都可以插入標(biāo)準(zhǔn)化的診斷程序來衡量它們的成功。

整個系統(tǒng)在一個預(yù)裝了所有必需庫和依賴項的容器中運行。只需加載、安裝和模擬。用戶可以在ClimSim Online存儲庫中找到設(shè)置容器的說明。整個工作流程——從訪問數(shù)據(jù)、訓(xùn)練機器學(xué)習(xí)模型，到運行和評估混合氣候模擬——都可以在ClimSim存儲庫中找到。

NVIDIA技術(shù)研發(fā)組織的科學(xué)家們現(xiàn)在利用這些新的API取得了重要突破。在7月10日發(fā)表在《地球系統(tǒng)建模進展雜志》（JAMES）上的最新論文中，科學(xué)家們使用PhysicsNemo在ClimSim數(shù)據(jù)集上訓(xùn)練的U-Net神經(jīng)網(wǎng)絡(luò)演示了多年穩(wěn)定的混合模擬。它為ClimSim online的在線技能建立了一個新的基準(zhǔn)。PhysicsNemo是一個開源的深度學(xué)習(xí)框架，使用戶能夠探索、開發(fā)、驗證和部署最先進的科學(xué)和工程方法，將基于物理的知識與數(shù)據(jù)相結(jié)合。

但真正的突破是什么？物理學(xué)為機器學(xué)習(xí)提供了信息。

為了避免失控的模擬和不切實際的云行為，研究人員將微物理約束直接構(gòu)建到神經(jīng)網(wǎng)絡(luò)架構(gòu)中：

所有冷凝物都遵循基于溫度的相劃分，就像神經(jīng)網(wǎng)絡(luò)正在模擬的云解析模型一樣。

對流層頂上方?jīng)]有揮之不去的冰云。

有了這些硬約束，研究人員穩(wěn)定了以前漂移的模擬，并大大提高了云氣候?qū)W的真實性，特別是在熱帶地區(qū)，無約束模型往往會高估高海拔地區(qū)的云。

ClimSim Online從根本上加速了導(dǎo)致這一解決方案的研究過程：能夠快速迭代不斷發(fā)展的下游混合模型，挖掘最終為我們的科學(xué)探測工作提供關(guān)鍵信息線索。

ClimSim Online降低了人工智能氣候合作的障礙。這使得以下操作變得容易：

使用世界級的仿真數(shù)據(jù)訓(xùn)練ML模型。

基準(zhǔn)線下技能。

最重要的是，評估全尺寸氣候模擬器內(nèi)的在線性能，這是對現(xiàn)實世界準(zhǔn)備情況的最終測試。

無論是渴望從事氣候研究的人工智能研究人員，還是對混合建模的力量感到好奇的氣候科學(xué)家，ClimSim Online都會為你帶來加入下一波氣候模擬的工具。

雖然研究人員已經(jīng)證明了一種基于領(lǐng)域科學(xué)的方法來解決混合建模的初級問題，但要將混合偏差降低到真正可容忍的水平，還有很多工作要做。需要新的想法。例如：強化學(xué)習(xí)社區(qū)能否找到一個與領(lǐng)域科學(xué)無關(guān)的更強大的解決方案？現(xiàn)在ClimSim Online可以很容易地對下游的、不可區(qū)分的獎勵信號進行采樣，也許研究人員很快就會發(fā)現(xiàn)?；旌衔锢鞰L氣候模擬的未來等待著我們。

NVIDIA DLI 與 Ai 時代前沿合作，將大門向更多普通用戶敞開！無論你是對新技術(shù)充滿好奇心的愛好者，還是希望提升自己技能的職場人士，這里都有適合你的課程和資源。