揭秘氣候技術(shù)發(fā)展的關(guān)鍵平臺(tái)Earth-2的核心—CorrDiff

在全球變暖背景下，NVIDIA Earth-2 已成為推動(dòng)氣候技術(shù)發(fā)展的關(guān)鍵平臺(tái)。針對(duì)因氣候變化而日益加重的災(zāi)難性極端天氣影響，該平臺(tái)能夠生成可供執(zhí)行的洞察。

Earth-2 能夠讓大氣物理學(xué)或海洋動(dòng)力學(xué)專家以外的人也能深入理解天氣和氣候?，F(xiàn)在，借助先進(jìn)技術(shù)就能夠準(zhǔn)確預(yù)測(cè)復(fù)雜多變的氣候，進(jìn)而指導(dǎo)企業(yè)、組織和國(guó)家預(yù)見(jiàn)到前所未有的極端天氣風(fēng)險(xiǎn)以減弱其影響。

本系列文章聚焦專為 AI 模型訓(xùn)練和推理而設(shè)計(jì)的 NVIDIA Earth-2 工具套件，將重點(diǎn)介紹如何使用生成式 AI 降尺度。

“降尺度”與圖像處理中的“超分辨率”概念類似，指需要將低分辨率的輸入數(shù)據(jù)生成更高分辨率的數(shù)據(jù)或預(yù)測(cè)。接下來(lái)我們將探討“降尺度”用于公里尺度（km-scale）天氣預(yù)測(cè)的生成式 AI，包括從訓(xùn)練全球 AI 天氣模型到推理和生成公里尺度預(yù)測(cè)的各個(gè)方面。

最后，本系列文章將重點(diǎn)介紹推動(dòng)這場(chǎng)地球數(shù)字孿生變革的軟件工具，助推生成式 AI 技術(shù)和 Earth-2 AI 工具的應(yīng)用，以實(shí)現(xiàn)準(zhǔn)確且具成本效益的天氣預(yù)報(bào)。

公里尺度天氣預(yù)報(bào)

滿足對(duì)成本效益的需求

NVIDIA Earth-2 AI 技術(shù)的發(fā)展引發(fā)了氣候模擬格局的巨大變化，獲取天氣和氣候信息已經(jīng)變得更加普及化。

Earth-2 將促進(jìn)具有前瞻性的決策制定，指導(dǎo)企業(yè)、組織和國(guó)家探究假設(shè)情景，預(yù)測(cè)前所未有的天氣狀況，以助于產(chǎn)出具有可執(zhí)行性的結(jié)果，內(nèi)容涵蓋政策制定、城市發(fā)展和基礎(chǔ)設(shè)施規(guī)劃。

為了準(zhǔn)確預(yù)測(cè)即將發(fā)生的天氣災(zāi)害，就需要在公里尺度分辨率上進(jìn)行成本高昂的模擬。預(yù)測(cè)未來(lái)的氣候?yàn)?zāi)害亦是如此。

如果使用傳統(tǒng)的模擬方法來(lái)達(dá)到公里尺度，會(huì)使模型變得過(guò)于龐大、復(fù)雜且計(jì)算成本高昂。此外，天氣和氣候是本身就具有不確定性的混沌系統(tǒng)，需要大量預(yù)測(cè)數(shù)據(jù)（稱為“集合”）來(lái)預(yù)測(cè)未來(lái)結(jié)果的發(fā)生概率。

模擬分辨率與集合規(guī)模不可兼得，這就限制了供規(guī)劃參考的災(zāi)害采樣范圍。然而，隨機(jī) AI 降尺度模型提供了一個(gè)具有成本效益的解決方案。

作為 Earth-2 平臺(tái)的核心，NVIDIA 提供了一種基于生成式 AI 和擴(kuò)散模型的方法—— CorrDiff，該方法分為兩步，用于對(duì)天氣數(shù)據(jù)進(jìn)行高保真降尺度處理。

利用 CorrDiff 預(yù)測(cè)精細(xì)尺度天氣細(xì)節(jié)

CorrDiff 由 NVIDIA 前沿的研發(fā)技術(shù)團(tuán)隊(duì)開(kāi)發(fā)，它引入了一種校正器擴(kuò)散模型方法，有望重新定義公里尺度分辨率的天氣預(yù)測(cè)。

作為 Earth-2 平臺(tái)的核心，CorrDiff 利用生成式學(xué)習(xí)的強(qiáng)大功能，以前所未有的準(zhǔn)確性和效率來(lái)應(yīng)對(duì)預(yù)測(cè)極端天氣現(xiàn)象精細(xì)尺度細(xì)節(jié)時(shí)所面臨的挑戰(zhàn)。

CorrDiff 方法能夠有效地將生成式學(xué)習(xí)分隔成較短的長(zhǎng)度尺度，從而熟練預(yù)測(cè)極端天氣現(xiàn)象的精細(xì)尺度細(xì)節(jié)。例如，從初始的 25 公里預(yù)報(bào)分辨率精細(xì)至 2 公里分辨率。

關(guān)鍵的難題在于如何預(yù)測(cè)低分辨率預(yù)報(bào)中缺失的細(xì)節(jié)，使其更加準(zhǔn)確和詳細(xì)、接近更高分辨率的數(shù)據(jù)，并包含極端天氣的連貫空間結(jié)構(gòu)。

CorrDiff 的運(yùn)行主要分為兩個(gè)步驟。首先，回歸模型預(yù)測(cè)高分辨率場(chǎng)的平均值。然后在第二步中，CorrDiff 通過(guò)添加初始預(yù)測(cè)中未捕捉到的缺失細(xì)節(jié)完善預(yù)測(cè)，從而使其更加符合現(xiàn)實(shí)情況。

最重要的是，由于這是一種生成式 AI 方法，CorrDiff 可以合成低分辨率輸入數(shù)據(jù)中不存在的、新的高分辨率場(chǎng)。擴(kuò)散模型固有的隨機(jī)取樣功能還能生成與單個(gè)低分辨率輸入相對(duì)應(yīng)的、多種可能的高分辨率狀態(tài)，從而提供結(jié)果分布和不確定性度量。

CorrDiff 背后的理念是：相較于直接從頭學(xué)習(xí)高分辨率細(xì)節(jié)，學(xué)習(xí)改進(jìn)初始預(yù)測(cè)所需的修正更容易。通過(guò)將問(wèn)題分解為回歸和擴(kuò)散兩步驟，CorrDiff 可以有效利用低分辨率預(yù)報(bào)中的可用信息，生成更準(zhǔn)確、更詳細(xì)的高分辨率預(yù)測(cè)。

總之，CorrDiff 提供了一種提高天氣預(yù)報(bào)分辨率、合成新變量和提供狀態(tài)集合的實(shí)用方法。它通過(guò)利用現(xiàn)有的低分辨率數(shù)據(jù)和模型，能夠?yàn)樘囟ǖ貐^(qū)（后續(xù)內(nèi)容中將以臺(tái)灣為例展開(kāi)介紹）生成更加詳細(xì)、準(zhǔn)確的預(yù)測(cè)。與傳統(tǒng)方法相比，CorrDiff 的速度和能效都提升了幾個(gè)數(shù)量級(jí)，其出色的效率更凸顯了該方法的實(shí)用性。

CorrDiff 還能合成輸入向量中可能不存在、但被假設(shè)為與輸入相關(guān)的輸出結(jié)果。這意味著擁有專有數(shù)據(jù)集的用戶可以針對(duì)自己的用例訓(xùn)練出相當(dāng)于 CorrDiff 的定制模型，從而提高 CorrDiff 在不同數(shù)據(jù)集和場(chǎng)景中的適用性和實(shí)用性。

審核編輯：劉清