聯(lián)合學(xué)習(xí)使得跨企業(yè)管理復(fù)雜的人工智能工作流更加容易

在工作流程中利用人工智能的企業(yè)面臨的主要挑戰(zhàn)之一是管理支持大規(guī)模培訓(xùn)和部署機(jī)器學(xué)習(xí)（ ML ）模型所需的基礎(chǔ)設(shè)施。為此，NVIDIA FLARE平臺(tái)提供了一個(gè)解決方案：聯(lián)合學(xué)習(xí)，使得跨企業(yè)管理復(fù)雜的人工智能工作流變得更加容易。

NVIDIA FLARE 2.3.0 是 NVIDIA 聯(lián)合學(xué)習(xí)平臺(tái)的最新版本，其中包含了令人興奮的新功能和增強(qiáng)功能，如：

使用基礎(chǔ)設(shè)施作為代碼的多云支持（ IaC ）

自然語(yǔ)言處理（ NLP ）示例，包括 BERT 和 GPT-2

用于分離數(shù)據(jù)和標(biāo)簽的拆分學(xué)習(xí)

這篇文章詳細(xì)介紹了這些功能，并探討了它們?nèi)绾螏椭慕M織提升人工智能工作流程，并通過(guò)機(jī)器學(xué)習(xí)獲得更好的結(jié)果。

多云部署

有了這個(gè)版本，您現(xiàn)在可以使用 IaC 無(wú)縫管理您的多云基礎(chǔ)設(shè)施，利用不同云提供商的優(yōu)勢(shì)，并分配您的工作負(fù)載以提高效率和可靠性。 IaC 使您能夠自動(dòng)化基礎(chǔ)設(shè)施的管理和部署，從而節(jié)省時(shí)間并降低人為錯(cuò)誤的風(fēng)險(xiǎn)。 NVIDIA FLARE 2.3.0 支持在 Microsoft Azure 和 AWS 云上進(jìn)行自動(dòng)部署。

要在云中部署 NVIDIA FLARE，請(qǐng)使用 NVIDIA FLARE CLI 命令創(chuàng)建基礎(chǔ)結(jié)構(gòu)、部署和啟動(dòng) Dashboard UI、FL Server 和 FL Client。要在云中創(chuàng)建和部署 NVIDIA FLARE，請(qǐng)按照NVIDIA FLARE 啟動(dòng)套件，由 NVIDIA FLARE 資源調(diào)配過(guò)程生成并分發(fā)給服務(wù)器和客戶(hù)端的簽名軟件包。

/start.sh --cloud azure | aws
/start.sh --cloud azure | aws

nvflare dashboard --cloud azure | aws

這些命令將創(chuàng)建資源組、網(wǎng)絡(luò)、安全、計(jì)算運(yùn)行時(shí)實(shí)例等（作為代碼的基礎(chǔ)結(jié)構(gòu)），并將 NVIDIA FLARE 客戶(hù)端或服務(wù)器部署到新創(chuàng)建的虛擬機(jī)（ VM ）。每個(gè)啟動(dòng)工具包都包含可獨(dú)立部署的 FLARE 服務(wù)器或客戶(hù)端的唯一配置。這讓用戶(hù)可以靈活地在 prem 或混合云服務(wù)提供商（例如 AWS 上的服務(wù)器以及 Azure 和/或 AWS 上的客戶(hù)端）上進(jìn)行部署，以實(shí)現(xiàn)簡(jiǎn)單的混合多云配置。

圖 1 。用于設(shè)置多云部署的 NVIDIA FLARE 單行 CLI 命令

LLM 和聯(lián)合學(xué)習(xí)

Large language models（LLM）正在開(kāi)啟多個(gè)行業(yè)的新可能性，比如醫(yī)療保健中的藥物發(fā)現(xiàn)。要了解更多詳情，請(qǐng)參見(jiàn)NVIDIA BioNeMo Service 建立生成式 AI 管道以進(jìn)行藥物發(fā)現(xiàn)。

在 LLM 培訓(xùn)中利用聯(lián)合學(xué)習(xí)有許多好處，包括：

保護(hù)數(shù)據(jù)隱私：模型可以在數(shù)據(jù)不離開(kāi)前提的情況下進(jìn)行訓(xùn)練。即使在同一個(gè)組織中，數(shù)據(jù)位于世界不同地區(qū)的不同部門(mén)，這一點(diǎn)也可能很重要。例如，考慮到不同的國(guó)家隱私法，可能不可能將存儲(chǔ)在歐洲和中國(guó)的數(shù)據(jù)復(fù)制到一個(gè)集中的數(shù)據(jù)湖中。

避免數(shù)據(jù)移動(dòng)：即使不關(guān)心隱私，將大量數(shù)據(jù)從一個(gè)位置復(fù)制到另一個(gè)位置也需要時(shí)間和金錢(qián)。

利用數(shù)據(jù)多樣性：當(dāng)不同的站點(diǎn)具有不同類(lèi)型的數(shù)據(jù)時(shí)，通過(guò)聯(lián)合學(xué)習(xí)訓(xùn)練模型可以利用這種數(shù)據(jù)多樣性來(lái)改進(jìn)全局模型。

實(shí)現(xiàn)任務(wù)多樣性：具有各種任務(wù)的培訓(xùn)模式可以促進(jìn)?模型性能。這也可以通過(guò)聯(lián)合學(xué)習(xí)來(lái)實(shí)現(xiàn)。

計(jì)算成本分布：培訓(xùn) LLM 需要大量資源，而且成本可能很高。要找到一個(gè)擁有足夠計(jì)算資源的機(jī)構(gòu)來(lái)完成這項(xiàng)任務(wù)是很有挑戰(zhàn)性的。通過(guò)聯(lián)合學(xué)習(xí)，可以利用來(lái)自多個(gè)位置的計(jì)算資源來(lái)訓(xùn)練所有參與者共享的模型。

訓(xùn)練并行性：聯(lián)合學(xué)習(xí)通過(guò)橫向數(shù)據(jù)拆分和將模型的不同層拆分到不同位置，實(shí)現(xiàn)了模型訓(xùn)練的數(shù)據(jù)和模型并行性。

為了說(shuō)明這些功能，NVIDIA FLARE 2.3.0 引入了帶有 GPT-2（Generative Pretrained transformer 2）和 BERT（Bidirectional Encoder Representations from transformers）模型的 NLP 命名實(shí)體識(shí)別（NER）示例。要了解更多詳情，請(qǐng)?jiān)L問(wèn) GitHub 上的 NVIDIA/NVFlare。參數(shù)高效調(diào)優(yōu)和相關(guān)工作正在進(jìn)行中，為未來(lái)的版本提供更多 LLM 模型示例。

聯(lián)邦 NLP

NVIDIA FLARE 能夠支持具有不同主干模型的各種 NLP 任務(wù)，例如 NER 、文本分類(lèi)和語(yǔ)言生成。

本次發(fā)布的重點(diǎn)是使用 NCBI 疾病數(shù)據(jù)集進(jìn)行命名實(shí)體識(shí)別（NER）應(yīng)用，該數(shù)據(jù)集包含生物醫(yī)學(xué)研究論文的摘要，并附有疾病提及，通常用于生物醫(yī)學(xué)領(lǐng)域的 NER 模型的基準(zhǔn)測(cè)試。更多詳情，請(qǐng)參閱NCBI 疾病語(yǔ)料庫(kù)：疾病名稱(chēng)識(shí)別和概念歸一化的資源。

NER 的任務(wù)包括識(shí)別文本中的命名實(shí)體，并將其分類(lèi)到預(yù)定義的類(lèi)別中。在 NCBI 疾病數(shù)據(jù)集的情況下，目標(biāo)是識(shí)別和捕獲疾病提及。

為了解決 NER 任務(wù)， NVIDIA FLARE 示例探討了兩種流行型號(hào) BERT 和 GPT-2 的使用。 BERT 是一種基于預(yù)訓(xùn)練 transformer 的模型，廣泛用于各種 NLP 任務(wù)，包括 NER 。 GPT-2 是另一個(gè)基于 transformer 的模型，主要用于語(yǔ)言生成，但也可以針對(duì) NER 進(jìn)行微調(diào)。

BERT 基本無(wú)上限模型和 GPT-2 模型分別有 1 . 1 億個(gè)和 1 . 24 億個(gè)參數(shù)。模型中參數(shù)的數(shù)量是其大小和復(fù)雜性的指示。具有更多參數(shù)的較大模型往往會(huì)學(xué)習(xí)數(shù)據(jù)中更復(fù)雜的關(guān)系。然而，與較小的模型相比，它們也需要更多的計(jì)算資源和更長(zhǎng)的訓(xùn)練時(shí)間。

即將發(fā)布的版本將包括對(duì)更大的十億參數(shù)模型和其他任務(wù)的支持。

拆分學(xué)習(xí)

Split learning是一種技術(shù)，可以讓多方在各自的數(shù)據(jù)集上協(xié)作訓(xùn)練機(jī)器學(xué)習(xí)模型，而無(wú)需相互共享原始數(shù)據(jù)。該模型分為兩個(gè)或多個(gè)部分，每個(gè)部分都可以在其中一個(gè)參與方上運(yùn)行。

與傳統(tǒng)的 ML 方法相比，這種方法有幾個(gè)優(yōu)點(diǎn)，尤其是在數(shù)據(jù)隱私是主要問(wèn)題的情況下。與聯(lián)合學(xué)習(xí)一樣，分離學(xué)習(xí)從不在各方之間共享原始數(shù)據(jù)。這意味著敏感信息可以保密，同時(shí)使各方能夠獲得見(jiàn)解并從合作中受益。

NVIDIA FLARE 2.3.0 版本演示了一個(gè)分布式學(xué)習(xí)的示例，其中數(shù)據(jù)和標(biāo)簽可以分別存放在兩個(gè)不同的站點(diǎn)上。通過(guò)將模型的一部分放在一個(gè)站點(diǎn)上，并向另一個(gè)站點(diǎn)發(fā)送激活/嵌入以計(jì)算損失，可以實(shí)現(xiàn)數(shù)據(jù)和模型的保護(hù)。您可以在 CIFAR10 分割學(xué)習(xí)示例 中查看這項(xiàng)技術(shù)。

開(kāi)始使用 NVIDIA FLARE 2 . 3 . 0

NVIDIA FLARE 2.3.0 可以幫助您快速部署到多云環(huán)境中，探索 LLM 的 NLP 示例，并展示拆分學(xué)習(xí)功能。通過(guò)將這些功能融入工作流程，可以節(jié)省時(shí)間、提高準(zhǔn)確性、降低風(fēng)險(xiǎn)，從而促進(jìn)人工智能工作流程的實(shí)施。