Nemotron-4 340B 是針對(duì) NVIDIA NeMo 和 NVIDIA TensorRT-LLM 優(yōu)化的模型系列,該系列包含最先進(jìn)的指導(dǎo)和獎(jiǎng)勵(lì)模型,以及一個(gè)用于生成式 AI 訓(xùn)練的數(shù)據(jù)集。
NVIDIA 于近日發(fā)布Nemotron-4 340B。開發(fā)者可以使用這組開源模型生成用于訓(xùn)練大語言模型(LLM)的合成數(shù)據(jù),訓(xùn)練出的 LLM 可用于醫(yī)療、金融、制造、零售等各個(gè)行業(yè)的商業(yè)應(yīng)用。
高質(zhì)量的訓(xùn)練數(shù)據(jù)對(duì)于自定義 LLM 的性能、準(zhǔn)確性和回答質(zhì)量來說至關(guān)重要,但強(qiáng)大的數(shù)據(jù)集通常非常昂貴且難以獲得。
通過獨(dú)樹一幟的開源模型許可證,Nemotron-4 340B 為開發(fā)者提供了一種免費(fèi)、可擴(kuò)展的合成數(shù)據(jù)生成方法,幫助他們構(gòu)建強(qiáng)大的 LLM。
Nemotron-4 340B 系列包含基礎(chǔ)模型、指導(dǎo)模型和獎(jiǎng)勵(lì)模型,由它們組成的流水線能夠生成用于訓(xùn)練和完善 LLM 的合成數(shù)據(jù)。為了能夠與NVIDIA NeMo協(xié)同工作,這些模型專門進(jìn)行了優(yōu)化。NVIDIA NeMo 是一個(gè)適用于端到端模型訓(xùn)練的開源框架,涵蓋數(shù)據(jù)管護(hù)、定制、評(píng)估等步驟。該系列模型還針對(duì)開源NVIDIA TensorRT-LLM庫(kù)的推理進(jìn)行了優(yōu)化。
Nemotron-4 340B 現(xiàn)已可以從NVIDIA NGC目錄和 Hugging Face 下載。開發(fā)者很快就能在 ai.nvidia.com 上訪問這些模型,它們將被打包成帶有標(biāo)準(zhǔn)應(yīng)用編程接口的NVIDIA NIM微服務(wù),可在任意位置進(jìn)行部署。
將 Nemotron 用于生成合成數(shù)據(jù)
在難以獲得大型多樣化標(biāo)記數(shù)據(jù)集的情況下,這些 LLM 可以幫助開發(fā)者生成合成訓(xùn)練數(shù)據(jù)。
Nemotron-4 340B Instruct模型可生成各種模擬現(xiàn)實(shí)世界數(shù)據(jù)特征的合成數(shù)據(jù),通過提高數(shù)據(jù)質(zhì)量,增強(qiáng)自定義 LLM 在各個(gè)領(lǐng)域的性能和穩(wěn)健性。
隨后,為了提高 AI 生成數(shù)據(jù)的質(zhì)量,開發(fā)者可以使用Nemotron-4 340B Reward模型來篩選高質(zhì)量的回答。Nemotron-4 340B Reward 模型根據(jù)五個(gè)方面對(duì)回答進(jìn)行評(píng)分,這五個(gè)方面分別是:有用性、正確性、連貫性、復(fù)雜性和冗長(zhǎng)性。該模型目前在 AI2 專為評(píng)估獎(jiǎng)勵(lì)模型能力、安全性和缺陷而創(chuàng)建的“Hugging Face RewardBench 排行榜”上排名第一。
在這個(gè)合成數(shù)據(jù)生成流水線中,(1)Nemotron-4 340B Instruct 模型首先生成基于文本的合成輸出。然后來到評(píng)估模型,
(2)Nemotron-4 340B Reward 模型對(duì)生成的文本進(jìn)行評(píng)估,并提供指導(dǎo)反復(fù)改進(jìn)的反饋,確保合成數(shù)據(jù)準(zhǔn)確、相關(guān)且符合特定要求。
研究者還可以使用自己的專有數(shù)據(jù),并結(jié)合隨附的HelpSteer2 數(shù)據(jù)集自定義 Nemotron-4 340B Base 模型,創(chuàng)造出自己的指導(dǎo)或獎(jiǎng)勵(lì)模型。
使用 NeMo 進(jìn)行微調(diào)
并使用 TensorRT-LLM 優(yōu)化推理
開發(fā)者可以使用開源的 NVIDIA NeMo 和 NVIDIA TensorRT-LLM 提高其指導(dǎo)和獎(jiǎng)勵(lì)模型的效率,以便生成合成數(shù)據(jù)并對(duì)回答進(jìn)行評(píng)分。
所有 Nemotron-4 340B 模型均使用 TensorRT-LLM 優(yōu)化,能夠利用張量并行性,這是一種模型并行技術(shù),通過將單個(gè)權(quán)重矩陣分割到多個(gè) GPU 和服務(wù)器上,實(shí)現(xiàn)大規(guī)模的高效推理。
Nemotron-4 340B Base在 9 萬億個(gè) token 上訓(xùn)練而成。可使用 NeMo 框架對(duì)它進(jìn)行自定義,使其適應(yīng)特定的用例或領(lǐng)域。這一微調(diào)過程得益于大量的預(yù)訓(xùn)練數(shù)據(jù),使模型能夠針對(duì)特定的下游任務(wù)提供更加準(zhǔn)確的輸出。
NeMo 框架提供多種自定義方法,包括有監(jiān)督的微調(diào)和各種參數(shù)高效微調(diào)方法,比如低秩自適應(yīng)(LoRA)。
為了提升模型質(zhì)量,開發(fā)者可以使用NeMo Aligner以及由 Nemotron-4 340B Reward 模型注釋的數(shù)據(jù)集對(duì)齊模型。校準(zhǔn)是 LLM 訓(xùn)練過程中的一個(gè)關(guān)鍵步驟。在該步驟中,模型的行為通過人類反饋強(qiáng)化學(xué)習(xí)(RLHF)等算法進(jìn)行微調(diào),以保證其輸出結(jié)果安全、準(zhǔn)確、符合上下文并與其預(yù)期目標(biāo)一致。
尋求企業(yè)級(jí)支持和生產(chǎn)環(huán)境安全性的企業(yè)也可以通過NVIDIA AI Enterprise云原生軟件平臺(tái)訪問 NeMo 和 TensorRT-LLM。該平臺(tái)為生成式 AI 基礎(chǔ)模型提供更加快速和高效的運(yùn)行時(shí)。
評(píng)估模型安全性并開始使用
Nemotron-4 340B Instruct 模型經(jīng)過包括對(duì)抗測(cè)試在內(nèi)的大量安全性評(píng)估,其各項(xiàng)風(fēng)險(xiǎn)指標(biāo)均表現(xiàn)良好。但用戶仍應(yīng)對(duì)該模型的輸出結(jié)果進(jìn)行仔細(xì)評(píng)估,確保合成生成的數(shù)據(jù)適合且安全而準(zhǔn)確地用于自己的用例。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4814瀏覽量
102629 -
模型
+關(guān)注
關(guān)注
1文章
3054瀏覽量
48569 -
LLM
+關(guān)注
關(guān)注
0文章
252瀏覽量
285
原文標(biāo)題:NVIDIA 發(fā)布適用于訓(xùn)練大語言模型的開源合成數(shù)據(jù)生成流水線
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論