ChatGPT“狂飆”之路背后的存儲挑戰(zhàn)

ChatGPT從2022年11月問世至今，憑借著“上知天文，下知地理”的智能表現(xiàn)火速出圈，在內(nèi)容生成、搜索引擎優(yōu)化、編程協(xié)助、智能客服等領(lǐng)域展現(xiàn)出的巨大潛力，甚至引發(fā)了AI領(lǐng)域的新一輪技術(shù)升級與產(chǎn)業(yè)重構(gòu)，國內(nèi)外科技企業(yè)也紛紛加入這場人工智能的競賽。

就在不久前，北京市經(jīng)濟(jì)和信息化局發(fā)布的《2022年北京人工智能產(chǎn)業(yè)發(fā)展白皮書》中明確提出“支持頭部企業(yè)打造對標(biāo)ChatGPT的大模型，著力構(gòu)建開源框架和通用大模型的應(yīng)用生態(tài)。加強(qiáng)人工智能算力基礎(chǔ)設(shè)施布局。加速人工智能基礎(chǔ)數(shù)據(jù)供給?！?/p>

一場全球化、全領(lǐng)域的AI新浪潮已經(jīng)來臨。

ChatGPT“狂飆”之路背后的存儲挑戰(zhàn)

ChatGPT是由美國人工智能研究實(shí)驗(yàn)室OpenAI發(fā)布的一款生成式人工智能聊天機(jī)器人，是由人工智能技術(shù)驅(qū)動的自然語言處理工具，它能夠通過學(xué)習(xí)和理解人類的語言來進(jìn)行對話，還能根據(jù)聊天的上下文進(jìn)行互動，真正像人類一樣來聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼，寫論文等任務(wù)。

ChatGPT使用的是GPT-3技術(shù)，即第三代生成式預(yù)訓(xùn)練Transformer (Generative Pretrained Transformer 3)，這是一種自回歸語言模型，所采用的數(shù)據(jù)量多達(dá)上萬億，主要使用的是公共爬蟲數(shù)據(jù)集和有著超過萬億單詞的人類語言數(shù)據(jù)集，對應(yīng)的模型參數(shù)量也達(dá)到1,750億。

GPT-3.5則是GPT-3微調(diào)優(yōu)化后的版本，比后者更強(qiáng)大。ChatGPT正是由GPT-3.5架構(gòu)的大型語言模型(LLM)所支持的，使ChatGPT能夠響應(yīng)用戶的請求，做出“類似人類的反應(yīng)”。在此背后是參數(shù)量和訓(xùn)練樣本量的增加，據(jù)了解，GPT-3.5包含超過1746億個參數(shù)，預(yù)估訓(xùn)練一次ChatGPT至少需要約3640 PFlop/s-day的算力(即1PetaFLOP/s效率跑3640天)。

ChatGPT“無所不知”的背后除了考驗(yàn)算力成本外，對數(shù)據(jù)存儲在速度、功耗、容量、可靠性等層面也提出了更高要求。

ChatGPT每個訓(xùn)練步驟對存儲都有著嚴(yán)苛的要求：

①數(shù)據(jù)獲取…

因?yàn)镃hatGPT的訓(xùn)練需要大量的文本數(shù)據(jù)，所以需要先準(zhǔn)備一個大規(guī)模的語料庫。語料庫可以來自各種渠道，例如維基百科、新聞網(wǎng)站、社交媒體等，并進(jìn)行一定的預(yù)處理，例如去除特殊字符、分詞、轉(zhuǎn)換成小寫等。為了縮短收集數(shù)據(jù)進(jìn)行分析所需的時間，需要同時從各渠道進(jìn)行采集，該階段的重點(diǎn)在持續(xù)寫入，定期進(jìn)行容量存儲的非易失性寫入，AI獲取的I/O配置文件通常是100%的順序?qū)懭搿?/p>

②數(shù)據(jù)整理…

由于從各種渠道收集到的數(shù)據(jù)結(jié)構(gòu)多種多樣，因此需要對獲取的數(shù)據(jù)進(jìn)行整理后再進(jìn)行訓(xùn)練，例如對不完整的數(shù)據(jù)進(jìn)行修復(fù)。針對不同屬性的數(shù)據(jù)，例如用于面部識別的圖像，必須進(jìn)行歸一化；非結(jié)構(gòu)化數(shù)據(jù)需要進(jìn)行標(biāo)記和注釋，便于深度學(xué)習(xí)算法的訓(xùn)練，進(jìn)而增強(qiáng)算法。最后將來源于不同渠道的數(shù)據(jù)進(jìn)行合并，并轉(zhuǎn)換為目標(biāo)格式。

這是一個不斷迭代的過程，也是具有高度并發(fā)性的混合工作負(fù)載過程，因?yàn)樾枰x寫不同數(shù)量的數(shù)據(jù)，包括隨機(jī)和順序讀寫。讀寫比將根據(jù)攝入數(shù)據(jù)的準(zhǔn)確性和達(dá)到目標(biāo)格式所需的轉(zhuǎn)換程度而變化，極端情況下的工作負(fù)載可以接近50%的寫入，擁有高吞吐量、低延遲以及高QoS的存儲設(shè)備是減少數(shù)據(jù)整理時間的關(guān)鍵。

③訓(xùn)練…

ChatGPT的訓(xùn)練使用了自監(jiān)督學(xué)習(xí)（Self-supervised learning）的方法，即根據(jù)文本數(shù)據(jù)中的上下文關(guān)系來預(yù)測下一個單詞或字符。在訓(xùn)練過程中，ChatGPT 使用了基于梯度下降的優(yōu)化算法來調(diào)整模型參數(shù)，使得模型的預(yù)測結(jié)果更加接近實(shí)際結(jié)果。

這個階段非常耗費(fèi)資源，因?yàn)樯婕暗綇幕跀?shù)據(jù)的預(yù)測到強(qiáng)化學(xué)習(xí)，再到神經(jīng)網(wǎng)絡(luò)和基于運(yùn)動模型的預(yù)測一系列重復(fù)的步驟，并不斷調(diào)節(jié)超參數(shù)與優(yōu)化模型性能。大多使用的是隨機(jī)讀取和一些寫入用于檢查點(diǎn)設(shè)置，因此維持超快、高帶寬隨機(jī)讀取的存儲設(shè)備更有利于訓(xùn)練，更快的讀取可以使有價值的訓(xùn)練資源得到快速利用，而隨機(jī)性有助于提高模型的準(zhǔn)確性。在此階段，減少I/O等待時間至關(guān)重要。

④推理…

訓(xùn)練結(jié)束后，將訓(xùn)練好的模型執(zhí)行推理，觀察并使用新的數(shù)據(jù)驗(yàn)證推理結(jié)果是否符合預(yù)期。在推理階段同樣也需要大量讀取和具有極低響應(yīng)時間的高性能存儲。推理可以部署在數(shù)據(jù)中心或邊緣設(shè)備中，實(shí)時邊緣部署不僅需要快速將已訓(xùn)練好的模型讀入推理，還需要快速寫入攝取的數(shù)據(jù)以進(jìn)行實(shí)時決策。隨著更多邊緣部署采用強(qiáng)化學(xué)習(xí)，對存儲設(shè)備性能的要求將更高。

AI浪潮之下，憶聯(lián)SSD能做什么

面對AI應(yīng)用更嚴(yán)苛的存儲要求，憶聯(lián)UH711a作為一款數(shù)據(jù)中心級SSD，憑借在各方面出色的性能表現(xiàn)可應(yīng)用在AI業(yè)務(wù)中的各個階段。

全場景調(diào)優(yōu)，助推AI應(yīng)用落地…

UH711a面向數(shù)據(jù)中心級的讀密集場景、混合場景、寫密集場景等業(yè)務(wù)場景和各類IO pattern，可提供全面的性能、功耗調(diào)優(yōu)。尤其在數(shù)據(jù)庫、塊存儲、對象存儲、海量存儲等對隨機(jī)IOPS性能高要求場景下UH711a的性能顯著。在與國內(nèi)某互聯(lián)網(wǎng)客戶數(shù)據(jù)中心的合作中，通過使用憶聯(lián)UH711a，在混合讀寫滿負(fù)載業(yè)務(wù)場景下，存儲集群能耗比提升了12.5%。

尤其在隨機(jī)讀寫4K性能指標(biāo)上，可提供更優(yōu)的SSD能耗比，能滿足AI業(yè)務(wù)中高吞吐量的需求，使其可以更快地收集更多的數(shù)據(jù)，縮短從數(shù)據(jù)中獲取反饋的時間。如下圖所示，UH711a在數(shù)據(jù)中心業(yè)務(wù)隨機(jī)4K場景下IOPS per Watt 相比友商可提升42%。在數(shù)據(jù)中心級應(yīng)用場景中可獲得12.5%的IOPS per Watt收益。

各類場景下的IOPS per Watt測試對比

SR-IOV技術(shù)加持，降本增效顯著…

因SR-IOV技術(shù)可提供更好的密度性能、隔離性和安全性，目前已被數(shù)據(jù)中心廣泛采用。在面向AI應(yīng)用進(jìn)行部署與邏輯較為復(fù)雜的場景時，SR-IOV可為用戶提供安全、優(yōu)質(zhì)的AI計(jì)算資源。UH711a 通過使能SR-IOV技術(shù)優(yōu)化云業(yè)務(wù)虛擬機(jī)場景，相比SPDK方案優(yōu)勢顯著。憶聯(lián)采用的SR-IOV 2.0優(yōu)化了各VF的性能隔離調(diào)度邏輯，使各VF間的性能隔離度更好，在純讀純寫場景下從原來的5%波動降低到3%；混合場景業(yè)務(wù)的波動從部分場景10%的波動優(yōu)化到5%以內(nèi)。

此外，UH711a基于QOS保障的SR-IOV特性，在虛擬化AI場景，配合NVIDIA GPU Directed Storage場景下提供高達(dá)7GBps、170M IOPS訪問能力，同時節(jié)約CPU算力10%，可減輕AI業(yè)務(wù)因數(shù)據(jù)持續(xù)增長的算力壓力。

例：

一臺12盤位服務(wù)器(128vCPU Core)使用憶聯(lián)SR-IOV特性，每片盤可節(jié)省2個vCPU Core(累計(jì)節(jié)省24vCPU Core)；CPU價格按40$來計(jì)算，單臺服務(wù)器可節(jié)約CPU算力18.5%，釋放的CPU算力可額外提供存儲租用服務(wù)12個（24vCPU core / 2個vcpu綁定一個虛擬盤 ）。

支持DIF特性，保障數(shù)據(jù)的可靠性…

在機(jī)器學(xué)習(xí)中，若數(shù)據(jù)發(fā)生錯誤，研發(fā)人員可能花費(fèi)大量時間進(jìn)行查錯，拉高時間成本的同時也會影響數(shù)據(jù)集的質(zhì)量，更有可能出現(xiàn)模型精度降低的風(fēng)險(xiǎn)。憶聯(lián)UH711a可支持DIF特性，能提升全鏈路數(shù)據(jù)保護(hù)能力。不僅與系統(tǒng)配合，實(shí)現(xiàn)端到端的保護(hù)，更能夠在盤內(nèi)實(shí)現(xiàn)獨(dú)立的端到端保護(hù)機(jī)制，確保盤內(nèi)整個通路的數(shù)據(jù)安全，從而為AI業(yè)務(wù)中多種極端場景下的正常運(yùn)維提供雙重保護(hù)。

憶聯(lián)UH711a還支持多種DIF配置，512+8、4K+8、4K+64，支持從應(yīng)用到Flash的端到端數(shù)據(jù)保護(hù)，并能有效杜絕data replacement故障發(fā)生的可能，保障數(shù)據(jù)的完整性，助力AI模型的訓(xùn)練與推理能順利完成。

優(yōu)異的QoS，提升用戶體驗(yàn)…

憶聯(lián)UH711a采用了One Time Read技術(shù)，即結(jié)合介質(zhì)分組管理、最優(yōu)讀電壓實(shí)時追蹤技術(shù)，對每個IO進(jìn)行最優(yōu)應(yīng)答策略設(shè)計(jì)?？稍鰪?qiáng)盤片的QoS競爭力，99.9% IO讀一次成功，延時小于350us，能縮短在AI訓(xùn)練與推理時的實(shí)時決策時間，并提升盤片QoS能力與延長End of Life。

在前臺最優(yōu)響應(yīng)用戶IO：

·以IO PPN信息，查詢最優(yōu)電壓分組管理表；

·同時獲取介質(zhì)狀態(tài)信息（Open Close Affected WL等）；

·根據(jù)介質(zhì)狀態(tài)和分組表記錄最優(yōu)電壓，采用預(yù)先設(shè)計(jì)的最優(yōu)應(yīng)答策略讀取數(shù)據(jù)，最大程度縮短每個IO的響應(yīng)延時。

在后臺進(jìn)行智能維護(hù)：

·依據(jù)大數(shù)據(jù)分析，對介質(zhì)進(jìn)行智能分組管理；

·關(guān)鍵事件觸發(fā)，對介質(zhì)狀態(tài)進(jìn)行更新維護(hù)；

·根據(jù)介質(zhì)狀態(tài)、實(shí)時巡檢，依托最優(yōu)電壓跟蹤IP，對電壓分組管理表進(jìn)行更新，保障電壓準(zhǔn)確度。

面向未來，憶聯(lián)推動數(shù)據(jù)存儲再進(jìn)化

據(jù)報(bào)道，OpenAI已建立了一個比ChatGPT更先進(jìn)的大型語言模型GPT-4，更有傳聞稱其可以通過圖靈測試，這意味人工智能將再次邁向新的臺階。憶聯(lián)作為科技浪潮中的一員將堅(jiān)持以創(chuàng)新為驅(qū)動，為人工智能的部署與優(yōu)化提速。

產(chǎn)品層面：針對AI業(yè)務(wù)場景及IO pattern，對SSD的高穩(wěn)態(tài)性能、虛擬化與高能耗提出的更高需求，憶聯(lián)將積極研發(fā)更具創(chuàng)新力與更高性能的存儲產(chǎn)品，從產(chǎn)品形態(tài)、性能、深度定制化特性等多維度豐富產(chǎn)品矩陣。

解決方案層面：聯(lián)合上下游伙伴探索先進(jìn)技術(shù)，面向云計(jì)算、數(shù)據(jù)中心、服務(wù)器、運(yùn)營商等關(guān)鍵行業(yè)打造場景化的存儲解決方案，并積極推動產(chǎn)品與基礎(chǔ)軟硬件的兼容適配，加快人工智能部署升級。

審核編輯 ：李倩