Achronix Speedster7t FPGA與GPU解決方案的比較

編輯-這篇針對(duì)大模型推理跟GPU對(duì)比分析，雖然以Llama2為例，也適用于最新的Llama3，模型的日新月易也更進(jìn)一步說(shuō)明硬件平臺(tái)的可編程可擴(kuò)展的重要性，FPGA是其中一個(gè)不錯(cuò)的選擇。

將Achronix Speedster7t FPGA與GPU解決方案進(jìn)行比較，以運(yùn)行Llama2 70B參數(shù)模型并超越LLM推理處理需求。

提供 FPGA 加速的LLM 性能

在運(yùn)行 Llama2 70B 參數(shù)模型時(shí)，Speedster7tFPGA 如何與 GPU 解決方案相媲美？證據(jù)是令人信服的——AchronixSpeedster7t FPGA通過(guò)提供計(jì)算能力、內(nèi)存帶寬和卓越能效的最佳組合，在處理大型語(yǔ)言模型（LLM）方面表現(xiàn)出色，這是當(dāng)今LLM復(fù)雜需求的基本要求。

像 Llama2 這樣的LLM 的快速發(fā)展正在為自然語(yǔ)言處理 （NLP） 開(kāi)辟一條新路線，有望提供比以往任何時(shí)候都更像人類的交互和理解。這些復(fù)雜的LLM 是創(chuàng)新的催化劑，推動(dòng)了對(duì)先進(jìn)硬件解決方案的需求，以滿足其密集處理需求。

我們的基準(zhǔn)測(cè)試突出了 Speedster7t 系列處理 Llama2 70B 模型復(fù)雜性的能力，重點(diǎn)關(guān)注 FPGA 和 LLM 性能。這些測(cè)試（可根據(jù)要求提供結(jié)果）顯示了AchronixFPGA對(duì)于希望將LLM的強(qiáng)大功能用于其NLP應(yīng)用程序的開(kāi)發(fā)人員和企業(yè)的潛力。這些基準(zhǔn)測(cè)試展示了 Speedster7t FPGA 如何超越市場(chǎng)，提供無(wú)與倫比的性能，同時(shí)降低運(yùn)營(yíng)成本和環(huán)境影響。

Llama2 70B LLM 在 Speedster7t FPGA 上

2023 年 7 月，Microsoft和 Meta 推出了他們的開(kāi)源 LLM，Llama2 開(kāi)創(chuàng)了 AI 驅(qū)動(dòng)語(yǔ)言處理的新先例。Llama2采用多種配置設(shè)計(jì)，以滿足各種計(jì)算需求，包括 700 億、130億和 700 億個(gè)參數(shù)，使其處于 LLM 創(chuàng)新的最前沿。Achronix和我們的合作伙伴 Myrtle.ai 對(duì)700億參數(shù)的Llama2模型進(jìn)行了深入的基準(zhǔn)分析，展示了使用Speedster7tFPGA進(jìn)行LLM加速的優(yōu)勢(shì)。

基準(zhǔn)測(cè)試結(jié)果：Speedster7t FPGA 與業(yè)界領(lǐng)先的 GPU 對(duì)比

我們?cè)?Speedster7t FPGA 上測(cè)試了 Llama2 70B 模型的推理性能，并將其與領(lǐng)先的 GPU 進(jìn)行了比較。該基準(zhǔn)測(cè)試是通過(guò)對(duì)輸入、輸出序列長(zhǎng)度 （1,128） 和批處理大小=1 進(jìn)行建模來(lái)完成的。結(jié)果表明，Speedster7t AC7t1500在LLM處理中的有效性。

FPGA 成本基于由 Speedster7t FPGA 提供支持的 VectorPath 加速卡的標(biāo)價(jià)。同樣，我們?cè)诖朔治鲋惺褂昧丝杀菺PU卡的標(biāo)價(jià)。使用這些成本信息和每秒產(chǎn)生的輸出令牌數(shù)量，我們計(jì)算出基于 FPGA 的解決方案的$/token 提高了 200%。除了成本優(yōu)勢(shì)外，在比較FPGA 和 GPU 卡的相對(duì)功耗時(shí)，我們觀察到與基于 GPU的解決方案相比，產(chǎn)生的 kWh/token 提高了 200%。這些優(yōu)勢(shì)表明 FPGA 如何成為一種經(jīng)濟(jì)且能效高效的 LLM 解決方案。

面向 LLM 的FPGA：Speedster7t 的優(yōu)勢(shì)

Achronix Speedster7t系列FPGA旨在優(yōu)化LLM操作，平衡LLM硬件的關(guān)鍵要求，包括：

高性能計(jì)算 – 具有高性能計(jì)算能力的尖端硬件對(duì)于管理LLM 推理核心的復(fù)雜矩陣計(jì)算至關(guān)重要。

高帶寬內(nèi)存 – 高效的LLM 推理依賴于高帶寬內(nèi)存，通過(guò)模型的網(wǎng)絡(luò)參數(shù)快速饋送數(shù)據(jù)，而不會(huì)出現(xiàn)瓶頸。

擴(kuò)展和適應(yīng)能力 – 現(xiàn)代LLM 推理需要能夠隨著模型規(guī)模的增長(zhǎng)而擴(kuò)展并靈活適應(yīng) LLM 架構(gòu)的持續(xù)進(jìn)步的硬件。

高能效處理 – 可持續(xù)的LLM 推理需要硬件能夠最大限度地提高計(jì)算輸出，同時(shí)最大限度地降低能耗，從而降低運(yùn)營(yíng)成本和環(huán)境影響。

Speedster7t FPGA 提供以下功能，以應(yīng)對(duì)實(shí)施現(xiàn)代 LLM 處理解決方案的挑戰(zhàn)。

計(jì)算性能 – 通過(guò)其靈活的機(jī)器學(xué)習(xí)處理器（MLP） 模塊支持復(fù)雜的 LLM 任務(wù)。

高 GDDR6 DRAM 帶寬– 確保以 4 Tbps 的內(nèi)存帶寬快速處理大型 LLM 數(shù)據(jù)集。

大量的 GDDR6 DRAM 容量– 可容納 Llama2 等擴(kuò)展的 LLM，每個(gè) FPGA 的容量為 32 GB。

用于 LLM 的集成SRAM – 提供低延遲、高帶寬的存儲(chǔ)，具有 190 Mb 的SRAM，非常適合存儲(chǔ)激活和模型權(quán)重。

多種本機(jī)數(shù)字格式 – 適應(yīng)LLM 需求，支持塊浮點(diǎn) （BFP）、FP16、bfloat16 等。

高效的片上數(shù)據(jù)傳輸 – 2D NoC 超過(guò)20 Tbps，簡(jiǎn)化片上數(shù)據(jù)流量。

擴(kuò)展橫向擴(kuò)展帶寬 – 支持多達(dá)32個(gè)112 Gbps SerDes 滿足 LLM 需求，增強(qiáng)連接性。

自適應(yīng)邏輯級(jí)可編程性 – 使用690K 6 輸入 LUT 為 LLM 的快速發(fā)展做好準(zhǔn)備。

針對(duì) LLM 推理優(yōu)化的FPGA

在快速變化的人工智能和自然語(yǔ)言處理領(lǐng)域，使用 FPGA 而不是 GPU 來(lái)加速 LLM 是一個(gè)相當(dāng)新的想法。該基準(zhǔn)測(cè)試展示了設(shè)計(jì)人員如何從使用Achronix的FPGA技術(shù)中受益。Achronix Speedster7t系列FPGA是這一變化的關(guān)鍵技術(shù)，在高性能、高帶寬存儲(chǔ)器、易于擴(kuò)展和電源效率之間實(shí)現(xiàn)了出色的平衡。基于詳細(xì)的基準(zhǔn)分析，將Speedster7t FPGA 與領(lǐng)先的 GPU 在處理Llama2 70B 模型方面的能力進(jìn)行比較，結(jié)果表明 Speedster7t FPGA 能夠提供高水平的性能，同時(shí)大大降低運(yùn)營(yíng)成本和環(huán)境影響，突出了它在未來(lái) LLM 創(chuàng)建和使用中的重要作用。