FPGA如何實(shí)現(xiàn)FP16格式點(diǎn)積級(jí)聯(lián)運(yùn)算
通過(guò)使用Achronix Speedster7t FPGA中的機(jī)器學(xué)習(xí)加速器MLP72，開(kāi)發(fā)人員可以輕松選擇浮點(diǎn)/定點(diǎn)格式和多種位寬，或快速應(yīng)用塊浮點(diǎn)，并通過(guò)內(nèi)部級(jí)聯(lián)可以達(dá)到理想性能。
神經(jīng)網(wǎng)絡(luò)架構(gòu)中的核心之一就是卷積層，卷積的最基本操作就是點(diǎn)積。向量乘法的結(jié)果是向量的每個(gè)元素的總和相乘在一起，通常稱之為點(diǎn)積。此向量乘法如下所示：
圖1點(diǎn)積操作
該總和S由每個(gè)矢量元素的總和相乘而成，因此
?本文講述的是使用FP16格式的點(diǎn)積運(yùn)算實(shí)例，展示了MLP72支持的數(shù)字類型和乘數(shù)的范圍。
此設(shè)計(jì)實(shí)現(xiàn)了同時(shí)處理8對(duì)FP16輸入的點(diǎn)積。該設(shè)計(jì)包含四個(gè)MLP72，使用MLP內(nèi)部的級(jí)聯(lián)路徑連接。每個(gè)MLP72將兩個(gè)并行乘法的結(jié)果相加
，每個(gè)乘法都是i_a輸入乘以i_b輸入（均為FP16格式）的結(jié)果。來(lái)自每個(gè)MLP72的總和沿著MLP72的列級(jí)聯(lián)到上面的下一個(gè)MLP72塊。在最后一個(gè)MLP72中，在每個(gè)周期上，計(jì)算八個(gè)并行FP16乘法的總和。
最終結(jié)果是多個(gè)輸入周期內(nèi)的累加總和，其中累加由i_first和i_last輸入控制。i_first輸入信號(hào)指示累加和歸零的第一組輸入。i_last信號(hào)指示要累加和加到累加的最后一組輸入。最終的i_last值可在之后的六個(gè)周期使用，并使用i_last o_valid進(jìn)行限定。兩次運(yùn)算之間可以無(wú)空拍。
- 配置說(shuō)明
表1 FP16點(diǎn)積配置表
- 端口說(shuō)明
表2 FP16點(diǎn)積端口說(shuō)明表
- 時(shí)序圖
圖2 FP16點(diǎn)積時(shí)序圖
其中，
?那么，以上運(yùn)算功能如何對(duì)應(yīng)到MLP內(nèi)部呢？其后的細(xì)節(jié)已分為MLP72中的多個(gè)功能階段進(jìn)行說(shuō)明。
- 進(jìn)位鏈
圖3 MLP進(jìn)位鏈
- 乘法階段
圖4 MLP乘法功能階段框圖
MLP72浮點(diǎn)乘法級(jí)包括兩個(gè)24位全浮點(diǎn)乘法器和一個(gè)24位全浮點(diǎn)加法器。兩個(gè)乘法器執(zhí)行A×B和C×D的并行計(jì)算。加法器將兩個(gè)結(jié)果相加得到A×B + C×D。 乘法階段有兩個(gè)輸出。下半部分輸出可以在A×B或（A×B + C×D）之間選擇。上半部分輸出始終為C×D。 乘法器和加法器使用的數(shù)字格式由字節(jié)選擇參數(shù)以及和參數(shù)設(shè)置的格式確定。 浮點(diǎn)輸出具有與整數(shù)輸出級(jí)相同的路徑和結(jié)構(gòu)。MLP72可以配置為在特定階段選擇整數(shù)或等效浮點(diǎn)輸入。輸出支持兩個(gè)24位全浮點(diǎn)加法器，可以對(duì)其進(jìn)行加法或累加配置。進(jìn)一步可以加載加法器（開(kāi)始累加），可以將其設(shè)置為減法，并支持可選的舍入模式。 最終輸出階段支持將浮點(diǎn)輸出格式化為MLP72支持的三種浮點(diǎn)格式中的任何一種。此功能使MLP72可以外部支持大小一致的浮點(diǎn)輸入和輸出（例如fp16或bfloat16），而在內(nèi)部以fp24執(zhí)行所有計(jì)算。
圖5 MLP浮點(diǎn)輸出階段框圖
需要強(qiáng)調(diào)的是本設(shè)計(jì)輸入和輸出都是FP16格式，中間計(jì)算過(guò)程，即進(jìn)位鏈上的fwdo_out和fwdi_dout 都是FP24格式。具體邏輯框圖如下所示：
圖6 FP16點(diǎn)積邏輯框圖
MLP內(nèi)部數(shù)據(jù)流示意圖：
圖7 FP16點(diǎn)積在MLP內(nèi)部數(shù)據(jù)流圖
最終ACE的時(shí)序結(jié)果如下：
審核編輯 ：李倩
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
FPGA
+關(guān)注
關(guān)注
1624文章
21538瀏覽量
600454 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8320瀏覽量
132164 -
MLP
+關(guān)注
關(guān)注
0文章
57瀏覽量
4199
原文標(biāo)題：詳解FPGA如何實(shí)現(xiàn)FP16格式點(diǎn)積級(jí)聯(lián)運(yùn)算
文章出處：【微信號(hào)：zhuyandz，微信公眾號(hào)：FPGA之家】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
級(jí)聯(lián)精密運(yùn)算放大器級(jí)以實(shí)現(xiàn)出色的交流和直流性能
電子發(fā)燒友網(wǎng)站提供《級(jí)聯(lián)精密運(yùn)算放大器級(jí)以實(shí)現(xiàn)出色的交流和直流性能.pdf》資料免費(fèi)下載
發(fā)表于 09-24 11:00
?0次下載
運(yùn)算放大器增益帶寬積對(duì)有源濾波電路的影響是什么？
想問(wèn)一個(gè)問(wèn)題，運(yùn)算放大器增益帶寬積對(duì)有源濾波電路的影響
發(fā)表于 08-22 07:15
請(qǐng)問(wèn)esp32如何將16進(jìn)制字符串轉(zhuǎn)換成base64格式？
請(qǐng)問(wèn) esp32 如何將 16進(jìn)制字符串轉(zhuǎn)換成base64格式
發(fā)表于 06-24 08:35
使用rgb888格式，在清屏切換時(shí)會(huì)有雜亂的條紋出現(xiàn)是怎么回事？
使用rgb888格式，在清屏切換時(shí)，屏幕會(huì)有雜亂的條紋出現(xiàn)？
但是使用 ARGB8888, RGB565的格式時(shí)貌似木有，是怎么個(gè)情況 ？？？
發(fā)表于 05-08 06:09
NVIDIA GPU架構(gòu)下的FP8訓(xùn)練與推理
FP8 訓(xùn)練利用 E5M2/E4M3 格式，具備與 FP16 相當(dāng)?shù)膭?dòng)態(tài)范圍，適用于反向傳播與前向傳播。
在gfx模擬器上產(chǎn)生的代碼如何設(shè)置為rgb565格式？
請(qǐng)教下，在gfx模擬器上，產(chǎn)生的代碼如何設(shè)置為rgb565格式？
發(fā)表于 04-24 06:26
Python：從串口讀取數(shù)據(jù)并以16進(jìn)制格式展示
本文凌順實(shí)驗(yàn)室（lingshunlab.com）簡(jiǎn)單實(shí)現(xiàn)Python讀取串口數(shù)據(jù)，并且按16進(jìn)制格式顯示出來(lái)。
求助，請(qǐng)問(wèn)12位傳感器數(shù)據(jù)如何變成YUY2格式？
請(qǐng)教下傳感器輸出的12位并行數(shù)據(jù)RAW通過(guò)FPGA采集出來(lái)，然后要轉(zhuǎn)成YUY2格式通過(guò)GPIF接口傳給FX3，再通過(guò)USB顯示實(shí)時(shí)圖像視頻?，F(xiàn)在問(wèn)題是12位傳感器數(shù)據(jù)如何變成YUY2格式？通過(guò)slaveFIFO時(shí)序
發(fā)表于 02-28 07:25
FP16轉(zhuǎn)換報(bào)錯(cuò)的原因？
FP32轉(zhuǎn)換正常，FP16轉(zhuǎn)換報(bào)錯(cuò)（model_transform正常）
運(yùn)行命令為：
model_deploy.py--mlir
發(fā)表于 01-10 08:01
車載播放器怎么選擇格式
：MP3是目前最常見(jiàn)和廣泛支持的音頻格式之一。它可以提供良好的音質(zhì)，并且具有較小的文件大小。由于大多數(shù)音樂(lè)都是以MP3格式存儲(chǔ)在設(shè)備中的，所以選擇支持MP3格式的車載播放器是首選。 AAC：AAC是一種高級(jí)音頻編碼
英偉達(dá)為中國(guó)市場(chǎng)量身打造RTX 4090 D顯卡，規(guī)避美國(guó)出口限制
而預(yù)計(jì)RTX 4090 D需達(dá)到的運(yùn)算性能限制為小于4800 TPP（Texel Processing Performance），而現(xiàn)款RTX 4090無(wú)論FP8還是FP16的運(yùn)行結(jié)果均超過(guò)該限制
縫縫補(bǔ)補(bǔ)的浮點(diǎn)數(shù)進(jìn)制轉(zhuǎn)換器
[浮點(diǎn)數(shù)]()在計(jì)算機(jī)科學(xué)中是一種重要的數(shù)據(jù)類型，用于表示實(shí)數(shù)。其中，FP32和FP16是兩種常見(jiàn)的浮點(diǎn)數(shù)格式，分別占用32位和16位。
FlashAttention2詳解（性能比FlashAttention提升200%）
GPU performance characteristics. GPU主要計(jì)算單元（如浮點(diǎn)運(yùn)算單元）和內(nèi)存層次結(jié)構(gòu)。大多數(shù)現(xiàn)代GPU包含專用的低精度矩陣乘法單元（如Nvidia GPU的Tensor Core用于FP16/BF16
全面了解環(huán)保HJ212協(xié)議和項(xiàng)目實(shí)現(xiàn)
本文詳細(xì)介紹了環(huán)保HJ212協(xié)議的格式，并舉例說(shuō)明數(shù)據(jù)格式。使用vfbox網(wǎng)關(guān)實(shí)現(xiàn)modbus協(xié)議的設(shè)備轉(zhuǎn)換成HJ212格式發(fā)送到環(huán)保平臺(tái)。
什么是m3u8格式
ｍ3u8是什么格式？m3u8是蘋果公司推出的視頻播放標(biāo)準(zhǔn)，是m3u的一種，只是編碼格式采用的是UTF-8。 使用m3u8格式文件主要因?yàn)榭梢?b class='flag-5'>實(shí)現(xiàn)多碼率視頻的適配，視頻網(wǎng)站可以根據(jù)用戶的
工商網(wǎng)監(jiān)
評(píng)論