BF16浮點格式 加快AI深度學(xué)習(xí)

全新的數(shù)字格式——‘BF16’，專為人工智能（AI）/深度學(xué)習(xí)（DL）應(yīng)用優(yōu)化發(fā)展而來，有時也稱為‘BFloat16’或‘Brain Float 16’。它一開始是由Google Brain團(tuán)隊發(fā)明，并用于其第三代Tensor Processing Unit （TPU），如今已被Google、英特爾（Intel）、Arm等許多公司的AI加速器廣泛采用。

采用16位腦浮點（brain floating point）格式的BF16，主要概念在于透過降低數(shù)字的精度，從而減少讓張量（tensor）相乘所需的運算資源和功耗?！笍埩俊故菙?shù)字的三維（3D）矩陣；張量的乘法運算即是AI計算所需的關(guān)鍵數(shù)學(xué)運算。

如今，大多數(shù)的AI訓(xùn)練都使用FP32，即32位浮點數(shù)。盡管這表示可以達(dá)到非常準(zhǔn)確的計算，但需要強(qiáng)大的硬件而且極其耗電。推論一般使用INT8??，即8位整數(shù)精度的運算模式，雖然是較低精度的數(shù)字系統(tǒng)，但在相同硬件上提供了更高的傳輸效率，因而能夠更省電，只是計算結(jié)果（預(yù)測）的準(zhǔn)確性較低些。

BF16的基本概念是為精度和預(yù)測準(zhǔn)確性之間的權(quán)衡進(jìn)行優(yōu)化，從而提高吞吐量。

浮點數(shù)字解析

在運算中的二進(jìn)制數(shù)字可以表示為：

尾數(shù)x基數(shù)指數(shù)，基數(shù)為2

在FP32浮點格式中，每個數(shù)字都表示為：

1位代表符號（+或-），其后為8位指數(shù)，接著是23位尾數(shù)（總共32位數(shù)字）

至于BF16浮點格式，Google Brain團(tuán)隊建議將FP32數(shù)字的尾數(shù)縮減到7位，以稍降低精度。

因此，BF16數(shù)字則可表示為：

1個符號位，然后8個指數(shù)位，接著是7個尾數(shù)位（共16位數(shù)）

浮點數(shù)字格式（來源：Google）

由于指數(shù)大小相同，這些16位數(shù)字提供了Google所追求的更高吞吐量，同時又能保留FP32的近似動態(tài)范圍（該系統(tǒng)可以代表整個數(shù)字范圍）。

使用BF16的算法預(yù)測準(zhǔn)確度相當(dāng)于FP32——Google解釋這是因為神經(jīng)網(wǎng)絡(luò)對于指數(shù)的大小要比尾數(shù)更敏感）。對于大多數(shù)應(yīng)用來說，這已經(jīng)是可以被接受的折衷方案了。

為什么不使用FP16？

目前普遍用于行動繪圖應(yīng)用中的FP16，同樣也是16位浮點數(shù)字格式。那么，為什么不直接使用呢？

FP16包括：

1個符號位，5個指數(shù)位，然后10個尾數(shù)位（共16位數(shù)字）

使用這種格式時，由于指數(shù)小于FP32，因而動態(tài)范圍大幅縮減。此外，將FP32數(shù)字轉(zhuǎn)換為FP16比起轉(zhuǎn)換為BF16更困難——相較于僅截去尾數(shù)，F(xiàn)P16更麻煩，而BF16的操作相對上較簡單。

另一個要點是計算所需要的芯片實體面積。由于硬件乘法器的實體尺寸會隨著尾數(shù)寬度的平方而增加，因此從FP32轉(zhuǎn)換到BF16可以大幅節(jié)省芯片面積——這也就是Google之所以為其TPU芯片選擇使用BF16。BF16乘法器比FP32乘法器的尺寸更小8倍，而且也只有FP16同類型芯片約一半的尺寸。

還有哪些DL運算格式？

BF16并不是唯一一種被提議用于深度學(xué)習(xí)的新數(shù)字格式。例如，AI軟件新創(chuàng)公司Nervana在2017年曾經(jīng)提出一種稱為‘Flexpoint’的格式。其概念是透過結(jié)合定點和浮點數(shù)字系統(tǒng)的優(yōu)點，從而減少運算和內(nèi)存的需求。

定點數(shù)（fixed point number）使用固定位數(shù)來代表整數(shù)和分?jǐn)?shù)（小數(shù)點后的部分）——相較于上述的浮點格式，使用定點數(shù)字執(zhí)行運算通常更簡單，也更快捷。然而，針對特定的位數(shù)，定點數(shù)的動態(tài)范圍比浮點數(shù)更小得多。

Flexpoint數(shù)字共享相同的指數(shù)，讓張量更易于相乘（來源：Nervana/NeurIPS）

Flexpoint張量中的所有（浮點）數(shù)字都使用相同的指數(shù)（不只是相同的指數(shù)大小，而且是完全相同的指數(shù)值）。張量中的所有數(shù)字之間共享指數(shù)，從而可以在整個張量中共同分擔(dān)指數(shù)的通訊。

然后就可以讓張量相乘作為定點運算，因為每次計算的指數(shù)都是相同的——這比起浮點數(shù)所需的數(shù)學(xué)更簡單。這些計算足以代表絕大多數(shù)的深度學(xué)習(xí)數(shù)學(xué)，因此所能節(jié)省的資源與功耗都相當(dāng)可觀。然而，管理這些指數(shù)極其復(fù)雜，而且動態(tài)范圍（可以表示的數(shù)字范圍）很低，因為所有的數(shù)字都擁有相同的指數(shù)。

然而，F(xiàn)lexpoint卻從未能起飛，甚至是Nervana在賣給英特爾之前，其自家芯片都一直使用BF16。