電子發(fā)燒友App
量化（Quantization）在加速神經(jīng)網(wǎng)絡(luò)方面發(fā)揮了巨大作用——從 32 位到 16 位再到 8 位，甚至更快。它是如此重要，以至于谷歌目前因涉嫌侵犯 BF16 的創(chuàng)建者而被起訴，索賠 16 億至 52 億美元。所有的目光都集中在數(shù)字格式上，因?yàn)樗鼈冊谶^去十年中對人工智能硬件效率的提升起到了很大的作用。較低精度的數(shù)字格式有助于推倒數(shù)十億參數(shù)模型的內(nèi)存墻。
在本文中，我們將從基本原理的基礎(chǔ)上，從數(shù)字格式的基本原理到神經(jīng)網(wǎng)絡(luò)量化的當(dāng)前技術(shù)水平進(jìn)行技術(shù)探討。我們將介紹浮點(diǎn)與整數(shù)、電路設(shè)計注意事項、塊浮點(diǎn)、MSFP、微縮放格式、對數(shù)系統(tǒng)等。我們還將介紹推理的量化和數(shù)字格式的差異以及高精度與低精度訓(xùn)練方法。此外，我們將討論面臨量化和準(zhǔn)確性損失相關(guān)挑戰(zhàn)的模型的下一步發(fā)展。
01.?矩陣乘法
任何現(xiàn)代機(jī)器學(xué)習(xí)模型的大部分都是矩陣乘法。在GPT-3中，每一層都使用大量矩陣乘法：例如，其中一個具體運(yùn)算是（2048 x 12288）矩陣乘以（12288 x 49152）矩陣，輸出（2048 x 49152）矩陣。
重要的是如何計算輸出矩陣中的每個單獨(dú)元素，這可以歸結(jié)為兩個非常大的向量的點(diǎn)積 - 在上面的示例中，大小為 12288。這由 12288 次乘法和 12277 次加法組成，它們累積成一個數(shù)字– 輸出矩陣的單個元素。
通常，這是通過將累加器寄存器初始化為零，然后重復(fù)地在硬件中完成的
乘以 x_i * w_i；
將其添加到累加器中；
每個周期的吞吐量均為 1。經(jīng)過大約 12288 個循環(huán)后，輸出矩陣的單個元素的累加完成。這種“融合乘加”運(yùn)算 (FMA：fused multiply-add) 是機(jī)器學(xué)習(xí)的基本計算單元：芯片上有數(shù)千個 FMA 單元戰(zhàn)略性地排列以有效地重用數(shù)據(jù)，因此可以并行計算輸出矩陣的許多元素，以減少所需的周期數(shù)。
上圖中的所有數(shù)字都需要在芯片內(nèi)部的某個位以某種方式以位表示：
x_i，輸入激活；
w_i，權(quán)重；
p_i，成對乘積；
整個輸出完成累加之前的所有中間部分累加和；
最終輸出總和；
在這個巨大的設(shè)計空間中，當(dāng)今大多數(shù)機(jī)器學(xué)習(xí)量化研究都可以歸結(jié)為兩個目標(biāo)：
足夠準(zhǔn)確地存儲數(shù)千億個權(quán)重，同時使用盡可能少的位，從容量和帶寬的角度減少內(nèi)存占用。這取決于用于存儲權(quán)重的數(shù)字格式。
實(shí)現(xiàn)良好的能源和面積效率。這主要取決于用于權(quán)重和激活的數(shù)字格式；
這些目標(biāo)有時是一致的，有時是不一致的——我們將深入研究這兩個目標(biāo)。
02.?數(shù)字格式設(shè)計目標(biāo) 1：芯片效率
許多機(jī)器學(xué)習(xí)芯片計算性能的根本限制是功耗。雖然 H100 理論上可以實(shí)現(xiàn) 2,000 TFLOPS 的計算能力，但在此之前它會遇到功率限制 - 因此每焦耳能量的 FLOPs 是一個非常需要跟蹤的指標(biāo)。鑒于現(xiàn)代訓(xùn)練運(yùn)行現(xiàn)在經(jīng)常超過 1e25 次flops，我們需要極其高效的芯片，在數(shù)月內(nèi)吸收(sucking)兆瓦功率，才能擊敗?SOTA。 ?
03.?基本數(shù)字格式
首先，讓我們深入了解計算中最基本的數(shù)字格式：整數(shù)。 ? 一、以 2 為底的正整數(shù) ? 正整數(shù)具有明顯的以 2 為底的表示形式。這些稱為 UINT，即無符號整數(shù)。以下是 8 位無符號整數(shù)（也稱為 UINT8，范圍從 0 到 255）的一些示例。 ?
? 這些整數(shù)可以有任意位數(shù)，但通常僅支持以下四種格式：UINT8、UINT16、UINT32 和 UINT64。 ?
二、負(fù)整數(shù)（Negative integers）
負(fù)整數(shù)需要一個符號來區(qū)分正負(fù)。我們可以將一個指示符放在最高有效位中：例如0011 表示+3，1011 表示–3。這稱為符號-數(shù)值（sign-magnitude）表示。以下是 INT8 的一些示例，其范圍從 –128 到 127。請注意，由于第一位是符號，因此最大值實(shí)際上已從 255 減半到 127。 ? 符號-數(shù)值很直觀，但效率很低——您的電路必須實(shí)現(xiàn)截然不同的加法和減法算法，而這些算法又不同于沒有符號位的無符號整數(shù)的電路。有趣的是，硬件設(shè)計人員可以通過使用二進(jìn)制補(bǔ)碼表示來解決這個問題，這使得可以對正數(shù)、負(fù)數(shù)和無符號數(shù)使用完全相同的進(jìn)位加法器電路。所有現(xiàn)代 CPU 都使用二進(jìn)制補(bǔ)碼。 ? 在 unsigned int8 中，最大數(shù)字 255 是 11111111。如果添加數(shù)字 1，255 會溢出到 00000000，即 0。在signed int8 中，最小數(shù)字是 -128，最大數(shù)字是 127。作為讓 INT8 和 UINT8 共享硬件的技巧資源，-1可以用11111111表示?，F(xiàn)在當(dāng)數(shù)字加1時，它溢出到00000000，按預(yù)期表示0。同樣，11111110 可以表示為-2。 ?
? 溢出被用作一個功能！實(shí)際上，0 到 127 被映射為正常值，128 到 255 被直接映射到 -128 到 -1。
04.?固定點(diǎn)（Fixed Point）
為了更進(jìn)一步，我們可以在現(xiàn)有硬件上輕松創(chuàng)建新的數(shù)字格式，而無需進(jìn)行修改。雖然這些都是整數(shù)，但您可以簡單地想象它們是其他東西的倍數(shù)！例如，0.025 只是千分之 25，它可以存儲為整數(shù) 25?，F(xiàn)在我們只需要記住其他地方使用的所有數(shù)字都是千分之幾。 ? 新的“數(shù)字格式”可以表示從 –0.128 到 0.127 的千分之一的數(shù)字，而沒有實(shí)際的邏輯變化。完整的數(shù)字仍被視為整數(shù)，然后小數(shù)點(diǎn)固定在右起第三位。這種策略稱為定點(diǎn)（ fixed point）。 ? 更一般地說，這是一個有用的策略，我們將在本文中多次回顧它 - 如果您想更改可以表示的數(shù)字范圍，請在某處添加比例因子。（顯然，您可以用二進(jìn)制來執(zhí)行此操作，但十進(jìn)制更容易討論）。
05.?浮點(diǎn)（Floating Point）
但定點(diǎn)有一些缺點(diǎn)，特別是對于乘法。假設(shè)您需要計算一萬億乘以一萬億分——尺寸上的巨大差異就是高*動態(tài)范圍*的一個例子。那么 1012和 10-12都必須用我們的數(shù)字格式來表示，所以很容易計算出你需要多少位：從 0 到 1 萬億以萬億分之一的增量計數(shù)，你需要 10^24 增量，log2(10^ 24) ~= 80 位來表示具有我們想要的精度級別的動態(tài)范圍。 ? 每個數(shù)字 80 位顯然是相當(dāng)浪費(fèi)的。您不一定關(guān)心絕對精度，您關(guān)心相對精度。因此，盡管上述格式能夠準(zhǔn)確區(qū)分 1 萬億和 999,999,999,999.999999999999，但您通常不需要這樣做。大多數(shù)時候，您關(guān)心的是相對于數(shù)字大小的誤差量。 ? 這正是科學(xué)記數(shù)法所解決的問題：在前面的示例中，我們可以將一萬億寫為 1.00 * 10^12，將一萬億寫為 1.00 * 10^-12，這樣的存儲空間要少得多。這更復(fù)雜，但可以讓您在相同的上下文中表示極大和極小的數(shù)字，而無需擔(dān)心。 ? 因此，除了符號和值之外，我們現(xiàn)在還有一個指數(shù)。IEEE 754-1985 標(biāo)準(zhǔn)化了行業(yè)范圍內(nèi)以二進(jìn)制存儲該數(shù)據(jù)的方式，而當(dāng)時使用的格式略有不同。主要有趣的格式，32 位浮點(diǎn)數(shù)（“float32”或“FP32”）可描述為 (1,8,23)：1 個符號位、8 個指數(shù)位和 23 個尾數(shù)位。 ?
符號位為0表示正，1表示負(fù)；
指數(shù)位被解釋為無符號整數(shù) e，并表示比例因子 2 e-127，其值可以介于 2-126-和2127之間。更多指數(shù)位意味著更大的動態(tài)范圍；
尾數(shù)位表示值 1.。更多尾數(shù)位意味著更高的相對精度；
? 其他位寬已標(biāo)準(zhǔn)化或事實(shí)上已采用，例如 FP16 (1,5,10) 和 BF16 (1,8,7)。爭論的焦點(diǎn)是范圍與精度。 ?
? FP8（1,5,2 或 1,4,3）最近在 OCP 標(biāo)準(zhǔn)中標(biāo)準(zhǔn)化了一些額外的怪癖，但目前還沒有定論。許多人工智能硬件公司已經(jīng)實(shí)現(xiàn)了具有稍微優(yōu)越的變體的芯片，這些變體與標(biāo)準(zhǔn)不兼容。
06.?硅效率（Silicon Efficiency）
回到硬件效率，所使用的數(shù)字格式對硅面積和所需功率有巨大影響。 ?
? 一、整數(shù)硅設(shè)計電路（Integer Silicon Design Circuit）
整數(shù)加法器是有史以來研究最深入的硅設(shè)計問題之一。雖然實(shí)際的實(shí)現(xiàn)要復(fù)雜得多，但考慮加法器的一種方法是將它們想象為根據(jù)需要將 1 一直相加并一直加到總和上，因此在某種意義上，n 位加法器正在做一定量的工作到 n ? 對于乘法，請回想一下小學(xué)的長乘法。我們進(jìn)行 n 位乘以 1 位的乘積，然后最后將所有結(jié)果相加。在二進(jìn)制中，乘以 1 位數(shù)字很簡單（0 或 1）。這意味著 n 位乘法器本質(zhì)上由 n 位加法器的 n 次重復(fù)組成，因此工作量與 n^2 成正比。 ? 雖然實(shí)際實(shí)現(xiàn)因面積、功率和頻率限制而有很大不同，但通常 1) 乘法器比加法器昂貴得多，但 2) 在低位數(shù)（8 位及以下）時，F(xiàn)MA 的功耗和面積成本更高以及來自加法器的更多相對貢獻(xiàn)((n 與 n^2 縮放).
? 二、浮點(diǎn)電路(Floating Point Circuits)
浮點(diǎn)單位有很大不同。相反，乘積/乘法相對簡單。 ? 如果恰好有一個輸入符號為負(fù)，則符號為負(fù)，否則為正。 指數(shù)是傳入指數(shù)的整數(shù)和。 尾數(shù)是傳入尾數(shù)的整數(shù)積。 ? 相比之下，總和相當(dāng)復(fù)雜。 ? 首先，計算指數(shù)差。（假設(shè) exp1 至少與 exp2 一樣大 - 如果沒有，請在說明中交換它們）； 將尾數(shù) 2 向下移動 (exp1 - exp2)，使其與尾數(shù) 1 對齊； 向每個尾數(shù)添加隱式前導(dǎo) 1。如果一個符號為負(fù)，則對尾數(shù)之一執(zhí)行二進(jìn)制補(bǔ)碼； 將尾數(shù)加在一起形成輸出尾數(shù)； 如果發(fā)生溢出，則結(jié)果指數(shù)加1，尾數(shù)下移； 如果結(jié)果為負(fù)，則將其轉(zhuǎn)換回?zé)o符號尾數(shù)并將輸出符號設(shè)置為負(fù)； 對尾數(shù)進(jìn)行歸一化，使其具有前導(dǎo) 1，然后刪除隱式前導(dǎo) 1； 適當(dāng)舍入尾數(shù)（通常舍入到最接近的偶數(shù)）； ? 值得注意的是，浮點(diǎn)乘法的成本甚至比整數(shù)乘法“更少”，因?yàn)槲矓?shù)乘積中的位數(shù)更少，而指數(shù)的加法器比乘法器小得多，幾乎無關(guān)緊要。 ? 顯然，這也是極其簡化的，特別是我們沒有討論的非正規(guī)和 nan 處理占用了大量的空間。但要點(diǎn)是，在低位數(shù)浮點(diǎn)中，乘積很便宜，而累加則很昂貴。 ?
? 我們提到的所有部分在這里都非常明顯 - 將指數(shù)相加，尾數(shù)的大型乘法器數(shù)組，根據(jù)需要移動和對齊事物，然后標(biāo)準(zhǔn)化。（從技術(shù)上講，真正的“融合”（“fused”）乘加有點(diǎn)不同，但我們在這里省略了。） ?
? 該圖表說明了上述所有要點(diǎn)。有很多東西需要消化，但要點(diǎn)是 INT8 x INT8 的累加和累加到定點(diǎn) (FX) 的成本是最便宜的，并且由乘法 (“mpy”) 主導(dǎo)，而使用浮點(diǎn)作為操作數(shù)或累加格式（通常在很大程度上）由累積成本（“alignadd”+“normacc”）主導(dǎo)。例如，通過使用帶有“定點(diǎn)”累加器的 FP8 操作數(shù)而不是通常的 FP32，可以節(jié)省大量成本。 ? 總而言之，本文和其他論文聲稱 FP8 FMA 將比 INT8 FMA 多占用 40-50% 的硅面積，并且能源消耗同樣更高或更差的說法一直。這是大多數(shù)專用 ML 推理芯片使用 INT8 的主要原因。
07.?數(shù)字格式設(shè)計目標(biāo) 2：準(zhǔn)確性
既然整數(shù)總是更便宜，為什么我們不到處使用 INT8 和 INT16 而不是 FP8 和 FP16呢？這取決于這些格式能夠如何準(zhǔn)確地表示神經(jīng)網(wǎng)絡(luò)中實(shí)際顯示的數(shù)字。 ? 我們可以將每種數(shù)字格式視為一個查找表。例如，一個非常愚蠢的 2 位數(shù)字格式可能如下所示： ?
? 顯然，這組四個數(shù)字對任何事情都沒有多大用處，因?yàn)樗鄙偬鄶?shù)字 - 事實(shí)上，根本沒有負(fù)數(shù)。如果表中不存在神經(jīng)網(wǎng)絡(luò)中的數(shù)字，那么您所能做的就是將其四舍五入到最近的條目，這會給神經(jīng)網(wǎng)絡(luò)帶來一點(diǎn)誤差。 ? 那么表中理想的值集是多少？表的大小可以有多??？ ? 例如，如果神經(jīng)網(wǎng)絡(luò)中的大多數(shù)值都接近于零（實(shí)際上也是如此），我們希望能夠有很多這些數(shù)字接近于零，這樣我們就可以通過犧牲準(zhǔn)確性來獲得更高的準(zhǔn)確性。哪里沒有。 ? 在實(shí)踐中，神經(jīng)網(wǎng)絡(luò)通常是正態(tài)分布或拉普拉斯分布，有時根據(jù)模型架構(gòu)的確切數(shù)值，存在大量異常值。特別是，對于非常大的語言模型， 往往會出現(xiàn)極端異常值，這些異常值很少見，但對模型的功能很重要。
? 上圖顯示了 LLAMA 65B 部分權(quán)重。這看起來很像正態(tài)分布。如果將此與 FP8 和 INT8 中的數(shù)字分布進(jìn)行比較，很明顯浮點(diǎn)集中在重要的地方 - 接近零。這就是我們使用它的原因！ ?
? 不過，它仍然與真實(shí)分布不太匹配——每次指數(shù)遞增時，它仍然有點(diǎn)太尖了，但比 int8 好得多。 ? 我們可以做得更好嗎？從頭開始設(shè)計格式的一種方法是最小化平均絕對誤差——舍入造成的平均損失量。
08.?對數(shù)系統(tǒng)（Log Number Systems）
例如， Nvidia在HotChips?上宣稱 Log Number System 是繼續(xù)擴(kuò)展過去 8 位數(shù)字格式的可能途徑。使用對數(shù)系統(tǒng)時，舍入誤差通常較小，但存在許多問題，包括極其昂貴的加法器。 ?
? NF4 和變體 (AF4) 是 4 位格式，假設(shè)權(quán)重遵循完全正態(tài)分布，則使用精確的查找表來最大限度地減少誤差。但這種方法在面積和功耗方面非常昂貴——現(xiàn)在每個操作都需要查找巨大的條目表，這比任何 INT/FP 操作都要糟糕得多。 ? 存在多種替代格式：posits、ELMA、PAL 等。這些技術(shù)聲稱在計算效率或表示準(zhǔn)確性方面具有多種優(yōu)勢，但尚未達(dá)到商業(yè)相關(guān)規(guī)模。也許其中之一，或者尚未發(fā)表/發(fā)現(xiàn)的一個，將具有 INT 的成本和 FP 的表征準(zhǔn)確性——一些人已經(jīng)做出了這樣的聲明，或者更好。 ? 我們個人對 Lemurian Labs PAL 最有希望，但關(guān)于其數(shù)字格式，還有很多信息尚未披露。他們聲稱其 16 位精度和范圍比 FP16 和 BF16 更好，同時硬件也更便宜。 ?
? 隨著我們繼續(xù)擴(kuò)展到過去的 8 位格式，PAL4 還聲稱比 HotChips 上的 Nvidia 等對數(shù)系統(tǒng)有更好的分布。他們的紙面聲明令人驚嘆，但目前還沒有硬件實(shí)現(xiàn)該格式。 ?
09.?塊號格式（Block Number Formats)
一個有趣的觀察是，元素的大小幾乎總是與張量中附近的元素相似。當(dāng)張量的元素比平常大得多時，附近的元素本質(zhì)上并不重要——它們相對太小，無法在點(diǎn)積中看到。 ? 我們可以利用這一點(diǎn) - 我們可以在多個元素之間共享一個指數(shù)，而不是對每個數(shù)字都使用浮點(diǎn)指數(shù)。這節(jié)省了很多大部分冗余的指數(shù)。 ? 這種方法已經(jīng)存在了一段時間 - Nervana Flexpoint、Microsoft MSFP12、Nvidia VSQ - 直到 2023 年 OCP 的 Microscaling 才出現(xiàn)。 ? 此時，存在一整套可能的格式，具有不同的權(quán)衡。微軟試圖量化硬件的設(shè)計空間： ?
? 硬件供應(yīng)商面臨著一個棘手的問題，即嘗試設(shè)計高度專業(yè)化的高效格式，同時又不關(guān)閉可能具有截然不同的數(shù)值分布的未來模型架構(gòu)的大門。
10.?推理(Inference)
上述大部分內(nèi)容都適用于推理和訓(xùn)練，但每種都有一些特定的復(fù)雜性。 ? 推理對成本/功耗特別敏感，因?yàn)槟Ｐ屯ǔＶ挥?xùn)練一次，但部署到數(shù)百萬客戶。訓(xùn)練也更加復(fù)雜，有許多數(shù)值上有問題的操作（見下文）。這意味著推理芯片在采用更小、更便宜的數(shù)字格式方面通常遠(yuǎn)遠(yuǎn)領(lǐng)先于訓(xùn)練芯片，因此模型訓(xùn)練的格式和模型推理的格式之間可能會出現(xiàn)很大的差距。 ? 有許多工具可以從一種格式適應(yīng)另一種格式，這些工具屬于一個范圍： ? 一方面，訓(xùn)練后量化（PTQ:post-training quantization）不需要執(zhí)行任何實(shí)際的訓(xùn)練步驟，只需根據(jù)一些簡單的算法更新權(quán)重： ? 最簡單的方法是將每個權(quán)重四舍五入到最接近的值。
The easiest is to simply round each weight to the nearest value. ? LLM.int8() 將除一小部分以外的所有異常值權(quán)重轉(zhuǎn)換為 INT8; GPTQ 使用有關(guān)權(quán)重矩陣的二階信息來更好地量化; Smoothquant 進(jìn)行數(shù)學(xué)上等效的變換，嘗試平滑激活異常值; AWQ 使用有關(guān)激活的信息來更準(zhǔn)確地量化最顯著的權(quán)重; QuIP 對模型權(quán)重進(jìn)行預(yù)處理，使其對量化不太敏感; AdaRound 將每一層的舍入分別優(yōu)化為二次二元優(yōu)化; ? 存在許多其他方法并且正在不斷發(fā)布。許多“訓(xùn)練后”量化方法通過使用某種修改后的訓(xùn)練步驟或代理目標(biāo)迭代優(yōu)化量化模型，從而模糊了與訓(xùn)練的界限。這里的關(guān)鍵方面是，這些極大地降低了成本，但現(xiàn)實(shí)世界的性能損失通常比人們經(jīng)常吹捧的簡單基準(zhǔn)要大。 ?
另一方面，量化感知訓(xùn)練 (QAT:quantization-aware training) 會改變精度并繼續(xù)訓(xùn)練一段時間以使模型適應(yīng)新的精度。所有量化方法都應(yīng)至少部分使用此機(jī)制，以在現(xiàn)實(shí)世界性能中實(shí)現(xiàn)最小的精度損失。這直接使用常規(guī)訓(xùn)練過程來使模型適應(yīng)量化機(jī)制，通常被認(rèn)為更有效，但計算成本更高。
11.?訓(xùn)練(Training)
由于向后傳遞，訓(xùn)練稍微復(fù)雜一些。有 3 個 matmul——一個在前向傳遞中，兩個在后向傳遞中。 ?
? 每個訓(xùn)練步驟最終都會接收權(quán)重，對各種數(shù)據(jù)進(jìn)行一系列矩陣乘法，并產(chǎn)生新的權(quán)重。 ? FP8 訓(xùn)練更加復(fù)雜。下面是 Nvidia FP8 訓(xùn)練方法的稍微簡化版本。 ?
? 這個清單的一些顯著特點(diǎn)： ? 每個 matmul 都是 FP8 x FP8 并累加為 FP32 （實(shí)際上精度較低，但 Nvidia 告訴大家它是 FP32），然后量化為 FP8 以用于下一層。累加必須比 FP8 具有更高的精度，因?yàn)樗婕皩ν淮笮屠奂悠鬟M(jìn)行數(shù)萬次連續(xù)的小更新，因此每個小更新需要很高的精度才能不向下舍入為零； ? 每個 FP8 權(quán)重張量都帶有一個比例因子。由于每一層的范圍可能顯著不同，因此縮放每個張量以適應(yīng)該層的范圍至關(guān)重要； ? 權(quán)重更新（在主框之外）對精度非常敏感，并且通常保持較高的精度（通常為 FP32）。這又歸結(jié)為幅度不匹配——權(quán)重更新與權(quán)重相比很小，因此再次需要精度才能使更新不向下舍入為零； ? 最后，訓(xùn)練與推理的一大區(qū)別是梯度有更多的極端異常值，這一點(diǎn)非常重要?？梢詫⒓せ钐荻龋ɡ?SwitchBack、AQT）量化為 INT8，但權(quán)重梯度迄今為止抵制了這種努力，必須保留在 FP16 或 FP8 (1,5,2) 中。
審核編輯：黃飛
?
工商網(wǎng)監(jiān)
評論