使用CUTLASS實現(xiàn)高性能矩陣乘法

CUTLASS 是 CUDA C ++模板抽象的集合，用于在 CUDA 的所有級別和規(guī)模上實現(xiàn)高性能矩陣乘法（ GEMM ）。它結合了分層分解和數(shù)據(jù)移動的策略，類似于用于實現(xiàn)cuBLAS的策略。

CUTLASS 將這些“運動部件”分解為 C ++模板類抽象的可重用和模塊化的軟件組件。這些線程范圍、扭曲范圍、塊范圍和設備范圍的原語可以通過自定義平鋪大小、數(shù)據(jù)類型和其他算法策略進行專門化和調(diào)優(yōu)。由此產(chǎn)生的靈活性簡化了它們在定制內(nèi)核和應用程序中作為構建塊的使用。

為了支持多種應用程序， CUTLASS 為混合精度計算提供了廣泛的支持，提供了專門的數(shù)據(jù)移動，并為以下各項提供了多重累積抽象：

半精度浮點（FP16）、 BFloat16 （BF16）和張量浮點 32 （TF32）數(shù)據(jù)類型。

單精度浮點（FP32）數(shù)據(jù)類型。

雙精度浮點（FP64）數(shù)據(jù)類型。

整數(shù)數(shù)據(jù)類型（4b和8b）。

二進制數(shù)據(jù)類型（1b）。

此外， CUTLASS 演示了針對 NVIDIA Volta 、 Turing 和 Ampere 體系結構上實現(xiàn)的可編程、高通量 Tensor 核的扭曲同步矩陣乘法操作。

CUTLASS 實現(xiàn)了高性能卷積（隱式 GEMM ）。隱式 GEMM 是作為 GEMM 的卷積運算的公式。這允許 Cutslass 通過重用高度優(yōu)化的 warp-wide GEMM 組件和以下組件來構建卷積。

關于作者

Matthew Nicely 于 2019 年 3 月加入 NVIDIA ，之前曾在美國 AL-Huntsville 的美國陸軍航空和導彈研究開發(fā)與工程中心工作。在那里，他專注于 CUDA 算法開發(fā)和 Jetson 系列的優(yōu)化。在 NVIDIA ，他曾在聯(lián)邦部門工作，協(xié)助 CUDA 的開發(fā)和優(yōu)化，以及在各種 NVIDIA 工具集上為客戶提供教育和概念驗證，最近轉(zhuǎn)為 math libraries 產(chǎn)品經(jīng)理。 2019 年，他獲得了博士學位。計算機工程學位，專注于 GPU 的算法優(yōu)化。

審核編輯：郭婷