英特爾四大層面，提升DeepRec訓(xùn)練和推理能力

從淘寶到天貓應(yīng)用，從搜索、推薦到廣告等場(chǎng)景，對(duì)井噴式的數(shù)據(jù)進(jìn)行超大規(guī)模訓(xùn)練推理的應(yīng)用，已經(jīng)在我們身邊落地開花。阿里巴巴集團(tuán)的開源推薦引擎 DeepRec (PAI-TF) 主要用于稀疏模型訓(xùn)練和預(yù)測(cè)，可支撐千億特征、萬(wàn)億樣本的超大規(guī)模稀疏訓(xùn)練。

從2019 年開始，英特爾就與阿里巴巴PAI團(tuán)隊(duì)緊密合作，將英特爾 AI 技術(shù)應(yīng)用到 DeepRec 中。特別是英特爾處理器內(nèi)置的英特爾DL Boost (英特爾深度學(xué)習(xí)加速)，為 DeepRec 實(shí)現(xiàn)了四個(gè)層面上的優(yōu)化：框架優(yōu)化、算子優(yōu)化、子圖優(yōu)化和模型優(yōu)化。

四大層面，提升DeepRec 訓(xùn)練和推理能力

自英特爾 至強(qiáng) 可擴(kuò)展處理器問(wèn)世以來(lái)，通過(guò)從 AVX-256 升級(jí)到 AVX-512，英特爾將 AVX 的能力提高了一倍，極大地提升了深度學(xué)習(xí)訓(xùn)練和推理能力。第三代英特爾 至強(qiáng) 可擴(kuò)展處理器之后，英特爾推出支持 BFloat16 (BF16) 數(shù)據(jù)類型的指令集，也應(yīng)用到 DeepRec 的優(yōu)化中。

框架優(yōu)化：DeepRec 集成了英特爾開源的跨平臺(tái)深度學(xué)習(xí)性能加速庫(kù)oneDNN (oneAPI Deep Neural Network Library)，該程序庫(kù)已經(jīng)針對(duì)大量主流算子實(shí)現(xiàn)了性能優(yōu)化。與搭載 BF16 指令的第三代英特爾至強(qiáng)可擴(kuò)展處理器同時(shí)使用，可顯著提高模型訓(xùn)練和推理性能。

算子優(yōu)化：搜索廣告推薦模型中存在著大量稀疏算子，調(diào)用 AVX-512 指令加以優(yōu)化后，大幅提升了數(shù)據(jù)讀寫效率和性能。

子圖優(yōu)化：圖優(yōu)化是 AI 性能優(yōu)化的主要有效手段之一。在大規(guī)模稀疏場(chǎng)景下，DeepRec 加入多種子圖融合功能，減少大量冗余操作，配合英特爾 AVX-512 指令加速，實(shí)現(xiàn)了子圖性能的明顯提升。

模型優(yōu)化：基于CPU 平臺(tái)，英特爾在 DeepRec 構(gòu)建了涵蓋多個(gè)主流模型的獨(dú)有推薦模型集合，涉及召回、排序、多目標(biāo)等多種常見場(chǎng)景；并針對(duì)硬件平臺(tái)進(jìn)行性能優(yōu)化，相較于其他框架在 CPU 平臺(tái)上帶來(lái)跨越式性能提升。

阿里巴巴 PAI 團(tuán)隊(duì)的測(cè)試結(jié)果證明：基于 Criteo 數(shù)據(jù)集，使用BF16優(yōu)化后，模型WDL精度或AUC可以逼近FP32，并且BF16模型的訓(xùn)練性能提升達(dá)1.4倍，效果顯著。

未來(lái)，英特爾還會(huì)從優(yōu)化器算子、attention 子圖、添加多目標(biāo)模型等多個(gè)角度進(jìn)一步實(shí)施優(yōu)化，更大程度地發(fā)揮 CPU 平臺(tái)硬件優(yōu)勢(shì)、尤其是新硬件特征的效果最大化，從而為稀疏場(chǎng)景打造更高性能的 CPU 解決方案。

當(dāng)然，英特爾為 DeepRec 的優(yōu)化并不僅限于 CPU 層面。

審核編輯 ：李倩