深度分析異構(gòu)技術如何讓性能功耗魚與熊掌兼得？

一般來講高性能處理器都會采用深度壓縮、多管道、分支預測和動態(tài)執(zhí)行等技術來最大限度的提升性能，但是這也都是有代價的，尤其會影響功率的效率。

如果這些任務是可以并行執(zhí)行的，那么就可以采用更多CPU的解決方案，不僅提升了性能還提高了功率效率。為了實現(xiàn)這個功能，CPU供應商開始提供多核和多集群的解決方案，此外操作系統(tǒng)和應用開發(fā)者們也開始調(diào)整他們的軟件設計來利用這些特性。

隨著時間的推移應用的性能要求也在不斷的變化，因此如果可能，我們需要將它們移植到更高效的CPU上來執(zhí)行提升功效。對于專業(yè)的計算密集型任務，專用的加速器能夠提供非常好的功效，但是不宜長時間使用。

當異構(gòu)處理器時代到來，從性能和低功耗的角度來看我們需要考慮哪些因素呢？不妨看看下面幾條。

多線程

即使采用動態(tài)執(zhí)行技術，對于一般的工作負載來講，在每個時鐘周期內(nèi)CPU都不是被全部占用的，大部分時間是用來等待訪問存儲器系統(tǒng)。然而當其中一部分程序（指某個線程）發(fā)生阻塞時，硬件資源會用于其他線程任務的執(zhí)行。這也是多線程對我們是有利的原因：當?shù)谝粋€線程阻塞時有機制能夠切換到第二個線程來執(zhí)行，這會提升整個系統(tǒng)的吞吐量。充分利用CPU運行的每個執(zhí)行周期會帶來性能的顯著提升。更具不同的應用，設置第二個線程會從總體上提升CPU的性能達40%，芯片的成本則只增加10%左右。Imagination推出的MIPS CPU就專門集成了硬件多線程特性。

共同的觀點

將一個執(zhí)行任務從一個處理器移植到另一個處理器上需要處理器具有相同的指令集和系統(tǒng)內(nèi)存空間。這個特性主要是通過共享虛擬內(nèi)存（SVM）來實現(xiàn)的，程序中的任何指針必須連續(xù)指向相同的代碼或者數(shù)據(jù)空間，任何被占用的緩存空間對于后續(xù)的處理器來說也必須是可見的。

圖1：集群之間轉(zhuǎn)換時內(nèi)存移動

圖2：單個集群內(nèi)部轉(zhuǎn)換時更小更快的內(nèi)存移動

緩存空間的一致性

緩存一致性可以通過軟件進行管理，這需要在向后續(xù)處理器（CPU B）轉(zhuǎn)換之前初始處理器（CPU A）要清空它的緩存空間，備份到主存儲空間。然后CPU B從主存儲空間獲取數(shù)據(jù)和指令。這個過程會頻繁的對存儲空間進行訪問，因此會比較耗時而且消耗功率比較大；因為訪問主存儲空間通常消耗的功率會比從緩存空間取數(shù)據(jù)明顯高很多，因此這個影響會被進一步放大。為了解決這個問題，硬件緩存一致性能夠記住這些緩存空間的位置，確保后續(xù)的訪問能夠獲取正確的數(shù)據(jù)。

“在很多異構(gòu)系統(tǒng)中，一個集群往往采用多個高性能處理器，同時另一個集群也會部署更小的高效處理器。在這些不同類型的處理器之間進行任務的轉(zhuǎn)換意味著新處理器的一級和二級緩存都是空閑的，在轉(zhuǎn)換期間需要之前的緩存結(jié)構(gòu)和時間才能將新的緩存空間利用起來。

然而，我們又另一個選擇—MIPS I6500 CPU。I6500通過集成的I/O相干單元模塊（IOCU）支持異構(gòu)混合外部加速器以及同一個集群中不同類型的處理器，即一個集群中允許高性能多線程功率優(yōu)化的處理器混合使用?，F(xiàn)在將任務從一種類型的處理器遷移到另一種類型的處理器上變得更加的高效，因為只有一級緩存是空閑的，而且對于之前的一級緩存的訪問代價也很低，這樣整個遷移過程就變得更加高效了?！?/p>

CPU與專用加速器的結(jié)合

CPU是通用的處理機器，它們的靈活性使他們能夠處理幾乎所有的任務，但是在效率上就大大折扣了。通過優(yōu)化PowerVR GPU能夠處理大型高并行計算密集型任務，并體現(xiàn)出較高的性能和功效，相對CPU而言其靈活性則有所降低，但是逐漸建立起了良好的軟件開發(fā)生態(tài)系統(tǒng)，豐富的API接口如OpenCL、OpneVX等。

專用的硬件加速器具有更高的性能和功效，這一點明顯優(yōu)于CPU，但在靈活性方面則遠遠落后。

然而對于計算密集型應用使用加速器能夠最大限度的提升系統(tǒng)性能和功效，一些專業(yè)的計算型應用場景如音頻和視頻處理、機器學習中的神經(jīng)網(wǎng)絡處理等都采用類似的數(shù)學運算。

硬件加速可以集成到CPU器件中，增加單指令多數(shù)據(jù)（SIMD）特性以及浮點計算單元（ALUs）。然而通過SIMD單元來處理數(shù)據(jù)時CPU相當于是一個DMA（直接數(shù)據(jù)訪問）控制器搬運數(shù)據(jù)，CPU作為DMA控制器效率是非常低的。

相反地異構(gòu)系統(tǒng)則能兩者兼顧，它集成了一些專用的硬件加速器，融合了多個CPU內(nèi)核，通過專用的硬件的設計不僅具備更好的效率，同時也保持非常大的靈活性。

功耗的降低和性能的提升是與加速器執(zhí)行有效任務占用的時間相關的，適合加速器執(zhí)行的任務包大小范圍很廣—你可能期望少量的大型任務，而不是很多小型任務。

當然在CPU和加速器之間的轉(zhuǎn)換也是有代價的，這會限制執(zhí)行任務的大小從而節(jié)省功率提升性能。對于小型任務，功率的消耗和任務傳輸?shù)臅r間明顯超過了使用加速器節(jié)省的功率和時間。

數(shù)據(jù)傳輸?shù)拇鷥r

為了降低時間和功耗的代價，共享虛擬內(nèi)存（SVM）和緩存一致性技術（I6500 CPU集成了這兩個特性）是最理想的選擇，它們解決了任務傳輸?shù)膯栴}，因為我們不需要再進行數(shù)據(jù)的拷貝和緩存的清除，當然還有其他可用的技術能夠進一步降低數(shù)據(jù)傳輸?shù)拇鷥r。

HAS組織開發(fā)了一個工具來支持異構(gòu)處理模塊的集成，一個系統(tǒng)的設計遠遠不止CPUs和GPUs，當然HAS系統(tǒng)還提供了一種中間性過渡語言稱為HSAL，通過常規(guī)的編譯轉(zhuǎn)換為異構(gòu)指令集架構(gòu)（ISAs），這樣就大大簡化了系統(tǒng)軟件的開發(fā)，同時也定義了用戶模式隊列。

用戶模式隊列能夠讓我們有計劃的安排任務的執(zhí)行順序，以及采用觸發(fā)信號，這樣就可以降低任務執(zhí)行之間的銜接開銷。

異構(gòu)帶來的好處

異構(gòu)系統(tǒng)能夠讓我們有機會顯著的提升系統(tǒng)性能并且降低系統(tǒng)的功耗，使得系統(tǒng)能夠繼續(xù)擴展，不再受之前處理能力的限制。

多線程、異構(gòu)和一致性的CPU集群如MIPS I6500處理器集成了所有這些功能特性，是異構(gòu)系統(tǒng)核心的理想選擇。因此很多應用場景都將其用在下一代產(chǎn)品中，例如ADAS（高級駕駛輔助系統(tǒng)）、自動駕駛汽車、網(wǎng)絡、無人機、工業(yè)自動化、安全、視頻分析和機器學習等方面。