多核處理器的挑戰(zhàn)，多核處理器結構與分類

近幾年RISC-V江湖發(fā)生了幾件有影響的事情，平頭哥大手筆一股腦開源了4款RISC-V CPU，SIFIVE公布了其基于RISC-V 128核的高端CPU的SOC計劃，再加上前段時間Esperanto發(fā)布了其基于RISC-V的1000核AI處理器，RISC-V江湖可謂是熱鬧非凡，你爭我趕，百花齊放，百家爭鳴；當然RISC-V的前程到底會怎么樣？可能還有很多不可確定的因素。但我們可以看RISC-V已經不再滿足于現有的嵌入式領域，而是在向多種應用場景蠶食。包括高性能計算，數據中心的云服務器應用等，各玩家也都在摩拳擦掌，蓄勢待發(fā)。

CPU核數的增多給處理器的設計帶來了很多新的挑戰(zhàn)，包括我在前面文章中介紹的cache一致性，內存一致性等，既然多核的引入使系統(tǒng)變得如此復雜，那為什么我們還需要發(fā)展多核處理器，并且核數還越來越龐大，而不是專注于提升單核的計算能力？天下武功，唯快不破！我們繼續(xù)保持原來的方向把單核的性能再提升一個臺階不是更香嗎？

我們今天就簡單地來談一下這個問題。

1.多核處理器介紹

1.1為什么需要多核處理器？

人類生活對計算能力提出了越來越高的需求，氣象預報，各種AI業(yè)務，各種生態(tài)模擬無不要求更多的計算能力和計算資源。提升計算機系統(tǒng)的計算能力的方法之一是提升系統(tǒng)中每一個處理器（我們稱為核）的計算能力，另外一種途徑就是增加系統(tǒng)中處理器的數目，在單個處理器的計算能力一定的情況下,通過并行計算的方式來提升系統(tǒng)整體的計算能力和計算吞吐量。

【注：目前針對AI計算需求，由于其業(yè)務模型的獨特性，還有一種技術潮流，就是把計算下沉，不管是process in memory 還是process near memory, 或者Compute Express Link (CXL)， 其本質都是減少數據在內存與CPU之間的來回搬運，有興趣的同學可以關注】

對于一個處理器的性能，我們可以用完成一項任務所需要的時間來衡量，我們可以用如下公式來表示：

CPU Time (seconds) ?= ?Total Instructions ?x ?(Cycles/Instruction) x (Seconds/Cycle)

也就是衡量一個處理器性能，我們需要考察三個因素：

（1） 完成一項任務所需要的指令數目（Total Instructions），比如需要完成一個乘法運算和一個加法運算 (a = a + b x c)，某些體系架構需要采用兩條指令（一條乘法指令和一條加法指令），但某些體系結構可以直接用一條乘加指令(MAC)完成該任務，所以針對一個具體的任務，不同CPU需要的指令數目是不同的。

這個參數主要是由程序算法，CPU體系結構，指令集ISA以及編譯器的能力決定的。

（2） 單指令的耗費的周期數目(CPI：Cycles per Instruction)，與此對應的我們常用另外一個性能參數叫IPC(Instructions per cycle)，這兩者互為倒數。這個是由CPU的微架構確定的。

（3） 單cycle的時間長度，這個就是CPU的時鐘頻率。CPU能夠達到的時鐘頻率主要受硅工藝以及微架構的影響。為了提高CPU的頻率通常需要采用更先進的工藝（比如7納米，5納米），在微架構設計上需要采用更多的流水線級數。

過去我們一直在為提高單處理器的計算性能做持續(xù)不斷的努力，我們來看一下過去35年處理器發(fā)展的一個整體趨勢：

從這個發(fā)展趨勢我們可以看出：

（1） 集體管的數目還是繼續(xù)按照摩爾定律在推進；

（2） 單核的性能從1988年到2007年，微處理器的性能以平均50%的速度不斷提升。但從2008年開始，單處理器的性能基本達到了頂點，提升速度不太明顯。

（3） 系統(tǒng)的主頻經過大幅的提升以后也達到了一個很高的水平，在2008年后基本達到了峰值。

（4） CPU的功耗也進入了一個高原區(qū)域。

隨著晶體管密度的不斷增加，CPU的能耗密度也顯著提升，熱量的散失成為了一個大問題，幾乎達到了空氣冷卻散熱能力的極限。下圖展示了CPU的能量密度趨勢。

在70納米的工藝下CPU的能耗密度基本就與原子核反應堆的能量密度相當，隨著制造工藝的提升，當前的能耗密度甚至已經與火箭尾噴管的能量密度相當。

所以通過繼續(xù)增加集成電路的規(guī)模和工藝來提高處理器性能的方法變得不再那么有效，我們需要另外一種手段來提升系統(tǒng)的計算性能，那就是并行處理。與其建造更快更復雜的單處理器，不如在單個芯片上放置多個相對簡單的處理器，我們將它稱之為多核處理器。采用多核處理器來構造我們計算機系統(tǒng)，我們稱之為多核系統(tǒng)。此外多核系統(tǒng)與單純意義上的指令并行ILP(Instruction Level Parallelism)超標量處理器相比還具備兩個優(yōu)勢：（1）性價比更高，（2）能耗效率高

1.2多核處理器結構與分類

并行計算架構可以有多種分類方式，比如可以根據并行計算系統(tǒng)采用的控制方式分類，地址空間組織方式，處理器之間的連接網絡等維度來對并行架構進行分類。我們采用知名的Flynn分類方式，根據指令和數據流來對并行計算架構進行分類。

• SISD(Single Instruction Single Data): 這個就是順序執(zhí)行

• MISD(Multiple Instruction Single Data): 多個處理器對同一個數據執(zhí)行不同的指令。這個理論上存在，在實際應用的非常少。

• SIMD(Single Instruction Multiple Data): 多個處理器對不同數據執(zhí)行相同的指令（比如矩陣加法和相關矢量運算，目前AI領域應用廣泛）。

• MIMD(Multiple Instruction Multiple Data): 多個處理器獨立地執(zhí)行自己的指令處理自己的數據。

我們重點關注MIMD中多核處理器部分，由于多核處理器目前大部分都是通過共享內存方式進行通信（還有采用消息方式通信的，不在我們的討論范圍，就不羅嗦了），根據內存組織方式的不同，共享內存多核處理器系統(tǒng)具有如下幾個細分：

• UAM(Uniform memory access)

• NUMA(non-uniform memory access)

• COMA(Cache-only memory access)

UMA系統(tǒng)中所有的處理器共享統(tǒng)一的物理內存（集中式共享內存Centralized shared memory），所有處理器訪問該物理內存的時間基本相同，每個處理器可以有它自己的私有緩存(cache)。所有的外設對內存的訪問能力也完全平等相同。

?

當所有的處理器對外設IO也擁有相同的訪問能力時，這種共享的多核處理器就叫做對稱處理器SMP(symmetric multiprocessor)。如果系統(tǒng)中只有一個或者少數幾個擁有對外設的訪問能力，則可以稱為非對稱處理器(asymmetric multiprocessor)。

Intel的Xeon多核處理器就是一個典型的SMP應用例子。

如果在多核處理器中，每個處理器訪問內存所需要的時間不同，則我們稱為NUMA系統(tǒng)，在NUMA系統(tǒng)中，內存不再集中在一起供所有處理器平等訪問，不同的處理器都有其自身的本地內存（分布式共享內存系統(tǒng)DSM : Distributed Shared Memory）。但這些處理器上的內存共享同一個全局地址空間，其它處理器也都能訪問，處理器訪問本地內存需要的時間少于訪問其他處理器的遠端內存需要的時間。

?

如果在多個核之間還維持cache的一致性，則稱為CC-NUMA(Cache Coherency NUMA)，如果每個處理器只在本地Cache中保持處理器的私有信息，則不需要維持全系統(tǒng)的cache一致性，我們稱這種系統(tǒng)為 NC-NUMA。

ARM公司的Opteron處理器就是一個典型的NUMA應用例子。

如果把上述NUMA系統(tǒng)中所有的分布式的主memory變?yōu)閏ache則形成了COMA系統(tǒng)，它是NUMA的一種特殊形式。

?

Kendall Square Research的KSR-1就是COMA的一個例子。

1.3多核處理器的挑戰(zhàn)

共享內存式的多核處理器需要解決兩個主要問題：

（1） Cache一致性問題：由于同一份數據在整個系統(tǒng)中存在多份，分布在不同的處理器的cache中，如果一個處理器修改了自己的那份數據，則其它處理器的數據就不是最新有效的了。如果保證核間的cache一致性是多核處理器設計的一個重要方面。

（2） 核間互聯(lián)：多核之間通過共享內存通信是通過往全局內存中寫入數據和讀取數據來完成的，當多個處理器同時訪問（寫入或者讀取）共享內存時會導致總線上的競爭，從而導致系統(tǒng)性能惡化，所以優(yōu)化總線結構設計也是提升多核性能的一個關鍵技術。

當然其它方面的問題，比如任務在多個核之間的調度管理也是一個專題。

編輯：黃飛