Linux內(nèi)核同步機(jī)制：引入Per-CPU變量的意義

一、源由：為何引入Per-CPU變量？

1、lock bus帶來(lái)的性能問(wèn)題

在ARM平臺(tái)上，ARMv6之前，SWP和SWPB指令被用來(lái)支持對(duì)shared memory的訪(fǎng)問(wèn)：

SWP , , []

Rn中保存了SWP指令要操作的內(nèi)存地址，通過(guò)該指令可以將Rn指定的內(nèi)存數(shù)據(jù)加載到Rt寄存器，同時(shí)將Rt2寄存器中的數(shù)值保存到Rn指定的內(nèi)存中去。

我們?cè)谠硬僮髂瞧臋n中描述的read-modify-write的問(wèn)題本質(zhì)上是一個(gè)保持對(duì)內(nèi)存read和write訪(fǎng)問(wèn)的原子性的問(wèn)題。也就是說(shuō)對(duì)內(nèi)存的讀和寫(xiě)的訪(fǎng)問(wèn)不能被打斷。對(duì)該問(wèn)題的解決可以通過(guò)硬件、軟件或者軟硬件結(jié)合的方法來(lái)進(jìn)行。早期的ARM CPU給出的方案就是依賴(lài)硬件：SWP這個(gè)匯編指令執(zhí)行了一次讀內(nèi)存操作、一次寫(xiě)內(nèi)存操作，但是從程序員的角度看，SWP這條指令就是原子的，讀寫(xiě)之間不會(huì)被任何的異步事件打斷。具體底層的硬件是如何做的呢？這時(shí)候，硬件會(huì)提供一個(gè)lock signal，在進(jìn)行memory操作的時(shí)候設(shè)定lock信號(hào)，告訴總線(xiàn)這是一個(gè)不可被中斷的內(nèi)存訪(fǎng)問(wèn)，直到完成了SWP需要進(jìn)行的兩次內(nèi)存訪(fǎng)問(wèn)之后再clear lock信號(hào)。

lock memory bus對(duì)多核系統(tǒng)的性能造成嚴(yán)重的影響（系統(tǒng)中其他的processor對(duì)那條被lock的memory bus的訪(fǎng)問(wèn)就被hold住了），如何解決這個(gè)問(wèn)題？最好的鎖機(jī)制就是不使用鎖，因此解決這個(gè)問(wèn)題可以使用釜底抽薪的方法，那就是不在系統(tǒng)中的多個(gè)processor之間共享數(shù)據(jù)，給每一個(gè)CPU分配一個(gè)不就OK了嗎。

當(dāng)然，隨著技術(shù)的發(fā)展，在ARMv6之后的ARM CPU已經(jīng)不推薦使用SWP這樣的指令，而是提供了LDREX和STREX這樣的指令。這種方法是使用軟硬件結(jié)合的方法來(lái)解決原子操作問(wèn)題，看起來(lái)代碼比較復(fù)雜，但是系統(tǒng)的性能可以得到提升。其實(shí)，從硬件角度看，LDREX和STREX這樣的指令也是采用了lock-free的做法。OK，由于不再lock bus，看起來(lái)Per-CPU變量存在的基礎(chǔ)被打破了。不過(guò)考慮cache的操作，實(shí)際上它還是有意義的。

2、cache的影響

在The Memory Hierarchy文檔中，我們已經(jīng)了解了關(guān)于memory一些基礎(chǔ)的知識(shí)，一些基礎(chǔ)的內(nèi)容，這里就不再重復(fù)了。我們假設(shè)一個(gè)多核系統(tǒng)中的cache如下：

每個(gè)CPU都有自己的L1 cache（包括data cache和instruction cache），所有的CPU共用一個(gè)L2 cache。L1、L2以及main memory的訪(fǎng)問(wèn)速度之間的差異都是非常大，最高的性能的情況下當(dāng)然是L1 cache hit，這樣就不需要訪(fǎng)問(wèn)下一階memory來(lái)加載cache line。

我們首先看在多個(gè)CPU之間共享內(nèi)存的情況。這種情況下，任何一個(gè)CPU如果修改了共享內(nèi)存就會(huì)導(dǎo)致所有其他CPU的L1 cache上對(duì)應(yīng)的cache line變成invalid（硬件完成）。雖然對(duì)性能造成影響，但是系統(tǒng)必須這么做，因?yàn)樾枰S持cache的同步。將一個(gè)共享memory變成Per-CPU memory本質(zhì)上是一個(gè)耗費(fèi)更多memory來(lái)解決performance的方法。當(dāng)一個(gè)在多個(gè)CPU之間共享的變量變成每個(gè)CPU都有屬于自己的一個(gè)私有的變量的時(shí)候，我們就不必考慮來(lái)自多個(gè)CPU上的并發(fā)，僅僅考慮本CPU上的并發(fā)就OK了。當(dāng)然，還有一點(diǎn)要注意，那就是在訪(fǎng)問(wèn)Per-CPU變量的時(shí)候，不能調(diào)度，當(dāng)然更準(zhǔn)確的說(shuō)法是該task不能調(diào)度到其他CPU上去。目前的內(nèi)核的做法是在訪(fǎng)問(wèn)Per-CPU變量的時(shí)候disable preemptive，雖然沒(méi)有能夠完全避免使用鎖的機(jī)制（disable preemptive也是一種鎖的機(jī)制），但毫無(wú)疑問(wèn)，這是一種代價(jià)比較小的鎖。

二、接口

1、靜態(tài)聲明和定義Per-CPU變量的API如下表所示：

看到這樣“豐富多彩”的Per-CPU變量的API，你是不是已經(jīng)醉了。這些定義使用在不同的場(chǎng)合，主要的factor包括：

－該變量在section中的位置

－該變量的對(duì)齊方式

－該變量對(duì)SMP和UP的處理不同

－訪(fǎng)問(wèn)per cpu的形態(tài)

例如：如果你準(zhǔn)備定義的per cpu變量是要求按照page對(duì)齊的，那么在定義該per cpu變量的時(shí)候需要使用DECLARE_PER_CPU_PAGE_ALIGNED。如果只要求在SMP的情況下對(duì)齊到cache line，那么使用DECLARE_PER_CPU_SHARED_ALIGNED來(lái)定義該per cpu變量。

2、訪(fǎng)問(wèn)靜態(tài)聲明和定義Per-CPU變量的API

靜態(tài)定義的per cpu變量不能象普通變量那樣進(jìn)行訪(fǎng)問(wèn)，需要使用特定的接口函數(shù)，具體如下：

get_cpu_var(var)

put_cpu_var(var)

上面這兩個(gè)接口函數(shù)已經(jīng)內(nèi)嵌了鎖的機(jī)制（preempt disable），用戶(hù)可以直接調(diào)用該接口進(jìn)行本CPU上該變量副本的訪(fǎng)問(wèn)。如果用戶(hù)確認(rèn)當(dāng)前的執(zhí)行環(huán)境已經(jīng)是preempt disable（例如持有spinlock），那么可以使用lock-free版本的Per-CPU變量的API:__get_cpu_var。

3、動(dòng)態(tài)分配Per-CPU變量的API如下表所示：

4、訪(fǎng)問(wèn)動(dòng)態(tài)分配Per-CPU變量的API如下表所示：

三、實(shí)現(xiàn)

1、靜態(tài)Per-CPU變量定義

我們以DEFINE_PER_CPU的實(shí)現(xiàn)為例子，描述linux kernel中如何實(shí)現(xiàn)靜態(tài)Per-CPU變量定義。具體代碼如下：

#define DEFINE_PER_CPU(type, name) \
DEFINE_PER_CPU_SECTION(type, name, "")

type就是變量的類(lèi)型，name是per cpu變量符號(hào)。DEFINE_PER_CPU_SECTION宏可以把一個(gè)per cpu變量放到指定的section中，具體代碼如下：

#define DEFINE_PER_CPU_SECTION(type, name, sec) \
__PCPU_ATTRS(sec) PER_CPU_DEF_ATTRIBUTES \－－－－－安排section
__typeof__(type) name－－－－－－－－－－－－－－－－－－－－－－定義變量

在這里具體arch specific的percpu代碼中（arch/arm/include/asm/percpu.h）可以定義PER_CPU_DEF_ATTRIBUTES，以便控制該per cpu變量的屬性，當(dāng)然，如果arch specific的percpu代碼不定義，那么在general arch-independent的代碼中（include/asm-generic/percpu.h）會(huì)定義為空。這里可以順便提一下Per-CPU變量的軟件層次：

（1）arch-independent interface。在include/linux/percpu.h文件中，定義了內(nèi)核其他模塊要使用per cpu機(jī)制使用的接口API以及相關(guān)數(shù)據(jù)結(jié)構(gòu)的定義。內(nèi)核其他模塊需要使用per cpu變量接口的時(shí)候需要include該頭文件

（2）arch-general interface。在include/asm-generic/percpu.h文件中。如果所有的arch相關(guān)的定義都是一樣的，那么就把它抽取出來(lái)，放到asm-generic目錄下。毫無(wú)疑問(wèn)，這個(gè)文件定義的接口和數(shù)據(jù)結(jié)構(gòu)是硬件相關(guān)的，只不過(guò)軟件抽象各個(gè)arch-specific的內(nèi)容，形成一個(gè)arch general layer。一般來(lái)說(shuō)，我們不需要直接include該頭文件，include/linux/percpu.h會(huì)include該頭文件。

（3）arch-specific。這是和硬件相關(guān)的接口，在arch/arm/include/asm/percpu.h，定義了ARM平臺(tái)中，具體和per cpu相關(guān)的接口代碼。

我們回到正題，看看__PCPU_ATTRS的定義：

#define __PCPU_ATTRS(sec) \
__percpu __attribute__((section(PER_CPU_BASE_SECTION sec))) \
PER_CPU_ATTRIBUTES

PER_CPU_BASE_SECTION 定義了基礎(chǔ)的section name symbol，定義如下：

#ifndef PER_CPU_BASE_SECTION
#ifdef CONFIG_SMP
#define PER_CPU_BASE_SECTION ".data..percpu"
#else
#define PER_CPU_BASE_SECTION ".data"
#endif
#endif

雖然有各種各樣的靜態(tài)Per-CPU變量定義方法，但是都是類(lèi)似的，只不過(guò)是放在不同的section中，屬性不同而已，這里就不看其他的實(shí)現(xiàn)了，直接給出section的安排：

（1）普通per cpu變量的section安排

（2）first per cpu變量的section安排

（3）SMP shared aligned per cpu變量的section安排

（4）aligned per cpu變量的section安排

（5）page aligned per cpu變量的section安排

（6）read mostly per cpu變量的section安排

了解了靜態(tài)定義Per-CPU變量的實(shí)現(xiàn)，但是為何要引入這么多的section呢？對(duì)于kernel中的普通變量，經(jīng)過(guò)了編譯和鏈接后，會(huì)被放置到.data或者.bss段，系統(tǒng)在初始化的時(shí)候會(huì)準(zhǔn)備好一切（例如clear bss），由于per cpu變量的特殊性，內(nèi)核將這些變量放置到了其他的section，位于kernel address space中__per_cpu_start和__per_cpu_end之間，我們稱(chēng)之Per-CPU變量的原始變量（我也想不出什么好詞了）。

只有Per-CPU變量的原始變量還是不夠的，必須為每一個(gè)CPU建立一個(gè)副本，怎么建？直接靜態(tài)定義一個(gè)NR_CPUS的數(shù)組？NR_CPUS定義了系統(tǒng)支持的最大的processor的個(gè)數(shù)，并不是實(shí)際中系統(tǒng)processor的數(shù)目，這樣的定義非常浪費(fèi)內(nèi)存。此外，靜態(tài)定義的數(shù)據(jù)在內(nèi)存中連續(xù)，對(duì)于UMA系統(tǒng)而言是OK的，對(duì)于NUMA系統(tǒng)，每個(gè)CPU上的Per-CPU變量的副本應(yīng)該位于它訪(fǎng)問(wèn)最快的那段memory上，也就是說(shuō)Per-CPU變量的各個(gè)CPU副本可能是散布在整個(gè)內(nèi)存地址空間的，而這些空間之間是有空洞的。本質(zhì)上，副本per cpu內(nèi)存的分配歸屬于內(nèi)存管理子系統(tǒng)，因此，分配per cpu變量副本的內(nèi)存本文不會(huì)詳述，大致的思路如下：

內(nèi)存管理子系統(tǒng)會(huì)根據(jù)當(dāng)前的內(nèi)存配置為每一個(gè)CPU分配一大塊memory，對(duì)于UMA，這個(gè)memory也是位于main memory，對(duì)于NUMA，有可能是分配最靠近該CPU的memory（也就是說(shuō)該cpu訪(fǎng)問(wèn)這段內(nèi)存最快），但無(wú)論如何，這些都是內(nèi)存管理子系統(tǒng)需要考慮的。無(wú)論靜態(tài)還是動(dòng)態(tài)per cpu變量的分配，其機(jī)制都是一樣的，只不過(guò)，對(duì)于靜態(tài)per cpu變量，需要在系統(tǒng)初始化的時(shí)候，對(duì)應(yīng)per cpu section，預(yù)先動(dòng)態(tài)分配一個(gè)同樣size的per cpu chunk。在vmlinux.lds.h文件中，定義了percpu section的排列情況：

#define PERCPU_INPUT(cacheline) \
VMLINUX_SYMBOL(__per_cpu_start) = .; \
*(.data..percpu..first) \
. = ALIGN(PAGE_SIZE); \
*(.data..percpu..page_aligned) \
. = ALIGN(cacheline); \
*(.data..percpu..readmostly) \
. = ALIGN(cacheline); \
*(.data..percpu) \
*(.data..percpu..shared_aligned) \
VMLINUX_SYMBOL(__per_cpu_end) = .;

對(duì)于build in內(nèi)核的那些per cpu變量，必然位于__per_cpu_start和__per_cpu_end之間的per cpu section。在系統(tǒng)初始化的時(shí)候（setup_per_cpu_areas），分配per cpu memory chunk，并將per cpu section copy到每一個(gè)chunk中。

2、訪(fǎng)問(wèn)靜態(tài)定義的per cpu變量

代碼如下：

#define get_cpu_var(var) (*({ \
preempt_disable(); \
&__get_cpu_var(var); }))

再看到get_cpu_var和__get_cpu_var這兩個(gè)符號(hào)，相信廣大人民群眾已經(jīng)相當(dāng)?shù)氖煜ぃ粋€(gè)持有鎖的版本，一個(gè)lock-free的版本。為防止當(dāng)前task由于搶占而調(diào)度到其他的CPU上，在訪(fǎng)問(wèn)per cpu memory的時(shí)候都需要使用preempt_disable這樣的鎖的機(jī)制。我們來(lái)看__get_cpu_var：

#define __get_cpu_var(var) (*this_cpu_ptr(&(var)))

#define this_cpu_ptr(ptr) __this_cpu_ptr(ptr)

對(duì)于ARM平臺(tái)，我們沒(méi)有定義__this_cpu_ptr，因此采用asm-general版本的：

#define __this_cpu_ptr(ptr) SHIFT_PERCPU_PTR(ptr, __my_cpu_offset)

SHIFT_PERCPU_PTR這個(gè)宏定義從字面上就可以看出它是可以從原始的per cpu變量的地址，通過(guò)簡(jiǎn)單的變換（SHIFT）轉(zhuǎn)成實(shí)際的per cpu變量副本的地址。實(shí)際上，per cpu內(nèi)存管理模塊可以保證原始的per cpu變量的地址和各個(gè)CPU上的per cpu變量副本的地址有簡(jiǎn)單的線(xiàn)性關(guān)系（就是一個(gè)固定的offset）。__my_cpu_offset這個(gè)宏定義就是和offset相關(guān)的，如果arch specific沒(méi)有定義，那么可以采用asm general版本的，如下：

#define __my_cpu_offset per_cpu_offset(raw_smp_processor_id())

raw_smp_processor_id可以獲取本CPU的ID，如果沒(méi)有arch specific沒(méi)有定義__per_cpu_offset這個(gè)宏，那么offset保存在__per_cpu_offset的數(shù)組中（下面只是數(shù)組聲明，具體定義在mm/percpu.c文件中），如下：

#ifndef __per_cpu_offset
extern unsigned long __per_cpu_offset[NR_CPUS];

#define per_cpu_offset(x) (__per_cpu_offset[x])
#endif

對(duì)于ARMV6K和ARMv7版本，offset保存在TPIDRPRW寄存器中，這樣是為了提升系統(tǒng)性能。

3、動(dòng)態(tài)分配per cpu變量

這部分內(nèi)容留給內(nèi)存管理子系統(tǒng)吧。
編輯：hfy