CPU分支預(yù)測(cè)對(duì)程序的影響

分支預(yù)測(cè)的英文名字是「Branch Prediction」

大家可以在Google上搜索這個(gè)關(guān)鍵字，可以看到關(guān)于分支預(yù)測(cè)的很多內(nèi)容，不過(guò)要搞清楚分支預(yù)測(cè)如何工作的，才是問(wèn)題的關(guān)鍵。

?

分支預(yù)測(cè)對(duì)程序的影響

我們來(lái)看看下面的兩段代碼

代碼1

#include?
#include?
#include?
int?main()
{
????// Generate data
????const?unsigned?arraySize = 32768;
????int?data[arraySize];
????for?(unsigned?c = 0; c < arraySize; ++c)
????????data[c] = std::rand() % 256;
????// !!! With this, the next loop runs faster.
????//std::sort(data, data + arraySize);
????// Test
????clock_t?start = clock();
????long?long?sum = 0;
????for?(unsigned?i = 0; i < 100000; ++i) {
????????for?(unsigned?c = 0; c < arraySize; ++c) { // Primary loop
????????????if?(data[c] >= 128) sum += data[c];
????????}
????}
????double?elapsedTime = static_cast(clock()-start) / CLOCKS_PER_SEC;
????std::cout?<< elapsedTime << '
';
????std::cout?<< "sum = "?<< sum << '
';
}

執(zhí)行結(jié)果

@ubuntu:/data/study$ g++ fenzhi.cpp && ./a.out
21.6046
sum = 314931600000

代碼2

#include?
#include?
#include?
int?main()
{
????// Generate data
????const?unsigned?arraySize = 32768;
????int?data[arraySize];
????for?(unsigned?c = 0; c < arraySize; ++c)
????????data[c] = std::rand() % 256;
????// !!! With this, the next loop runs faster.
????std::sort(data, data + arraySize);
????// Test
????clock_t?start = clock();
????long?long?sum = 0;
????for?(unsigned?i = 0; i < 100000; ++i) {
????????for?(unsigned?c = 0; c < arraySize; ++c) { // Primary loop
????????????if?(data[c] >= 128) sum += data[c];
????????}
????}
????double?elapsedTime = static_cast(clock()-start) / CLOCKS_PER_SEC;
????std::cout?<< elapsedTime << '
';
????std::cout?<< "sum = "?<< sum << '
';
}

執(zhí)行結(jié)果：

@ubuntu:/data/study$ g++ fenzhi.cpp && ./a.out
8.52157
sum = 314931600000

第一段代碼生成隨機(jī)數(shù)組后，沒(méi)有進(jìn)行排序，第二段代碼對(duì)隨機(jī)的數(shù)組進(jìn)行排序，執(zhí)行的時(shí)間上發(fā)生了非常大的差異。

?

所以，他們發(fā)生了什么事情呢？

導(dǎo)致他們結(jié)果不同的原因，就是分支預(yù)測(cè)，分支預(yù)測(cè)是CPU處理器對(duì)程序的一種預(yù)測(cè)，和CPU架構(gòu)有關(guān)系，現(xiàn)在的很多處理器都有分支預(yù)測(cè)的功能。

CPU在執(zhí)行這段代碼的時(shí)候

if?(data[c] >= 128) sum += data[c];

CPU會(huì)有一個(gè)提前預(yù)測(cè)機(jī)制，比如前面的執(zhí)行結(jié)果都是true，那么下一次在判斷if的時(shí)候，就會(huì)默認(rèn)認(rèn)為是true來(lái)處理，讓下面的幾條指令提前進(jìn)入預(yù)裝。

當(dāng)然，這個(gè)判斷不會(huì)影響實(shí)際的結(jié)果輸出，這個(gè)判斷只是為了讓CPU并行執(zhí)行代碼。

CPU執(zhí)行一條指令分為幾個(gè)階段

既然是分階段執(zhí)行，也就是我們正常說(shuō)的pipeline(流水線執(zhí)行)。

流水線的工人只要完成自己負(fù)責(zé)的內(nèi)容就好了，沒(méi)有必要去關(guān)心其他的人處理。

那如果我有一段代碼，如下：

int?a = 0;
a?+= 1;
a?+= 2;
a?+= 3;

?

?

從這個(gè)圖上我們可以看到，我們認(rèn)為是在執(zhí)行 a = 0結(jié)束后，才會(huì)執(zhí)行a+=1。

但是實(shí)際CPU是在執(zhí)行a=0的第一條執(zhí)行后，馬上就去執(zhí)行a+=1的第一條指令了。

也就因?yàn)檫@樣，執(zhí)行速度上得到了大幅度的提升。
?

但是對(duì)于if() 語(yǔ)言，在沒(méi)有分支預(yù)測(cè)的時(shí)候，我們需要等待if()執(zhí)行出現(xiàn)結(jié)果后才能繼續(xù)執(zhí)行下一個(gè)代碼。

如果存在分支預(yù)測(cè)的情況

通過(guò)比較我們可以發(fā)現(xiàn)，如果存在分支預(yù)測(cè)的時(shí)候，就讓執(zhí)行速度變快了。

?

那如果預(yù)測(cè)失敗，會(huì)不會(huì)就影響了執(zhí)行的時(shí)間，答案是肯定的。

在前面的例子中，沒(méi)有對(duì)數(shù)組排序的情況下，分支預(yù)測(cè)大部分都會(huì)是失敗的，這個(gè)時(shí)候就會(huì)在執(zhí)行結(jié)束后重新取指令執(zhí)行，會(huì)嚴(yán)重影響執(zhí)行效率。

而在排序后的例子中，分支預(yù)測(cè)一直處于成功的狀態(tài)，CPU的執(zhí)行速率得到大幅度的提升。

?

如果解決分支預(yù)測(cè)引起的性能下降

分支預(yù)測(cè)一定會(huì)存在一定的能性下降，想讓性能提升的方法就是不要使用這個(gè)該死的if語(yǔ)句。

比如，上面的代碼，我們可以修改成這樣

#include?
#include?
#include?
int?main()
{
????// Generate data
????const?unsigned?arraySize = 32768;
????int?data[arraySize];
????for?(unsigned?c = 0; c < arraySize; ++c)
????????data[c] = std::rand() % 256;
????// !!! With this, the next loop runs faster.
????//std::sort(data, data + arraySize);
????// Test
????clock_t?start = clock();
????long?long?sum = 0;
????for?(unsigned?i = 0; i < 100000; ++i) {
????????for?(unsigned?c = 0; c < arraySize; ++c) { // Primary loop
????????????int?t = (data[c] - 128) >> 31;
????????????sum += ~t & data[c];
????????}
????}
????double?elapsedTime = static_cast(clock()-start) / CLOCKS_PER_SEC;
????std::cout?<< elapsedTime << '
';
????std::cout?<< "sum = "?<< sum << '
';
}

比如，我們看到的絕對(duì)值代碼，里面也用了這樣的思想

/**
?* abs - return absolute value of an argument
?* @x: the value. If it is unsigned type, it is converted to signed type first.
?* char is treated as if it was signed (regardless of whether it really is)
?* but the macro's return type is preserved as char.
?*
?* Return: an absolute value of x.
?*/
#define abs(x) __abs_choose_expr(x, long long, 
????__abs_choose_expr(x, long, 
????__abs_choose_expr(x, int, 
????__abs_choose_expr(x, short, 
????__abs_choose_expr(x, char, 
????__builtin_choose_expr( 
??????__builtin_types_compatible_p(typeof(x), char), 
??????(char)({ signed?char?__x = (x); __x<0?-__x:__x; }), 
??????((void)0)))))))

#define __abs_choose_expr(x, type, other) __builtin_choose_expr( 
??__builtin_types_compatible_p(typeof(x), signed?type) || 
??__builtin_types_compatible_p(typeof(x), unsigned?type), 
??({ signed?type __x = (x); __x < 0?? -__x : __x; }), other)

當(dāng)然，你也可以這樣寫

int?abs(int?i){
?

??if(i<0)
????return?~(--i);
??return?i;
}

所以說(shuō)，計(jì)算機(jī)的盡頭是數(shù)學(xué)

參考：

https://stackoverflow.com/questions/11227809/why-is-processing-a-sorted-array-faster-than-processing-an-unsorted-array/11227902#11227902

https://blog.csdn.net/loongshawn/article/details/118339009

https://blog.csdn.net/DBC_121/article/details/105360658

編輯：黃飛