解讀數(shù)據(jù)中心供電谷歌48V架構(gòu)布局

? ? ? ? ?谷歌在不斷優(yōu)化并精簡(jiǎn)其數(shù)據(jù)中心的供電架構(gòu)，從最早的定制高效率PSU電源，去掉機(jī)房級(jí)UPS，將UPS搬到服務(wù)器主板上，提升供電效率并減少機(jī)房級(jí)UPS投資及損耗;隨著服務(wù)器機(jī)柜功率不斷增加，以及進(jìn)一步降低能耗，谷歌轉(zhuǎn)而采用了48V供電架構(gòu)，在這個(gè)方向變化過(guò)程中，中間還過(guò)度有12V中間轉(zhuǎn)換環(huán)節(jié)的階段，直到2013年才實(shí)現(xiàn)了從電網(wǎng)到48V再到CPU的極致精簡(jiǎn)架構(gòu)，去掉了機(jī)房級(jí)UPS，去掉了機(jī)柜級(jí)48V到12V的二次轉(zhuǎn)換，并在服務(wù)器主板級(jí)實(shí)現(xiàn)了48V到CPU的單級(jí)變換，最后在2015年最后將鉛酸電池替換成鋰電池，最終實(shí)現(xiàn)了最新的48V整機(jī)柜架構(gòu)。

　　下圖是在OCP峰會(huì)上google的48V機(jī)柜介紹資料

　　谷歌48V機(jī)柜的布局

　　谷歌這個(gè)半柜高度48V供電整機(jī)柜的幾個(gè)特點(diǎn)：

　　1、采用48V供電POL架構(gòu)比起傳統(tǒng)的12V服務(wù)器架構(gòu)降低了30%以上的能耗，大大降低了全球云數(shù)據(jù)中心的能耗;

　　2、采用了定制的48V供電POL服務(wù)器，所有服務(wù)器供電均來(lái)自整機(jī)柜后側(cè)的48V母線排，采用48V母線也可以支撐未來(lái)單機(jī)柜功率密度增加到50KW以上;

　　3、將48V電源插框放到機(jī)柜頂部，將48V鋰電池房到了機(jī)柜底部，估計(jì)是擔(dān)心服務(wù)器溫度影響電池壽命;

　　4、采用了48V供電的TOR交換機(jī)，由兩個(gè)較小的48V電源給交換機(jī)供電，其實(shí)可以不用單獨(dú)配置;

　　5、POL服務(wù)器采用了混搭的方式，部分可能為CPU節(jié)點(diǎn)，GPU節(jié)點(diǎn)，或者存儲(chǔ)節(jié)點(diǎn)等任何配置;

　　6、2U不到高度的PSU插框里邊有8個(gè)48V的插槽，安裝了6個(gè)PSU電源模塊，考慮5用1備以及UPS充電功率，參考行業(yè)典型的3KW高效率電源模塊，估計(jì)半機(jī)柜負(fù)荷大約在12到14KW的峰值功率，整個(gè)機(jī)柜的話兩套UPS的功率將翻倍。

　　7、48V的UPS電池也是模塊化設(shè)計(jì)，可以根據(jù)IT功率以及備電時(shí)間來(lái)選擇需要的模塊電池?cái)?shù)量，上圖目視滿配可以支持多達(dá)10個(gè)電池包。

　　8、谷歌已經(jīng)大規(guī)模使用這個(gè)技術(shù)好幾年了，技術(shù)上非常成熟，效率很高，成本也得到很大降低。

　　谷歌貢獻(xiàn)給OCP的48V供電機(jī)柜

　　谷歌貢獻(xiàn)給OCP的48V機(jī)柜的幾個(gè)特點(diǎn)：

　　1、21英寸的內(nèi)寬，可以支持各種類型的服務(wù)器，但可能在機(jī)柜深度方面比通用OCP的柜子更短，以便在數(shù)據(jù)中心內(nèi)可以安裝更多機(jī)柜列;

　　2、可以安裝在各種類型的數(shù)據(jù)中心內(nèi)，滿足各種用戶和部署在全球各地的數(shù)據(jù)中心內(nèi)使用;

　　3、冷通道維護(hù)，前面兩側(cè)可安裝網(wǎng)線，或者可選的48V直流PDU;

　　4、48V UPS插框安裝在機(jī)柜的中部，大約2U的高度為電源空間（不含電池），配置6個(gè)PSU模塊，如果采用3KW的典型48V電源模塊，則可以支撐最大15KW的機(jī)柜功率。

　　5、由于采用了機(jī)柜內(nèi)的UPS架構(gòu)，機(jī)房級(jí)直接采用市電直供，由機(jī)柜頂部的母線排直接給整機(jī)柜供電，即插即用，供電架構(gòu)非常簡(jiǎn)單和扁平，效率和成本較優(yōu)。

　　6、如果其他用戶的服務(wù)器仍然采用12V輸入的主板，那也可以通過(guò)在這個(gè)48V機(jī)柜內(nèi)增加一個(gè)48V轉(zhuǎn)12V的DCDC變換器來(lái)滿足原有12V輸入服務(wù)器。

　　7、目前谷歌已經(jīng)和facebook對(duì)這個(gè)新的機(jī)柜和48V UPS技術(shù)準(zhǔn)備一個(gè)新的規(guī)格提交給OCP審批，給行業(yè)增加更多的選擇。

　　前面簡(jiǎn)單分析了該48V整機(jī)柜的特點(diǎn)，該整機(jī)柜自帶48V鋰電池BBU，不再需要機(jī)房級(jí)的UPS，配電結(jié)構(gòu)非常精簡(jiǎn)，可以大大減低投資和系統(tǒng)能耗，下面我們做個(gè)48V整機(jī)柜架構(gòu)和傳統(tǒng)UPS供電架構(gòu)的簡(jiǎn)單能效對(duì)比。

　　采用傳統(tǒng)的UPS供電架構(gòu)，每臺(tái)服務(wù)器自帶PSU電源的傳統(tǒng)系統(tǒng)如下圖，從電網(wǎng)到12V服務(wù)器主板，大約有22%的能耗被浪費(fèi)了，傳統(tǒng)UPS架構(gòu)下即便采用目前高效率的供電系統(tǒng)，市電到服務(wù)器的12V主板也會(huì)有6.4%的能耗浪費(fèi)。

　　解讀數(shù)據(jù)中心供電谷歌48V架構(gòu)布局

　　傳統(tǒng)UPS供電架構(gòu)下的供電能效

　　而采用谷歌推薦的48V整機(jī)柜供電架構(gòu)，不再需要UPS和復(fù)雜變配電單元，市電直接給到整機(jī)柜來(lái)供電，市電到服務(wù)器主板的典型損耗為7%，目前業(yè)界領(lǐng)先水平可以控制在4%以內(nèi)的損耗。

　　解讀數(shù)據(jù)中心供電谷歌48V架構(gòu)布局

　　傳統(tǒng)48V整機(jī)柜供電架構(gòu)下的供電能效

　　因此兩者對(duì)比下來(lái)，采用市電直供48V整機(jī)柜帶BBU電池包的供電架構(gòu)比采用傳統(tǒng)UPS帶12V PSU的機(jī)架式服務(wù)器供電架構(gòu)，從電網(wǎng)到服務(wù)器主板典型的系統(tǒng)能節(jié)能量為15%。

　　我們?cè)倏捶?wù)器主板到CPU的供電路徑上，采用12V主板和48V主板能耗的對(duì)比，這里以數(shù)據(jù)中心所采用的典型Vicor 公司產(chǎn)品為例來(lái)計(jì)算，分別比較機(jī)柜級(jí)PSU整流模塊效率、12V和48V方案在服務(wù)器主板上的傳輸損耗，以及12V或者48V到CPU、RAM等的降壓POL電源的綜合效率。從AC-DC電源的輸出端經(jīng)過(guò)連接器，傳輸路徑，再經(jīng)過(guò)轉(zhuǎn)換最后輸送到處理器。對(duì)整體效率來(lái)說(shuō)，傳輸路徑上的損耗也不容忽視。下圖是從AC到CPU的全路徑狀況。