ChatGPT炒熱GPU，ASIC和FPGA能否分一杯羹？

電子發(fā)燒友網報道（文/周凱揚）ChatGPT的出現(xiàn)，對于數(shù)據中心硬件市場無疑是一針強心劑，不少GPU廠商更是從中受益，從再度興起的聊天機器人潮流中收獲了更多訂單。那么對于ChatGPT這類對AI算力有著不小需求的應用來說，ASIC和FPGA是否也能借上這股東風呢？

不同硬件的成本對比

在機器學習推理場景中，除了GPU外，還有一大通用AI硬件適合這一負載，那就是FPGA。與GPU一樣，在技術和算法還未成熟且仍在打磨階段時，可以隨時重新編程改變芯片功能的FPGA架構前期硬件成本顯著低于GPU。在推理性能上，現(xiàn)如今的FPGA加速卡算力遠超CPU，甚至高過不少GPU產品。

而且在ChatGPT這樣的聊天機器人應用上，將FPGA用于推理得以發(fā)揮其最大的優(yōu)勢，那就是高吞吐量和低時延。更高的吞吐量和更低的時延也就意味著更大的并發(fā)，對ChatGPT這種應用來說可以極大增強其響應速度。 但隨著算法和模型逐漸成熟，F(xiàn)PGA在成本上的優(yōu)勢就慢慢不存在了，在大語言模型上需要用到更多的硬件，而FPGA量產規(guī)模的單價成本還是太高了，一旦擴充至成千上萬張加速卡，其成本也是不小的。比如AMD推出的新加速卡Alveo V70，據傳單卡價格就在2000美元左右。如果我們以INT8精度來衡量算力的話，假設ChatGPT需要28936塊A100 GPU，那么改用Alveo V70的話，也需要44693塊加速卡。

所以還是有不少人將目光投向了量產規(guī)模成本更低的ASIC，比如谷歌就選擇用自研的TPU來部署其聊天機器人Bard。ASIC方案在單芯片算力上或許不是最高的，但計算效率卻是最高的，而且隨著量產化單片成本會逐漸降低。比如谷歌的單個TPU v4 Pod就集成了4096個TPU v4芯片，單芯片的BF16算力達到275TFLOPS，已經相當接近A100單卡峰值算力了。如果只是這樣簡單換算的話，只需幾個TPU v4 Pod，就能滿足與ChatGPT同量級的應用了。

不過ASIC方案并沒有我們想象得那么美好，首先這類硬件的前期設計成本較大，要想投入數(shù)據中心商用，必須組建強大的硬件設計和軟件開發(fā)團隊，這樣才能有與GPU相抗衡的性能。其次，因為本身專用硬件的特性，專用于機器學習推理的ASIC方案很難最大化數(shù)據中心的硬件利用率，不像GPU還可以同時用于訓練、視頻編解碼等等。

搭建屬于自己的ChatGPT的成本有多高

對于GPT-3這樣的大型模型來說，要想個人搭建和部署從成本上看肯定不是實惠的選擇，所以我們可以選擇其他的模型，比如Meta推出的1750億參數(shù)OPT-175B模型。加州大學伯克利分校的Sky Lab就借助該模型推出了一個開源系統(tǒng)Alpa，同時具備聊天機器人、翻譯、代碼編寫和數(shù)學計算的功能。

要想部署OPT-175B模型并搭建Alpa這樣的文字聊天應用，對GPU的要求要遠遠小于ChatGPT。但這是建立在其本身響應速度和功能特性就顯著弱于ChatGPT的情況下，比如一旦設定的回答長度過長，就需要等上數(shù)十秒，何況它列出的GPU需求也不算小。

根據Alpa的官方說明，雖然不需要用到最新一代的A100 80GB這樣價格高昂的GPU或是InfiniBand這樣先進的互聯(lián)方案，但對顯存的最低要求也已經達到了350GB。所以Alpa給的建議是使用32個英偉達Tesla V100 GPU，從而提供512GB的顯存，這樣硬件造價在50萬到150萬之間。 如果你只是想開展聊天機器人的服務，而不是自己買硬件的話，也可以選擇各大公有云服務廠商的方案，比如亞馬遜AWS的EC2 P3系列，就是專為機器學習和HPC準備的實例。每個EC2 P3.16xlarge實例上有8塊Tesla V100 GPU，所以至少租賃4個實例就能運行Alpa了。

不過這樣一來服務器的費用也并不算便宜，單個實例按需付費每小時的花費在24.48美元左右，也就是說如果要全天運行的話，運行Alpa的成本為2400美元一天。哪怕云服務廠商通常都會給到長期承諾使用的折扣，這也是一筆不小的支出。

谷歌推出的Cloud TPU方案也是如此，如果真的打算以租賃服務器的方式來打造ChatGPT，那么谷歌目前給出的按需定價是每芯片小時價格3.22美元。要想部署數(shù)萬規(guī)模的TPU v4芯片媲美ChatGPT，那么一定逃不掉超高的費用。

結語

不久前我們已經提到了ChatGPT的加入或許會給微軟的現(xiàn)有產品帶來定價的提升，如今這個猜測也已經成真。微軟近日宣布，從今年5月1日開始，微軟Bing搜索API的定價將會直線飆升，其中超大并發(fā)（每秒250次處理）的S1實例定價從每千次處理7美元提升至25美元，而額外的Bing統(tǒng)計更是從每千次處理1美元的價格拔高至10美元。如此看來，可見大語言模型的推理成本有多高可見一斑了，哪怕是微軟也經不起這樣燒錢。

所以對于ChatGPT這種應用，其運營者不同，對待硬件成本的看法也會不同，比如微軟、谷歌之類已經擁有大規(guī)模服務器硬件的廠商，必然會利用現(xiàn)有GPU資源的同時，考慮如何用定制化的ASIC進一步節(jié)省成本。而體量較小的運營者，例如聊天機器人應用開發(fā)商、研究機構等，還是會選擇租賃服務器或小規(guī)模本地部署，其首選硬件也會是GPU。

再說回FPGA，雖然從目前數(shù)據中心的市場現(xiàn)狀來看，F(xiàn)PGA的AI推理加速卡仍處于一個弱勢的位置。但隨著AMD開始推出Alveo V70這樣全新XDNA架構的方案，或許能給未來需要更大吞吐量的模型提供新的出路，尤其是視頻分析推理應用。