AI大模型的研發(fā)層出不窮，未來的算力缺口將更加驚人

chatgpt爆炸后，ai大型模型不斷開發(fā)，多種ai大型模型也陸續(xù)上市，在國內(nèi)已經(jīng)爆發(fā)了激烈的100大模型戰(zhàn)爭。

作為革命性的數(shù)據(jù)模型，chatgpt帶來的驚喜不僅僅是內(nèi)容生產(chǎn)方式的變化，也給業(yè)界帶來了對普通人工智能的希望，推動了ai大規(guī)模模型和新應(yīng)用的不斷出現(xiàn)。部分專家認(rèn)為，未來人工智能研究的80%至90%將轉(zhuǎn)換為大型模型，我們正在走向大型模型時代。

計算能力、數(shù)據(jù)和算法是傳統(tǒng)ai的三個要素，共同實現(xiàn)了人工智能的廣泛應(yīng)用。但是，隨著普通人工智能時代（agi）的到來，大容量數(shù)據(jù)需要大量訓(xùn)練和優(yōu)化，以達(dá)到更高的預(yù)測準(zhǔn)確性和一般化能力，計算能力的需求已經(jīng)無法與同期相比。

在大型模型蓬勃發(fā)展的時候，計算力量的供給和需求之間存在的巨大“差距”仍在擴(kuò)大，如何解決對計算力量的“不安”成為產(chǎn)業(yè)界新的目標(biāo)。

基于Transformer結(jié)構(gòu)的大型模型需要越來越多的參數(shù)“投喂”來持續(xù)優(yōu)化，隨著訓(xùn)練參數(shù)的大小增加，計算需求的大小也隨之增加，計算集群越來越大。

在chatgpt中，openai構(gòu)建了一個龐大的計算集群，由約3萬張英偉達(dá)v100顯卡來訓(xùn)練chatgpt。反正密度fp16約有4000 p的功率。

gpt-4達(dá)到了100兆韓元的規(guī)模，生產(chǎn)需求與前年相比大幅增加。根據(jù)數(shù)據(jù)，大模型的參數(shù)數(shù)會隨著計算力的平方而增加。

投入ai建模的公司如雨后春筍般出現(xiàn)，再加上圍繞建模的人工智能生態(tài)界和由此引發(fā)的推理計算能力的需求，預(yù)計未來的計算能力差距將會進(jìn)一步拉大。

生產(chǎn)能力是否充足將決定各公司大型模型產(chǎn)品的成敗。日鐵芯片產(chǎn)品線的老板zou表示，head企業(yè)的早期gpt mega模型需要約10，000張nvidia gpu，而重復(fù)的mega模型至少需要數(shù)千張最新gpu。在這一領(lǐng)域出現(xiàn)了很多追隨者，從追隨企業(yè)的角度看，一定不能落后于領(lǐng)頭企業(yè)，甚至要進(jìn)行更多的運算基礎(chǔ)設(shè)施投資才能趕上。

壁仞科技系統(tǒng)架構(gòu)副總裁丁云帆在人工智能行業(yè)盛會——北京智源大會發(fā)表《基于高性能通用GPU打造國產(chǎn)大模型訓(xùn)練系統(tǒng)》的演講時指出，講話中chatgpt的成功要素是項目和算法的協(xié)同創(chuàng)新，數(shù)據(jù)是燃料，也是基礎(chǔ)，特別是高品質(zhì)的數(shù)據(jù)?！庇嬎惴椒ㄆ鹨娴淖饔?。計算是一個加速器，不僅是超大型gpu集群，內(nèi)存和網(wǎng)絡(luò)集群也非常重要。

受禁令影響，國內(nèi)市場的主要需求是英偉達(dá)a800和h800。隨著需求的不斷增加，英偉達(dá)a800的價格漲幅令人震驚，交貨周期也變長，甚至有部分新訂單表示：“可能要到12月份才能交貨。”

值得慶幸的是，國內(nèi)企業(yè)率先在通用gpu領(lǐng)域進(jìn)行布局，芯片量產(chǎn)、生態(tài)系統(tǒng)構(gòu)建、應(yīng)用擴(kuò)張領(lǐng)域也在逐漸推進(jìn)，隨著aigc產(chǎn)業(yè)的劃時代抬頭，打開了新的市場。