AI大模型的白堊紀(jì)

美好的長假即將過去，我們又該忙起來了。在AI領(lǐng)域，這兩年最忙的一項(xiàng)基礎(chǔ)技術(shù)應(yīng)該非大模型莫屬。

隨著最近AI繪畫、AI生成視頻等能力不斷刷新大眾對AI技術(shù)邊界的認(rèn)知，站在AI創(chuàng)作家們背后的大模型的地位也跟著水漲船高。轟轟烈烈的“煉大模型”運(yùn)動似乎來到了豐收時節(jié)。

但在大模型愈發(fā)火爆的同時，我們不難看到一個問題：預(yù)訓(xùn)練大模型雖然在眾多領(lǐng)域都表現(xiàn)出了良好的應(yīng)用效果，但這些效果所產(chǎn)生的商業(yè)價值，卻很難與大模型的訓(xùn)練成本、基礎(chǔ)設(shè)施投入成本畫上等號。

事實(shí)上，表面光鮮的大模型正在經(jīng)歷一個有些艱難的轉(zhuǎn)型階段：大模型不斷表現(xiàn)出的“神奇”效果，引發(fā)了資本、產(chǎn)業(yè)、學(xué)術(shù)界的巨大關(guān)注。隨著一個又一個大模型被訓(xùn)練完成，推向市場，卻會發(fā)現(xiàn)大模型的應(yīng)用場景與商業(yè)價值雖然有，但并不充沛。如何從“煉大模型”，走向“用大模型”，正在成為關(guān)鍵考驗(yàn)。尤其值得注意的是，中國AI行業(yè)對大模型的投資、建設(shè)更加激進(jìn)，那么大模型的應(yīng)用轉(zhuǎn)型考驗(yàn)也將更加顯著、先覺地浮現(xiàn)于中國市場。

AI預(yù)訓(xùn)練大模型在目前階段的境況，讓我想到一個詞：白堊紀(jì)。

白堊紀(jì)是地質(zhì)年代中，中生代的最后一個紀(jì)元。這時候全球開始變暖，大陸架結(jié)構(gòu)開始定型?？铸堃琅f統(tǒng)治著世界，但哺乳動物已經(jīng)開始活躍。

大模型似乎也處在這樣一個階段里。被BERT、GPT-3夯定的大模型思路依舊籠罩在AI產(chǎn)業(yè)頭頂。但如何讓大模型走向新的應(yīng)用紀(jì)元，已經(jīng)成為一個非常熱切，同時略帶迷茫的必答題。

新物種開始出現(xiàn)，老物種依舊占據(jù)主流

在討論大模型的轉(zhuǎn)型之前，我們還是需要用一點(diǎn)篇幅回溯一下大模型的發(fā)展思路與應(yīng)用邏輯。

所謂的預(yù)訓(xùn)練大模型，是指在大規(guī)模寬泛數(shù)據(jù)上進(jìn)行訓(xùn)練的基礎(chǔ)模型。它抓住了深度學(xué)習(xí)算法數(shù)據(jù)越多模型魯棒性越強(qiáng)的基礎(chǔ)特點(diǎn)，對模型進(jìn)行暴力地“數(shù)據(jù)投喂”。經(jīng)過大規(guī)模數(shù)據(jù)的預(yù)訓(xùn)練后，模型可以適應(yīng)更多種類、更為復(fù)雜的下游任務(wù)，從而最終獲得更好的智能體驗(yàn)。

大規(guī)模預(yù)訓(xùn)練模型，其實(shí)并不是一種技術(shù)路徑上的創(chuàng)新，而是更接近把握技術(shù)特征之后的工程創(chuàng)新。大模型之路被廣泛認(rèn)可，開始于谷歌在2018年10躍發(fā)布BERT。它利用BooksCorpus和維基百科的大規(guī)模數(shù)據(jù)進(jìn)行模型訓(xùn)練，在11個下游任務(wù)上刷新了當(dāng)時的業(yè)界紀(jì)錄。

我們可以將大規(guī)模預(yù)訓(xùn)練模型理解為一種“預(yù)制菜”。既然用戶自己烹飪的難度太高，費(fèi)工費(fèi)火，那就不妨由商家先行預(yù)制。用戶將菜買回后加熱一下，加入自己喜歡的調(diào)料就能上桌食用。大模型的思路也是如此，它通過上游進(jìn)行模型預(yù)訓(xùn)練，下游進(jìn)行任務(wù)微調(diào)的方式來使更多產(chǎn)業(yè)能給應(yīng)用到效果好、質(zhì)量高的AI模型。

而經(jīng)過幾年的發(fā)展，大模型如今已經(jīng)來到了一個新舊交替的臨界點(diǎn)。這里的新舊交替可以分為兩個層面進(jìn)行理解。首先大模型本身不斷進(jìn)行技術(shù)層面的革新。我們知道，業(yè)界最具典型性，也最為出圈的大模型OpenAI在2020年5月發(fā)布的GPT-3。這一大模型具有1750億參數(shù)，在非常多文本生成類任務(wù)上有著出眾表現(xiàn)。而無論是BERT還是GPT-3，都是自然語言處理領(lǐng)域的大模型。而在GPT-3之后，大模型一方面在模型參數(shù)上不斷提升，同時也在技術(shù)上進(jìn)行迭代。比如機(jī)器視覺大模型已經(jīng)成為行業(yè)的新主流，同時多模態(tài)大模型與行業(yè)知識緊密結(jié)合的大模型開始出現(xiàn)。推動大模型的能力覆蓋從語言走向視覺，繼而走向更復(fù)雜的綜合任務(wù)。

另一個層面的大模型新舊交替，體現(xiàn)在產(chǎn)業(yè)側(cè)對大模型應(yīng)用的呼喚上。隨著幾年時間過去，“我們必須趕快有一個大模型”的熱情開始消退；轉(zhuǎn)而產(chǎn)生了“我們確實(shí)有大模型，然后呢？”這樣的應(yīng)用焦慮。尤其對于中國市場來說更是如此。在美國AI界，大模型一直都是少數(shù)科技巨頭、學(xué)術(shù)組織在做，其中很多大模型的基礎(chǔ)定位就是AI技術(shù)投資的一部分。但在中國則不同，懷揣著對技術(shù)競爭的重視，大量互聯(lián)網(wǎng)、云計(jì)算企業(yè)都加入了大模型的構(gòu)建競賽，這些大模型必須找到有效的商業(yè)出口才能收回投資。同時，也有大量科研機(jī)構(gòu)、院校加入其中。于是我們可以在中國看到雨后春筍般發(fā)布的大模型，這樣做的優(yōu)勢是中國AI在大模型數(shù)量上遙遙領(lǐng)先，同時，也帶來了如此多的大模型項(xiàng)目應(yīng)該要如何消化和使用的問題。

目前階段，大模型產(chǎn)業(yè)的特征是那些直接對標(biāo)GPT-3的大模型項(xiàng)目依舊占據(jù)主流，或者說并沒有給出太多有說服力的超越價值。同時，新的大模型技術(shù)思路與產(chǎn)業(yè)轉(zhuǎn)型思路也已經(jīng)開始出現(xiàn)。這正是白堊紀(jì)的特點(diǎn)：恐龍和哺乳動物共處一地，而新生物種正期待著更多變化到來。

大模型的野蠻生長，已經(jīng)陷入某種枯竭

幾年來，煉大模型成了AI領(lǐng)域最熱門，同時也最能引起輿論、資本關(guān)注的一件事。伴隨著大量大模型項(xiàng)目的快速上馬，我們很難判斷其中有哪些是抱著“競爭對手在做，所以我也要做”的互聯(lián)網(wǎng)心態(tài)來推動，又有哪些項(xiàng)目是為了與新基建、科技舉國體制等熱門概念掛靠火速上線。

整體來看，跑馬圈地式的大模型產(chǎn)業(yè)發(fā)展，為整個AI領(lǐng)域提供了一種積極昂揚(yáng)的氛圍。推動大模型與各個行業(yè)、各科研領(lǐng)域結(jié)合變得比較輕松。與此同時，我們也很容易將大模型與更多AI技術(shù)，甚至VR、元宇宙、區(qū)塊鏈等同樣被稱為風(fēng)口的技術(shù)進(jìn)行類比，并且發(fā)現(xiàn)大模型的發(fā)展軌跡，也有著諸多“野蠻生長”的痕跡。

其實(shí)從應(yīng)用角度看，大模型就像云計(jì)算一樣，是一種將產(chǎn)業(yè)上游投入進(jìn)行收緊的集約化操作。一般來說，企業(yè)應(yīng)用AI有幾種方案。最簡單的一種是直接接入具有AI能力的標(biāo)準(zhǔn)化API，這種模式只能提供簡單的AI能力，無法覆蓋復(fù)雜的智能化需求；第二種是整體定制AI解決方案，這種方案需要產(chǎn)生高額的定制費(fèi)用與專家成本，是最不經(jīng)濟(jì)劃算的一種；第三種是自己進(jìn)行AI開發(fā)，這種最為貼近企業(yè)真實(shí)需求，但會導(dǎo)致開發(fā)出的模型不夠標(biāo)準(zhǔn)化，與業(yè)界領(lǐng)先水平具有差距，并且也要求企業(yè)具備AI開發(fā)經(jīng)驗(yàn)與相關(guān)組織架構(gòu)。

大模型的出現(xiàn)，可以說是在幾種方案之間尋找平衡點(diǎn)。通過大規(guī)模預(yù)訓(xùn)練+微調(diào)的模式，若干企業(yè)與行業(yè)可以共享、重復(fù)應(yīng)用大模型。這樣企業(yè)既用到了高水準(zhǔn)的AI能力，同時也避免了過重的開發(fā)成本與建設(shè)成本，也就是所謂的推動AI進(jìn)入工業(yè)生產(chǎn)時代，拋棄作坊式的AI開發(fā)。

然而我們能夠發(fā)現(xiàn)，這種邏輯下最終一定會導(dǎo)致大模型數(shù)量較少，而下游應(yīng)用非常豐富的產(chǎn)業(yè)格局。在目前階段，情況恰恰相反。下游的大模型應(yīng)用處在方興未艾的階段，相關(guān)企業(yè)與解決方案并不斷。反而上游的大模型項(xiàng)目層出不窮，并且展現(xiàn)出了一定程度上的同質(zhì)化。這種野蠻生長，一般來說包含著幾種潛在問題：

1.過分聚焦大模型參數(shù)和數(shù)據(jù)集測試結(jié)果。

1700億參數(shù)的GPT-3，將大模型正式拉到了千億參數(shù)規(guī)模。隨后大模型的參數(shù)比拼不斷升級，很快我們就見到了萬億參數(shù)規(guī)模的大模型。追求大模型的參數(shù)巨大化，曾經(jīng)一度成為AI領(lǐng)域的主流，隨后也引發(fā)了相當(dāng)多的反思。一味追逐模型體積大、訓(xùn)練數(shù)據(jù)規(guī)模大，會導(dǎo)致模型很難在現(xiàn)實(shí)場景中進(jìn)行部署，并且低質(zhì)量的訓(xùn)練數(shù)據(jù)過多，很多時候會導(dǎo)致反向效果出現(xiàn)。

大模型領(lǐng)域另一個問題，是追逐在某項(xiàng)數(shù)據(jù)集測試中刷新紀(jì)錄。以標(biāo)準(zhǔn)化數(shù)據(jù)集評判大模型能力當(dāng)然無可厚非。但很多時候數(shù)據(jù)集測試是有訣竅的，可以進(jìn)行針對性調(diào)優(yōu)。一味關(guān)注測試結(jié)果，很可能導(dǎo)致大模型的實(shí)際應(yīng)用效果不足。

2.技術(shù)創(chuàng)新過分“個性化”。

由于大模型領(lǐng)域的競爭激烈，并且工程路線其實(shí)比較單一，為了標(biāo)明自己的大模型具有差異化，業(yè)界開始興起了大模型的“微創(chuàng)新”熱潮。一般做法是，提出自己是業(yè)界首個某某技術(shù)上的大模型。但這項(xiàng)技術(shù)是否具有說服力，是否有足夠的實(shí)際應(yīng)用價值，則可能要打上一些問號。而隨著大家都是首個某某大模型，大模型的定義越來越復(fù)雜，評判標(biāo)尺也越來越模糊。下游用戶選擇大模型的難度也隨之加大。一定要強(qiáng)調(diào)自己是“首個”，導(dǎo)致大模型陷入了混亂的創(chuàng)新局面。

3.打著國產(chǎn)化的名號，進(jìn)行大量重復(fù)投資。

業(yè)界另一項(xiàng)關(guān)于大模型的問題，是隨著自主可控與國產(chǎn)化替代成為趨勢，相關(guān)企業(yè)與科研機(jī)構(gòu)開始大量進(jìn)行重復(fù)的大模型投資。大模型國產(chǎn)化當(dāng)然是合理且必要的。但不同企業(yè)、科研機(jī)構(gòu)與不同項(xiàng)目、不同地區(qū)政策之間合作，容易造成大模型國產(chǎn)化項(xiàng)目處于較低水平且重復(fù)建設(shè)的發(fā)展模式中，反而降低了國產(chǎn)化的最終效果。

在種子問題之下，大模型的野蠻生長雖然并未結(jié)束，但已經(jīng)顯露出了某種枯竭。推動大模型從參數(shù)為中心向應(yīng)用為中心轉(zhuǎn)變，是目前階段的核心問題。

大模型轉(zhuǎn)型，呈現(xiàn)出兩個思路

無論是稱作“煉大模型”，還是大模型的野蠻生長，可以看到中國AI大模型的第一階段發(fā)展處于一種飽和態(tài)勢中。雖然可能產(chǎn)生各種各樣的浪費(fèi)與重復(fù)投資，但確實(shí)為整個產(chǎn)業(yè)長期發(fā)展打下了堅(jiān)實(shí)基礎(chǔ)。

這一點(diǎn)最直接的體現(xiàn)，在于目前中國AI產(chǎn)業(yè)中與大模型發(fā)展相適配的基礎(chǔ)設(shè)施已經(jīng)非常完善。這一優(yōu)勢是此前很多技術(shù)，乃至深度學(xué)習(xí)技術(shù)剛剛興起時都不具備的。IDC發(fā)布的《Market Glance：中國AI大模型市場概覽，2022》報告提出，大模型作為人工智能融合產(chǎn)業(yè)級實(shí)踐的必然形式，目前底層支撐服務(wù)基本完善，多類型芯片持續(xù)迭代，圍繞訓(xùn)練能力、核心算子庫、上層軟件平臺深入布局優(yōu)化。

底層基礎(chǔ)支柱與配套設(shè)施的完善，讓大模型走向應(yīng)用更加順?biāo)?。在今天我們可以看到，大模型轉(zhuǎn)型應(yīng)用為中心，主要呈現(xiàn)出兩個發(fā)展思路。

1.擁抱AIGC，與歐美對齊的大模型發(fā)展思路。

從GPT-3出圈的自動協(xié)作，到近來火爆的AI作畫，再到谷歌與Meta最近紛紛押注的AI生成視頻，這項(xiàng)能力都可以歸納為AIGC（AI-Generated Content），即AI生成內(nèi)容。

AIGC能夠產(chǎn)生優(yōu)質(zhì)、復(fù)雜，甚至以假亂真的內(nèi)容，背后的“腦力”普遍來自大模型的支撐。因此在大模型亟待與商用價值接駁的時間段，AIGC也就構(gòu)成了最直接，最清晰的商業(yè)化路徑。但在目前階段，AIGC的商業(yè)化潛力還有待深耕。應(yīng)用范圍最廣的AIGC能力應(yīng)該就是AI作畫，但其本身面向的常態(tài)化用戶更多是插畫師、設(shè)計(jì)師、自媒體，大量C端用戶都是本著嘗鮮的心態(tài)試試看，其最終能夠激活多大的商業(yè)價值尚不明確。一般來說，AIGC中大模型扮演著雙重角色，一種是直接為大模型所屬企業(yè)的軟件提供支撐，最終按需求次數(shù)或積分完成商業(yè)轉(zhuǎn)化；另一種是賦能其他軟件開發(fā)者，通過模型使用或者帶動云計(jì)算、云存儲用量來完成商業(yè)價值。無論哪種形式，將AIGC從小眾需求變成大眾需求，同時進(jìn)一步提升AIGC的商業(yè)空間都是當(dāng)務(wù)之急。

另一個角度看，AIGC也是谷歌、Meta等歐美科技巨頭大規(guī)模投入的領(lǐng)域，因此國內(nèi)互聯(lián)網(wǎng)與AI企業(yè)是有發(fā)展參照物的。這一點(diǎn)當(dāng)然帶來了很多競爭，但也將確保發(fā)展路線處在中國科技企業(yè)比較熟悉的發(fā)展節(jié)奏當(dāng)中。

2.拓展大模型與行業(yè)智能化、科學(xué)計(jì)算的結(jié)合空間，中國大模型的自主探索。

就像AI技術(shù)本身一樣，中國產(chǎn)學(xué)政各界對大模型的深層期待是激活行業(yè)智能化價值，與中國經(jīng)濟(jì)整體應(yīng)用空間結(jié)合，甚至在中國激活第四次工業(yè)革命。而這條路則是完全新穎、缺乏參照物的大模型發(fā)展可能性。其最大的問題在于，經(jīng)過多年的發(fā)展，產(chǎn)業(yè)應(yīng)用AI依舊難以解決成本過高、難以規(guī)模化復(fù)雜的問題，大模型的成本更加高昂，能否逃出AI的成本效益陷阱也變得更加復(fù)雜。而且將大模型與具體行業(yè)、具體科研領(lǐng)域結(jié)合，雖然在歐美也有嘗試探索，但中國已經(jīng)依靠豐富的產(chǎn)業(yè)需求與全社會的數(shù)字化熱情走到了前列。如何在無人區(qū)激活大模型的長期價值，既是中國AI的機(jī)遇，也是嚴(yán)苛挑戰(zhàn)。

在目前階段，我們能看到一些AI廠商已經(jīng)推出了行業(yè)大模型，比如金融大模型、能源大模型等等。也有多個領(lǐng)域與大模型進(jìn)行了跨界合作，比如中國商飛聯(lián)合科技廠商，發(fā)布了應(yīng)用于大飛機(jī)測試的流體仿真大模型、西安交大相關(guān)團(tuán)隊(duì)?wèi)?yīng)用大模型在超級抗藥菌領(lǐng)域取得突破等等。

中國AI大模型，已經(jīng)在跨模態(tài)搜索、自動駕駛、數(shù)字人、生物醫(yī)療、材料化學(xué)、數(shù)學(xué)能領(lǐng)域進(jìn)行了廣泛探索。但這些探索普遍處在跨領(lǐng)域合作與案例打造的階段，舉例堅(jiān)實(shí)的商業(yè)化價值還有不短的路要走。尤其在如何攤薄大模型成本，推動規(guī)模化應(yīng)用方面還有非常多的挑戰(zhàn)。

不管怎么樣，大模型走向產(chǎn)業(yè)，走向商業(yè)化，已經(jīng)從“等等再說”變成了“時不我待”。不適應(yīng)新的變化，很可能無法走向更遠(yuǎn)。

在清醒與未知中走向新生代

6500萬年前，白堊紀(jì)正式結(jié)束，地球迎來了最新的地質(zhì)時代：新生代。隨著恐龍滅絕，靈長類覺醒，整個地球的故事開始呈現(xiàn)出新的樣貌。

在今天，我們或許也會疑惑。如今大模型的發(fā)展成果、基礎(chǔ)設(shè)施建設(shè)、技術(shù)路線探索，究竟有多少能留到下一個階段呢？肯定是會有的，但大概率并不多。

我們必須清醒地認(rèn)識到，大量大模型終歸會喪失產(chǎn)業(yè)空間。就像其他計(jì)算、存儲、AI基礎(chǔ)設(shè)施一樣，大模型到最后也只能留下被頻繁使用，形成基礎(chǔ)設(shè)施的極少數(shù)。轉(zhuǎn)型必然帶來新的投資與建設(shè)熱潮興起，以及傳統(tǒng)熱潮的消退。當(dāng)產(chǎn)學(xué)各界不需要如火如荼般炮制大模型的時候，那些為此打造的算力、網(wǎng)絡(luò)、開發(fā)平臺基礎(chǔ)設(shè)施應(yīng)該何去何從？似乎也是一個需要提前思考的變量。

此外，我們還需要意識到大模型的前路不是一帆風(fēng)順的。大模型與行業(yè)融合，是一條根植中國經(jīng)濟(jì)與社會特性，并且蘊(yùn)藏著極大價值可能性的新路。但經(jīng)過多年發(fā)展，我們會發(fā)現(xiàn)所有AI問題到最后都是成本問題。大模型能否掏出AI“有用，但過貴”的成本怪圈，能不能為IT、云計(jì)算、互聯(lián)網(wǎng)廠商帶來足夠的價值定位？這些問題依舊缺乏清晰的答案。

所以，大模型的白堊紀(jì)依舊沒有結(jié)束。但我們也知道拼參數(shù)、大量重復(fù)建設(shè)的大模型發(fā)展階段終會過去，而考驗(yàn)在那時或許才剛剛開始。

很多人認(rèn)為，大模型是深度學(xué)習(xí)2.0，是AI避免陷入第三次寒冬的諾亞方舟。它被寄托了太多期待。

在新的AI火苗被點(diǎn)燃前，大模型還將在很長時間里難以替代。

審核編輯 黃昊宇