度曉曉1秒1篇高考作文，都是因為預(yù)訓(xùn)練大模型

電子發(fā)燒友網(wǎng)報道（文/李彎彎）6月7日，百度推出的數(shù)字人度曉曉作答了全國新高考Ⅰ卷題為《本手、妙手、俗手》議論文，40秒就根據(jù)題目創(chuàng)作了40多篇文章，平均1秒生成1篇，隨機(jī)抽取其中一篇，其分?jǐn)?shù)趕超約75%高考考生。

而這得益于文心大模型最新發(fā)布的融合任務(wù)相關(guān)知識的千億大模型ERNIE 3.0 Zeus，該模型在學(xué)習(xí)海量數(shù)據(jù)和知識的基礎(chǔ)上，進(jìn)一步學(xué)習(xí)百余種不同形式的任務(wù)知識，增強(qiáng)了模型的效果，在各類NLP任務(wù)上表現(xiàn)出了更強(qiáng)的零樣本和小樣本學(xué)習(xí)能力。

基于文心大模型的智能創(chuàng)作

大模型是人工智能大基礎(chǔ)設(shè)施的重要組成，“文心大模型”是百度近幾年在花大力氣投入研發(fā)的技術(shù)基礎(chǔ)設(shè)施。自2019年開始，百度深耕預(yù)訓(xùn)練模型研發(fā)，并在該年3月率先發(fā)布中國首個正式開放的預(yù)訓(xùn)練模型ERNIE1.0。

去年12月，百度聯(lián)合鵬城實驗室發(fā)布了鵬城-百度·文心大模型，這是全球首個知識增強(qiáng)千億大模型，也目前全球最大中文單體模型，參數(shù)規(guī)模達(dá)到2600億。

在今年5月20日的WAVE SUMMIT 2022深度學(xué)習(xí)開發(fā)者峰會上，文心大模型一次性發(fā)布10個新的大模型，涵蓋基礎(chǔ)大模型、任務(wù)大模型和行業(yè)大模型三級體系，其中就包括融合任務(wù)相關(guān)知識的千億NLP大模型ERNIE 3.0 Zeus。

千億規(guī)模參數(shù)的NLP基礎(chǔ)大模型ERNIE 3.0 Zeus在學(xué)習(xí)海量數(shù)據(jù)和知識的基礎(chǔ)上，進(jìn)一步學(xué)習(xí)百余種不同形式的任務(wù)知識，增強(qiáng)模型效果；融合層次化提示的預(yù)訓(xùn)練，更好地建模不同任務(wù)的共性與特性；將不同任務(wù)組織成統(tǒng)一的自然語言形式，統(tǒng)一建模增強(qiáng)模型的泛化能力，其相較于其他NLP大模型，在各類NLP任務(wù)上表現(xiàn)出了更強(qiáng)的零樣本和小樣本學(xué)習(xí)能力。

近年來，百度AI技術(shù)加速落地，新興的AIGC更是引人注目。AIGC是繼 UGC、PGC之后新型利用AI技術(shù)自動生成內(nèi)容的生產(chǎn)方式。百度研究院預(yù)測，2022年AIGC技術(shù)將借助大模型的跨模態(tài)綜合技術(shù)能力，可以激發(fā)創(chuàng)意，提升內(nèi)容多樣性，降低制作成本，實現(xiàn)大規(guī)模應(yīng)用。

本次度曉曉寫高考作文，就是基于飛槳文心大模型實現(xiàn)的AIGC創(chuàng)作，文心大模型具備“知識增強(qiáng)”的核心特點(diǎn)，能從大規(guī)模知識和海量數(shù)據(jù)中進(jìn)行融合學(xué)習(xí)，學(xué)習(xí)效率更高、效果更好，具有通用性好、泛化性強(qiáng)的特點(diǎn)。

除了智能寫作，在文心大模型的支持下，AI已經(jīng)具備很強(qiáng)的理解和生成能力，能夠?qū)崿F(xiàn)創(chuàng)意作品的自動生成，包括AI作畫、AI寫歌、AI剪輯等，未來，基于大模型的AIGC將會開放賦能到更多的內(nèi)容生產(chǎn)領(lǐng)域。除了在智能創(chuàng)作上外，文心大模型也已經(jīng)在工業(yè)、能源、教育、金融、通信、媒體等諸多行業(yè)得到應(yīng)用。

預(yù)訓(xùn)練大模型使AI通用性增強(qiáng)

大模型是AI領(lǐng)域最重要的前沿技術(shù)方向，自2018年OpenAI推出1.1億參數(shù)的GPT以后，谷歌、微軟、Facebook等相繼推出自己的預(yù)訓(xùn)練模型，2020年OpenAI再次推出1750億參數(shù)的GPT-3，更是引發(fā)科研機(jī)構(gòu)和企業(yè)在大模型研究的競賽，大模型的參數(shù)規(guī)模逐漸增加。

2021年大模型層出不窮，1月，谷歌發(fā)布首個萬億級模型Switch Transformer；3月，北京智源研究院發(fā)布悟道1.0，6月發(fā)布悟道2.0，參數(shù)規(guī)模超過百億；4月，華為云發(fā)布盤古大模型，這是業(yè)界首個千億參數(shù)中文語言預(yù)訓(xùn)練模型；9月，浪潮發(fā)布參數(shù)量達(dá)2457億的巨量模型“源1.0”；11月，英偉達(dá)與微軟聯(lián)合發(fā)布5300億參數(shù)的“MT-NLG”；同在11月，阿里達(dá)摩院宣布其多模態(tài)大模型M6最新參數(shù)從萬億躍遷至10萬億，超過谷歌、微軟此前發(fā)布的萬億級模型，成為全球最大的AI預(yù)訓(xùn)練模型。

預(yù)訓(xùn)練大模型其實是機(jī)器學(xué)習(xí)的一種方式，類比人的學(xué)習(xí)來看，人的學(xué)習(xí)可以分成通識教育和專業(yè)教育兩段，預(yù)訓(xùn)練大模型相當(dāng)于解決機(jī)器學(xué)習(xí)的通識教育。此前，機(jī)器學(xué)習(xí)主要通過標(biāo)注數(shù)據(jù)，告訴算法哪個數(shù)據(jù)是正負(fù)樣本等進(jìn)行學(xué)習(xí)。由于人工智能落地場景很多，每個場景都要采數(shù)據(jù)、標(biāo)數(shù)據(jù)，因此在標(biāo)注的數(shù)量和質(zhì)量上存在很大的瓶頸。

為解決以上問題，自然語言處理領(lǐng)域迎來了一個新的突破：自監(jiān)督學(xué)習(xí)，指的是不用人為標(biāo)注數(shù)據(jù)，機(jī)器可以用一個方法把知識和規(guī)律學(xué)出來。比如，在模型訓(xùn)練中，如果我們把“中國的首都是北京”這句話中的“北京”蓋住，讓模型去猜中國的首都是哪里，模型可能會猜一個城市，再把蓋的地方翻開，告訴模型是對了還是錯了，模型也就得到了反饋。

通過設(shè)計類似的學(xué)習(xí)方式，讓模型可以在海量的數(shù)據(jù)當(dāng)中進(jìn)行自監(jiān)督學(xué)習(xí)。這個機(jī)制的好處就是，它可以把天然存在的大量數(shù)據(jù)利用起來，打破一定要精標(biāo)數(shù)據(jù)才能學(xué)習(xí)的瓶頸，大模型的出現(xiàn)，實際上是為了大幅度降低了行業(yè)應(yīng)用的門檻。

還有一個特別容易理解的解釋，預(yù)訓(xùn)練大模型是在一個原始任務(wù)上預(yù)先訓(xùn)練一個初始模型，然后在目標(biāo)任務(wù)上使用該模型，針對目標(biāo)任務(wù)的特性，對該初始模型進(jìn)行精調(diào)，從而達(dá)到提高目標(biāo)任務(wù)的目的。在本質(zhì)上，這是一種遷移學(xué)習(xí)的方法，在自己的目標(biāo)任務(wù)上使用別人訓(xùn)練好的模型。

整體而言，預(yù)訓(xùn)練大模型的興起，使得人工智能的通用性進(jìn)一步增強(qiáng)，大模型具有效果好、泛化性強(qiáng)、研發(fā)流程標(biāo)準(zhǔn)化程度高等特點(diǎn)，正在成為人工智能技術(shù)及應(yīng)用的新基座。