“百模大戰(zhàn)”：盤點(diǎn)國內(nèi)外橫空出世的AI大模型

所謂AI大模型就是人工智能預(yù)訓(xùn)練模型，包含三大要素：大算力、強(qiáng)算法、大數(shù)據(jù)。大模型相當(dāng)于人工智能的土壤，沒有大模型支持，就不會有AI的成功。

AI大模型戰(zhàn)場上，國外的OpenAI、谷歌、微軟等大廠正打得火熱；國內(nèi)以百度、阿里、華為、騰訊為代表的科技巨頭，科大訊飛、智譜AI、商湯科技等AI公司，三大運(yùn)營商，以及智源研究院、中科院等學(xué)術(shù)/研究機(jī)構(gòu)都紛紛投身AI大模型浪潮。

從全球已經(jīng)發(fā)布的大模型分布來看，中美兩國數(shù)量合計(jì)占全球總數(shù)的超 80%，美國在大模型數(shù)量方面居全球之首。有專家披露，據(jù)不完全統(tǒng)計(jì)，目前中國 10 億參數(shù)規(guī)模以上的大模型已發(fā)布 79 個。

下面一起看看在“百模大戰(zhàn)”下，有哪些橫空出世的AI大模型！

國內(nèi)戰(zhàn)場

百度：文心大模型

2017年，在百度首屆AI開發(fā)者大會上，百度喊出了“All in AI”口號，隨后圍繞著AI進(jìn)行了技術(shù)研發(fā)投入。得益于在人工智能領(lǐng)域的長期投入，百度在人工智能四層架構(gòu)，也就是“芯片層、框架層、模型層、應(yīng)用層”有著全棧的布局。

在芯片層，百度昆侖芯科技已實(shí)現(xiàn)兩代通用 AI芯片“昆侖”的量產(chǎn)及應(yīng)用，為大模型落地提供強(qiáng)大算力支持。

在框架層，“飛槳”是國內(nèi)首個自主研發(fā)的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，集基礎(chǔ)模型庫、端到端開發(fā)套件和工具組件于一體，有效支持文心大模型高效、穩(wěn)定訓(xùn)練。

在模型層，“文心大模型”包括基礎(chǔ)大模型、任務(wù)大模型、行業(yè)大模型三級體系，全面滿足產(chǎn)業(yè)應(yīng)用需求。

在應(yīng)用層，文心已大規(guī)模應(yīng)用于百度自有業(yè)務(wù)的各類產(chǎn)品，并通過企業(yè)級平臺“文心千帆”進(jìn)一步推動生態(tài)構(gòu)建。

文心大模型包括 NLP 大模型、CV 大模型、跨模態(tài)大模型、生物計(jì)算大模型和行業(yè)大模型。目前，文心大模型已經(jīng)迭代至3.5版本，與3.0版本相比，訓(xùn)練速度提升了2倍，推理速度提升了17倍，模型效果累計(jì)提升超過50%。據(jù)百度官方表示，文心一言大模型的訓(xùn)練數(shù)據(jù)包括了萬億級網(wǎng)頁數(shù)據(jù)、數(shù)十億的搜索數(shù)據(jù)和圖片數(shù)據(jù)、百億級的語音日均調(diào)用數(shù)據(jù)，以及5500億事實(shí)的知識圖譜等。

騰訊：混元大模型

基于騰訊強(qiáng)大的底層算力和低成本的高速網(wǎng)絡(luò)基礎(chǔ)設(shè)施，2022 年底騰訊發(fā)布了低成本、可落地的NLP萬億大模型——混元（HunYuan）AI 大模型。

混元AI大模型采用騰訊太極機(jī)器學(xué)習(xí)平臺自研的訓(xùn)練框架AngelPTM，相比業(yè)界主流的解決方案，太極AngelPTM單機(jī)可容納的模型可達(dá)55B，20個節(jié)點(diǎn)（A100-40Gx8）可容納萬億規(guī)模模型，節(jié)省45%訓(xùn)練資源，并在此基礎(chǔ)上訓(xùn)練速度提升1倍！

在模型層，混元大模型完整覆蓋 NLP 大模型、 CV 大模型、多模態(tài)大模型、文生圖大模型及眾多行業(yè)/領(lǐng)域/任務(wù)模型。其中，HunYuan-NLP 1T 的模型能力在自然語言理解任務(wù)榜單 CLUE 中登頂。

| 混元大模型全景圖

在產(chǎn)業(yè)化方面，混元先后支持了包括微信、QQ、游戲、騰訊廣告、騰訊云等眾多產(chǎn)品和業(yè)務(wù)，通過 NLP、CV、跨模態(tài)等 AI 大模型，不僅為業(yè)務(wù)創(chuàng)造了增量價值而且降低了使用成本。特別是其在廣告內(nèi)容理解、行業(yè)特征挖掘、文案創(chuàng)意生成等方面的應(yīng)用，在為騰訊廣告帶來大幅 GMV 提升的同時，也初步驗(yàn)證了大模型的商業(yè)化潛力。

阿里：通義大模型

2022年9月，阿里達(dá)摩院發(fā)布通義大模型系列。該模型打造了AI統(tǒng)一底座，并構(gòu)建了通用與專業(yè)模型協(xié)同的層次化人工智能體系，首次實(shí)現(xiàn)模態(tài)表示、任務(wù)表示、模型結(jié)構(gòu)的統(tǒng)一。通義大模型整體架構(gòu)分為三個層次：

模型底座層：多模態(tài)統(tǒng)一底座模型 M6-OFA，實(shí)現(xiàn)統(tǒng)一的學(xué)習(xí)范式和模塊化設(shè)計(jì)；

通用模型層：多模態(tài)模型“通義-M6”、NLP 模型“通義-AliceMind”以及 CV 模型“通義-視覺”；

行業(yè)模型層：深入電商、醫(yī)療、法律、金融、娛樂等行業(yè)。

通過部署超大模型的輕量化及專業(yè)模型版本，通義大模型已在超過 200 個場景中提供服務(wù)， 實(shí)現(xiàn) 2%～10%的應(yīng)用效果提升。在搜索場景中，可實(shí)現(xiàn)以文搜圖的跨模態(tài)搜索。在 AI 輔助審判中，可實(shí)現(xiàn)司法卷宗的事件抽取、文書分類等任務(wù)效果 3～5%的提升。在人機(jī)對話領(lǐng)域，初步具備知識、記憶、情感以及個性的中文開放域?qū)υ挻竽Ｐ涂蓪?shí)現(xiàn)主動對話、廣泛話題、緊跟熱點(diǎn)等對話體驗(yàn)。此外，通義大模型在 AI 輔助設(shè)計(jì)、醫(yī)療文本理解等其他領(lǐng)域也有豐富的應(yīng)用場景。

在近期的2023世界人工智能大會上，阿里宣布推出通義大模型家族新成員“通義萬相”。這是一款A(yù)I繪畫模型，支持文生圖等功能，它能夠通過機(jī)器學(xué)習(xí)和自然語言處理技術(shù)，從文本描述中生成對應(yīng)的圖片或畫作。

華為：盤古大模型

2021年4月華為正式發(fā)布盤古系列大模型，包括NLP、CV和科學(xué)計(jì)算大模型，后續(xù)還發(fā)布了礦山、藥物分子、氣象、海浪等行業(yè)大模型。

其中，盤古NLP大模型首次使用Encoder-Decoder架構(gòu)，兼顧NLP大模型的理解能力和生成能力，保證了模型在不同系統(tǒng)中的嵌入靈活性。在下游應(yīng)用中，僅需少量樣本和可學(xué)習(xí)參數(shù)即可完成千億規(guī)模大模型的快速微調(diào)和下游適配。而盤古CV大模型則是首次實(shí)現(xiàn)模型按需抽取的業(yè)界最大CV大模型，兼顧判別與生成能力，能夠基于模型大小和運(yùn)行速度需求，自適應(yīng)抽取不同規(guī)模模型，AI應(yīng)用開發(fā)快速落地。

在7月7日的華為開發(fā)者大會2023上，盤古大模型3.0正式發(fā)布。盤古大模型 3.0 是一個完全面向行業(yè)的大模型系列，包括 5+N+X 三層架構(gòu)：

L0 基礎(chǔ)大模型：包括自然語言大模型、視覺大模型、多模態(tài)大模型、預(yù)測大模型、科學(xué)計(jì)算大模型在內(nèi)的5個基礎(chǔ)大模型。盤古 3.0 為客戶提供 100 億參數(shù)、380 億參數(shù)、710 參數(shù)和 1000 億參數(shù)的系列化基礎(chǔ)大模型，匹配客戶不同場景、不同時延、不同響應(yīng)速度的行業(yè)多樣化需求。

L1 行業(yè)大模型：涵蓋N 個行業(yè)大模型，既可以提供使用行業(yè)公開數(shù)據(jù)訓(xùn)練的行業(yè)通用大模型，包括政務(wù)，金融，制造，礦山，氣象等；也可以基于行業(yè)客戶的自有數(shù)據(jù)，在盤古的 L0 和 L1 上，為客戶訓(xùn)練自己的專有大模型。

L2 場景模型：為客戶提供更多細(xì)化場景，它更加專注于某個具體的應(yīng)用場景或特定業(yè)務(wù)，為客戶提供開箱即用的模型服務(wù)。

網(wǎng)易：玉言、子曰大模型

在2023世界人工智能大會上，網(wǎng)易多款A(yù)I大模型落地產(chǎn)品首次亮相，集中展示了在人工智能基礎(chǔ)設(shè)施層、引擎層、平臺層、模型層、應(yīng)用層的領(lǐng)先創(chuàng)新成果。會上，由網(wǎng)易有道自研的首個教育大模型“子曰”最新應(yīng)用成果——虛擬人口語教練首次亮相。

除了口語訓(xùn)練外，據(jù)悉“子曰”大模型系列應(yīng)用成果還包括中文作文指導(dǎo)與批改、英語習(xí)題精講等多種教育領(lǐng)域細(xì)分應(yīng)用。“子曰”大模型能夠作為基座模型支持很多下游任務(wù)，為所有下游場景模型提供語義理解、知識表達(dá)等基礎(chǔ)能力，是有道AI產(chǎn)品體系的核心。有道研發(fā)團(tuán)隊(duì)在子曰大模型的基礎(chǔ)上，會為不同場景設(shè)計(jì)定制化模型，以實(shí)現(xiàn)模型與場景的高度契合。

此前網(wǎng)易伏羲實(shí)驗(yàn)室推出了中文預(yù)訓(xùn)練大模型“玉言”。公開資料顯示，“玉言”大模型參數(shù)達(dá)到110億，由浪潮信息提供AI算力支持?！坝裱浴贝竽Ｐ拖嚓P(guān)技術(shù)已用于網(wǎng)易集團(tuán)內(nèi)的文字游戲、智能 NPC、文本輔助創(chuàng)作、音樂輔助創(chuàng)作、美術(shù)設(shè)計(jì)、互聯(lián)網(wǎng)搜索推薦等業(yè)務(wù)場景。

據(jù)了解，網(wǎng)易AI大模型正在加速覆蓋百余個產(chǎn)業(yè)應(yīng)用場景，在加速創(chuàng)新應(yīng)用的同時，網(wǎng)易伏羲有靈眾包平臺今年還將為10萬人提供AI新職業(yè)，包含挖掘機(jī)遠(yuǎn)程駕駛員、AI繪畫師、AI表情綁定師等人機(jī)協(xié)作的就業(yè)崗位。平臺還會根據(jù)求職者的用戶畫像，提供針對性的培訓(xùn)，幫助他們實(shí)現(xiàn)能力和收入的提升。

京東：言犀大模型

京東集團(tuán)技術(shù)委員會主席、京東云事業(yè)部總裁曹鵬介紹，即將推出的言犀大規(guī)模預(yù)訓(xùn)練語言模型將面向多模態(tài)，深入零售、物流、工業(yè)等產(chǎn)業(yè)場景。言犀是“京東版”ChatGPT，其預(yù)訓(xùn)練參數(shù)達(dá)到千億級、品類覆蓋 3000+、人工審核通過率95%+、生成文字30億+。

據(jù)悉，新一代京東大模型定位于產(chǎn)業(yè)版本的ChatGPT。該模型的落地應(yīng)用路線圖“125”計(jì)劃也已公布，包括一個平臺、兩個領(lǐng)域和五個應(yīng)用。其中，一個平臺為ChatJD智能人機(jī)對話平臺，兩個領(lǐng)域?yàn)榱闶酆徒鹑?，五個應(yīng)用則包括內(nèi)容生成、人機(jī)對話、用戶意圖理解、信息抽取和情感分類。

360：360智腦大模型

6月13日，360集團(tuán)舉行360智腦大模型應(yīng)用發(fā)布會，認(rèn)知型通用大模型“360智腦4.0”亮相，360智腦在多模態(tài)等關(guān)鍵能力上完成迭代，將全面接入“360全家桶”，同時360AI數(shù)字人正式發(fā)布。

360集團(tuán)創(chuàng)始人周鴻祎介紹，認(rèn)知型通用大模型“360智腦4.0”具備生成與創(chuàng)作、多輪對話、代碼能力、邏輯與推理、知識問答、閱讀理解、文本分類、翻譯、文本改寫、多模態(tài)（文本生成圖像）十大核心能力。

周鴻祎表示，今年3月底，360智腦大模型率先落地搜索場景。在隨后不到3個月時間內(nèi)，360智腦完成從1.0版本到4.0版本的迭代。下一步，計(jì)劃將360智腦升級到5.0版本，并發(fā)布插件平臺。

浪潮：源大模型

源1.0是浪潮信息在2021年發(fā)布的人工智能巨量模型，單體模型參數(shù)量達(dá)到2457億。作為通用NLP預(yù)訓(xùn)練模型，源1.0能夠適應(yīng)多種類的AI任務(wù)需求，降低針對不同應(yīng)用場景的語言模型適配難度，并提升小樣本學(xué)習(xí)與零樣本學(xué)習(xí)場景的模型泛化應(yīng)用能力。

此后，浪潮信息發(fā)布了基于“源1.0”大模型生成的4個技能大模型（SkillModel），分別為對話模型“源曉問”、問答模型“源曉搜”、翻譯模型“源曉譯”、古文模型“源曉文”。這些技能大模型在各自細(xì)分領(lǐng)域的精度業(yè)界領(lǐng)先，可直接應(yīng)用于人機(jī)交互、知識檢索、語言翻譯和文學(xué)創(chuàng)作等領(lǐng)域，模型運(yùn)行速度最高提升9倍。更重要的是，基于大模型快速生成特定領(lǐng)域的技能大模型（Skill Model），也意味著“源”的AI生產(chǎn)力大幅升級，能夠幫助商業(yè)組織和研究機(jī)構(gòu)實(shí)現(xiàn)對AI技術(shù)的高效、快速和低成本應(yīng)用，加速產(chǎn)業(yè)AI化。

浪潮表示，公司在“源”大模型方面的工作在持續(xù)推進(jìn)中。源2.0將會在文生圖、Chat、多模態(tài)、工具鏈等方面進(jìn)行升級提升。

科大訊飛：星火認(rèn)知大模型

在多年核心技術(shù)儲備下，科大訊飛于2022年12月15日啟動“1+N”認(rèn)知智能大模型專項(xiàng)攻關(guān)，2023年5月6日訊飛星火認(rèn)知大模型正式發(fā)布，涵蓋了文本生成、語言理解、知識問答、邏輯推理等七項(xiàng)核心能力，并持續(xù)迭代于6月9日再次升級發(fā)布星火認(rèn)知大模型V1.5。

星火認(rèn)知大模型最先應(yīng)用于教育、辦公、汽車駕駛、數(shù)字員工等場景，升級產(chǎn)品智能化功能，極大程度改善了用戶體驗(yàn)。

在教育領(lǐng)域，訊飛星火認(rèn)知大模型+學(xué)習(xí)機(jī)（科大訊飛AI習(xí)機(jī)T20），可以AI寫作批改、精細(xì)批改、給優(yōu)化參考，儼然成為學(xué)生的智能家庭教師。在辦公領(lǐng)域，訊飛星火大模型+辦公（訊飛聽見、訊飛智能辦公本X2），可以自動會議紀(jì)要、自動語篇規(guī)整、一鍵成稿，是職工的智能辦公助理。

在汽車駕駛領(lǐng)域，訊飛星火認(rèn)知大模型+智能座艙，可以提供多輪、多人、多區(qū)域、多模態(tài)智能汽車人機(jī)交互范式，強(qiáng)化智能座艙的科技體驗(yàn)感。在數(shù)字員工領(lǐng)域，訊飛星火大模型+數(shù)字員工，優(yōu)化了數(shù)字員工語音和文本交互體驗(yàn)……

近日，科大訊飛高級副總裁、認(rèn)知智能全國重點(diǎn)實(shí)驗(yàn)室主任胡國平公布了訊飛與華為的合作，表示訊飛星火將與昇騰AI強(qiáng)強(qiáng)聯(lián)合，全力打造我國通用智能新底座?！皣a(chǎn)大模型只有基于中國自主創(chuàng)新的算力底座才有大未來?！?/p>

商湯：日日新大模型

4月，商湯科技董事長兼首席執(zhí)行官徐立宣布推出“日日新SenseNova”大模型體系。這個體系包含自然語言處理、內(nèi)容生成、自動化數(shù)據(jù)標(biāo)注、自定義模型訓(xùn)練等多種大模型及能力。

近日，“商湯日日新SenseNova”大模型體系多方位全面升級。作為千億級參數(shù)的自然語言處理模型，商湯商量SenseChat 2.0版本突破了大語言模型輸入長度的限制，并推出不同參數(shù)量級的模型版本，可完美適配移動端、云端等不同終端及場景的應(yīng)用需求，降低部署成本。商湯的自研生成式大模型商湯秒畫SenseMirage 3.0的模型參數(shù)從今年4月首次發(fā)布以來的10億提升至70億量級，能夠?qū)崿F(xiàn)專業(yè)攝影級的圖片細(xì)節(jié)刻畫。

商湯如影SenseAvatar 2.0數(shù)字人生成平臺相較1.0版本的語音和口型流暢度提升30%以上，實(shí)現(xiàn)4K高清視頻效果，并帶來AIGC生成形象及數(shù)字人歌唱功能。此外，商湯瓊宇SenseSpace 2.0的空間重建效率提升20%，渲染性能提升50%，每100平方公里場景的建圖時間僅需38小時即可完成（1200 TFLOPS/秒算力支持）；而商湯格物SenseThings 2.0對小物體的紋理及材質(zhì)還原達(dá)到毫米級精細(xì)度，并突破對高反光和鏡面物體的采集難題。

智譜AI：智譜AI系列大模型

2022年 11月，斯坦福大學(xué)大模型中心對全球 30 個主流大模型進(jìn)行全方位評測，智譜 AI研發(fā)的雙語千億級超大規(guī)模預(yù)訓(xùn)練模型 GLM-130B 是亞洲唯一入選的大模型，測評結(jié)果顯示，其準(zhǔn)確性等關(guān)鍵指標(biāo)與 OpenAI、谷歌大腦、微軟和英偉達(dá)等公司的大模型接近或持平，全球已有70個國家 1000 余家機(jī)構(gòu)申請使用。

智譜AI語言大模型ChatGLM系列模型，通過注入代碼預(yù)訓(xùn)練，有監(jiān)督微調(diào)等技術(shù)對齊人類意圖，具備問答、多輪對話、代碼生成等能力；代碼大模型CodeGeeX模型，130億參數(shù)，支持20多種編程語言，具備代碼生成、續(xù)寫、翻譯等能力；多模態(tài)大模型CogView模型，基于Transformer架構(gòu)的文本生成圖像模型，支持根據(jù)指令生成和編輯圖像。

ChatGLM 在GLM-130B 上通過有監(jiān)督微調(diào)等技術(shù)實(shí)現(xiàn)人類意圖對齊，支持英偉達(dá)和華為異騰、海光及申威等***進(jìn)行訓(xùn)練和推理，開源的ChatGLM-6B 模型全球下載超過 160萬，持續(xù)兩周位列Huggingface 全球模型趨勢榜榜首。

據(jù)360官方消息，360 和智譜 AI 達(dá)成戰(zhàn)略合作，打造中國的“微軟+OpenAI”組合引領(lǐng)大模型技術(shù)攻關(guān)，共同研發(fā)的千億級大模型“360GLM”。

昆侖萬維：天工大模型

4月10日，昆侖萬維宣布聯(lián)合奇點(diǎn)智源共同研發(fā)了號稱“中國第一個真正實(shí)現(xiàn)智能涌現(xiàn)”的國產(chǎn)大語言模型——“天工”3.5。

天工作為一款大型語言模型，擁有強(qiáng)大的自然語言處理和智能交互能力，能夠?qū)崿F(xiàn)智能問答、聊天互動、文本生成等多種應(yīng)用場景，并且具有豐富的知識儲備，涵蓋科學(xué)、技術(shù)、文化、藝術(shù)、歷史等領(lǐng)域。

據(jù)悉，天工算力基于國內(nèi)最大的GPU集群之一，其規(guī)模優(yōu)勢使得天工可通過海量數(shù)據(jù)進(jìn)行更充分的訓(xùn)練，從而積累更強(qiáng)的理解能力和記憶力。其次，天工采用了雙千億模型——千億預(yù)訓(xùn)練基座模型和千億RLHF模型，這使其具備了更高級的自主學(xué)習(xí)和智能涌現(xiàn)能力。此外，蒙特卡洛搜索樹算法使天工可以提供更加人性化的交互體驗(yàn)。這些技術(shù)突破，使得天工在復(fù)雜任務(wù)和場景中能夠快速且準(zhǔn)確地響應(yīng)指令，輸出高質(zhì)量回答。

中國移動：“九天”1+N大模型

2023 年7 月 8 日，中國移動正式發(fā)布 “ 九天 ” 人工智能大模型：九天?海算政務(wù)大模型和九天?客服大模型。目前，九天人工智能平臺的技術(shù)團(tuán)隊(duì)擁有超過600名研發(fā)人員。

據(jù)了解，九天?海算政務(wù)大模型具備政務(wù)事項(xiàng)理解能力、多維度信息關(guān)聯(lián)能力、面向復(fù)雜事項(xiàng)和復(fù)雜流程的多元交互能力，首創(chuàng) “ 政務(wù)大模型 — 信息場 — 應(yīng)用 ” 端到端政務(wù)服務(wù)體系，可以滿足工作人員動態(tài)管理、公文寫作等需求。

九天?客服大模型可根據(jù)用戶提供的自然語言描述，解析問題并提供答案；還可與人工客服協(xié)作，分析歷史溝通內(nèi)容的語義和上下文，總結(jié)和歸納對話的重點(diǎn)和關(guān)鍵信息，為人工客服提供回復(fù)建議。

中國電信：TeleChat大模型

7月6日，中國電信數(shù)字智能科技分公司正式對外發(fā)布中國電信大語言模型TeleChat，并展示了大模型賦能數(shù)據(jù)中臺、智能客服和智慧政務(wù)三個方向的產(chǎn)品。

中國電信依托云網(wǎng)融合的優(yōu)勢，打造了中國電信的大語言模型TeleChat。TeleChat使用了大量高質(zhì)量中英文語料進(jìn)行預(yù)訓(xùn)練，并采用了千萬級問答數(shù)據(jù)進(jìn)行微調(diào)。同時，設(shè)計(jì)了漸進(jìn)膨脹注意力機(jī)制，用于增加模型的間隔采樣，擴(kuò)大實(shí)際感受野；研發(fā)了自校準(zhǔn)微調(diào)技術(shù)，將迭代后相關(guān)性偏差作為強(qiáng)化學(xué)習(xí)的監(jiān)督信號，提升強(qiáng)化學(xué)習(xí)效果；并且利用知識圖譜協(xié)同增強(qiáng)策略，通過知識圖譜增強(qiáng)大模型的預(yù)訓(xùn)練和推理能力，減少大模型幻覺現(xiàn)象。

此外，以TeleChat為底座的教育版大模型TeleChat-E在全球大模型綜合性考試評測榜單C-Eval上排名第七，前幾名包括ChatGPT等知名大模型。TeleChat-E使用人工收集、標(biāo)注、整理的高質(zhì)量領(lǐng)域數(shù)據(jù)對TeleChat進(jìn)行持續(xù)效果強(qiáng)化。同時，TeleChat-E對Transformer Decoder的損失函數(shù)進(jìn)行改進(jìn)，使之更加關(guān)注題目答案的生成，提高準(zhǔn)確率。

當(dāng)下，電信TeleChat大模型正在與千行百業(yè)的信息化解決方案進(jìn)行融合，在諸多行業(yè)實(shí)現(xiàn)商業(yè)化落地。

中國聯(lián)通：鴻湖圖文大模型1.0

近日，在上海世界移動通信大會期間，中國聯(lián)通發(fā)布了一項(xiàng)重要的技術(shù)創(chuàng)新成果——鴻湖圖文大模型1.0。中國聯(lián)通稱，鴻湖圖文大模型是首個面向運(yùn)營商增值業(yè)務(wù)的大模型。

據(jù)了解，鴻湖圖文大模型目前有兩個版本，分別是擁有8億訓(xùn)練參數(shù)和20億訓(xùn)練參數(shù)的版本。這意味著該大模型具備了強(qiáng)大的計(jì)算和學(xué)習(xí)能力，能夠?qū)崿F(xiàn)多種復(fù)雜的圖文處理功能。

以文生圖是鴻湖圖文大模型的一項(xiàng)重要功能。通過該功能，用戶可以輸入文字描述，大模型能夠自動生成相應(yīng)的圖像。這對于一些需要圖像輔助的場景，如廣告設(shè)計(jì)、創(chuàng)意表達(dá)等，具有重要的應(yīng)用價值。

另外，鴻湖圖文大模型還具備視頻剪輯和以圖生圖的功能。視頻剪輯功能可以根據(jù)用戶提供的視頻素材，自動進(jìn)行剪輯和編輯，生成符合用戶需求的視頻作品。而以圖生圖功能則可以根據(jù)用戶提供的圖像，生成新的圖像，為用戶提供更多的創(chuàng)作靈感。

中國科學(xué)院自動化研究所：紫東太初大模型

紫東太初是中國科學(xué)院自動化研究所研發(fā)的跨模態(tài)通用人工智能平臺 ，首次發(fā)布于 2021 年 7 月。紫東太初是圖文音（視覺-文本-語音）三模態(tài)預(yù)訓(xùn)練模型（OPT-Omni-Perception pre-Trainer），同時具備跨模態(tài)理解與跨模態(tài)生成能力。

2023年6月16日，中國科學(xué)院自動化研究所發(fā)布紫東太初2.0。相比1.0版本，在語音、圖像和文本三模態(tài)的基礎(chǔ)上，加入視頻、傳感信號、3D點(diǎn)云等模態(tài)數(shù)據(jù)，研究突破了認(rèn)知增強(qiáng)的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù)，具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力，面向數(shù)字經(jīng)濟(jì)時代加速通用人工智能的實(shí)現(xiàn)。

紫東太初 2.0以自動化所自研算法為核心，以昇騰AI硬件及昇思MindSpore AI框架為基礎(chǔ)，依托武漢人工智能計(jì)算中心算力支持，著力打造全棧國產(chǎn)化通用人工智能底座。長期以來，強(qiáng)大的算力支撐是約束我國人工智能發(fā)展的瓶頸之一，此舉將有力推動國產(chǎn)基礎(chǔ)軟硬件與大模型技術(shù)的適配，協(xié)同構(gòu)建我國通用人工智能自主可控發(fā)展生態(tài)。

目前，“紫東太初”大模型已在神經(jīng)外科手術(shù)導(dǎo)航、短視頻內(nèi)容審核、法律咨詢、醫(yī)療多模態(tài)鑒別診斷、交通違規(guī)圖像研讀等領(lǐng)域開始了一系列應(yīng)用。

智源研究院：悟道智能模型

智源研究院自 2020 年 10 月正式啟動超大規(guī)模智能模型悟道項(xiàng)目，2021 年3月2號就發(fā)布了超大規(guī)模的智能模型悟道1.0，取得了多項(xiàng)領(lǐng)域的領(lǐng)先突破。2021年6月1日，基于智能模型“悟道2.0”誕生的原創(chuàng)虛擬學(xué)生“華智冰”在北京正式亮相。

悟道2.0智能模型參數(shù)規(guī)模達(dá)到1.75萬億個，可以同時處理中英文和圖片數(shù)據(jù)。該模型還引入大規(guī)模的知識圖譜，構(gòu)建了數(shù)據(jù)與知識雙輪驅(qū)動的人工智能框架，并通過這種框架分析、理解富含前沿技術(shù)信息的知識。

2023年 6 月的智源大會上，智源發(fā)布并全面開源“悟道3.0”系列模型。值得注意的是，智源的關(guān)注點(diǎn)不僅是模型本身，更包括模型背后的算力平臺建設(shè)、數(shù)據(jù)梳理、模型能力評測、算法測試、開源開放組織等體系化工作。

“悟道3.0 ”包括“悟道·天鷹”（Aquila）語言大模型系列、“悟道 · 視界”視覺大模型系列，以及一系列多模態(tài)模型成果。

國外戰(zhàn)場

OpenAI：GPT 系列大模型

2022 年11月，OpenAI發(fā)布了名為ChatGPT的人工智能模型并迅速引爆人工智能市場，推動國內(nèi)公司進(jìn)入生成式人工智能領(lǐng)域，導(dǎo)致市場競爭激烈。OpenAI GPT 系列大模型基于 Transformer 基礎(chǔ)模型，GPT（Generative Pre-trained Transformer）即生成式預(yù)訓(xùn)練 Transformer模型，模型被設(shè)計(jì)為對輸入的單詞進(jìn)行理解和響應(yīng)并生成新單詞，預(yù)訓(xùn)練代表著 GPT 通過填空方法來對文本進(jìn)行訓(xùn)練。

GPT-4 是 OpenAI 在深度學(xué)習(xí)擴(kuò)展方面的最新里程碑。根據(jù)微軟發(fā)布的GPT-4 論文，GPT-4 已經(jīng)可被視為一個通用人工智能的早期版本。GPT-4 是一個大型多模態(tài)模型（接受圖像和文本輸入 、輸出），雖然在許多現(xiàn)實(shí)場景中的能力不如人類，但在各種專業(yè)和學(xué)術(shù)基準(zhǔn)測試中表現(xiàn)出人類水平的性能。GPT-4 不僅在文學(xué)、醫(yī)學(xué)、法律、數(shù)學(xué)、物理科學(xué)和程序設(shè)計(jì)等不同領(lǐng)域表現(xiàn)出高度熟練程度，而且它還能夠?qū)⒍鄠€領(lǐng)域的技能和概念統(tǒng)一起來，并能理解其復(fù)雜概念。

2023 年 6 月，OpenAI對外公布了一種新的AI模型訓(xùn)練方法，旨在解決“AI幻覺”的問題。所謂“AI幻覺”，指的是聊天機(jī)器人用編造的信息進(jìn)行回應(yīng)，這是AI自信反應(yīng)的一種表現(xiàn)。ChatGPT、谷歌 Bard都存在 AI 幻覺問題。OpenAI研究人員在報道中寫道：“即使是最先進(jìn)的模型也很容易生成虛假信息——在不確定情況時，它們往往表現(xiàn)出捏造事實(shí)的傾向。這種幻覺在需要多步推理的領(lǐng)域尤其嚴(yán)重，其中一個環(huán)節(jié)上的邏輯錯誤就足以破壞整個解答過程?！?/p>

微軟：Orca大模型等

2019 年微軟首次注資 OpenAI后，雙方開始在微軟的 Azure 云計(jì)算服務(wù)上合作開發(fā)人工智能超級計(jì)算技術(shù)，同時 OpenAI 逐漸將云計(jì)算服務(wù)從谷歌云遷移到 Azure。2023 年 3月起，微軟開始全面集成GPT- 4，包括Office 全家桶、Windows、Bing 等等。

2022 年 8 月，微軟亞洲研究院聯(lián)合微軟圖靈團(tuán)隊(duì)推出了最新升級的 BEiT-3 預(yù)訓(xùn)練模型，在廣泛的視覺及視覺-語言任務(wù)上，包括目標(biāo)檢測（COCO）、實(shí)例分割（COCO）、語義分割（ADE20K）、圖像分類（ImageNet）、視覺推理（NLVR2）、視覺問答（VQAv2）、圖片描述生成（COCO）和跨模態(tài)檢索（Flickr30K，COCO）等，實(shí)現(xiàn)了 SOTA 的遷移性能。

2023 年6 月，微軟 AI 推出 Orca，這是一個擁有 130 億個參數(shù)的AI模型，可以從 GPT-4 中學(xué)習(xí)復(fù)雜的解釋軌跡和逐步的思維過程。這種創(chuàng)新方法顯著提高了現(xiàn)有最先進(jìn)的指令調(diào)整模型的性能，解決了與任務(wù)多樣性、查詢復(fù)雜性和數(shù)據(jù)擴(kuò)展相關(guān)的挑戰(zhàn)。Orca 語言模型可以針對特定任務(wù)進(jìn)行優(yōu)化，并使用 GPT-4 等大型語言模型進(jìn)行訓(xùn)練。由于其尺寸較小，Orca 運(yùn)行和操作所需的計(jì)算資源較少。研究人員可以根據(jù)自己的需求優(yōu)化模型并獨(dú)立運(yùn)行，無需依賴大型數(shù)據(jù)中心。

微軟正在利用大規(guī)模和多樣化的模仿數(shù)據(jù)來促進(jìn) Orca 的漸進(jìn)式學(xué)習(xí)，Orca 在 Big-Bench Hard （BBH） 等復(fù)雜的零樣本推理基準(zhǔn)測試中已經(jīng) 100% 超過了 Vicuna。

谷歌：PaLM 2 大模型、Gemini大模型等

谷歌最早在 2017 年提出 Transformer 網(wǎng)絡(luò)結(jié)構(gòu)，成為了過去數(shù)年該領(lǐng)域大多數(shù)行業(yè)進(jìn)展的基礎(chǔ)。隨后在 2018 年，谷歌提出的 BERT 模型，在 11 個 NLP 領(lǐng)域的任務(wù)上都刷新了以往的記錄?；?Transformer 結(jié)構(gòu)，谷歌于 2019 年推出大模型——T5（Text-toText Transfer Transformer）

在ChatGPT 取得突破性成功之后，谷歌宣布了自己的聊天機(jī)器人谷歌 Bard， 而 Bard 這個技術(shù)形象背后是 LaMDA 在提供后端支撐。LaMDA 是繼 BERT之后，谷歌于 2021 年推出的一款自然對話應(yīng)用的語言模型。同年谷歌研發(fā)出 GLaM 模型架構(gòu)，GLaM 也是混合專家模型（MoE），其在多個小樣本學(xué)習(xí)任務(wù)上取得有競爭力的性能。

2022 年，Google 發(fā)布了 Pathways AI 架構(gòu)的大模型（Pathways Language Model），簡稱為 PaLM），2023 年5 月，谷歌在Google I/O 開發(fā)者大會上發(fā)布了升級款 PaLM 2 ，PaLM 2 同時提供了四種模型大小的版本分別是：壁虎（Gecko）、水獺（Otter）、野牛（Bison）和獨(dú)角獸（Unicorn）。據(jù)谷歌介紹，PaLM 2 具有改進(jìn)的多語言能力，在訓(xùn)練模型時加入了 100 多種語言的語料來，促使 PaLM 2 在理解、生成和翻譯細(xì)微差別的文本（如成語、詩歌和謎語）的能力上相比前代有著顯著提高。同時在推理方面，PaLM 2 的數(shù)據(jù)集在理解科學(xué)論文以及數(shù)學(xué)表達(dá)式等問題時也有著巨大提升。

6月28日消息，谷歌正準(zhǔn)備推出全新的AI大模型Gemini。谷歌旗下DeepMind CEO戴密斯·哈薩比斯最近在采訪中進(jìn)一步透露了Gemini的細(xì)節(jié)，Gemini會將AlphaGo與GPT-4等大模型的語言功能合并，目標(biāo)是讓系統(tǒng)具有新的能力，如規(guī)劃或解決問題，比OpenAI的GPT-4能力更強(qiáng)。不過Gemini還在開發(fā)中， 這個過程預(yù)計(jì)需要幾個月的時間。

Meta：LLaMA語言模型、ImageBind 大模型等

繼微軟、谷歌之后，F(xiàn)acebook母公司Meta也加入AI軍備競賽。2023 年2月24日，Meta官網(wǎng)公布了一款新的人工智能大型語言模型LLaMA，從參數(shù)規(guī)模來看，Meta提供有70億、130億、330億和650億四種參數(shù)規(guī)模的LLaMA模型，并用20種語言進(jìn)行訓(xùn)練。

2023 年 5 月，Meta 發(fā)布 650億參數(shù)語言模型 LIMA，僅在 1000 個精心挑選的樣本上微調(diào) LLaMa-65B 且無需 RLHF，就實(shí)現(xiàn)了與 GPT-4 和 Bard 相媲美的性能。此外，Meta還推出了大規(guī)模多語言語音項(xiàng)目 MMS（Massively Multilingual Speech）、可“任意圖像分割”的基礎(chǔ)模型SAM（Segment Anything Model）、DINOv2 視覺大模型。

同樣在 5 月，Meta開源 ImageBind 新模型，ImageBind大模型以視覺為核心，結(jié)合文本、聲音、深度、熱量（紅外輻射）、運(yùn)動（慣性傳感器），最終可以做到6個模態(tài)之間任意的理解和轉(zhuǎn)換。ImageBind 可以使用文本、音頻和圖像的組合來搜索照片、視頻、音頻文件或文本消息。ImageBind 用于豐富的多媒體搜索、虛擬現(xiàn)實(shí)甚至機(jī)器人技術(shù)，可以和 Meta 內(nèi)部的虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)和元宇宙等技術(shù)相結(jié)合。

AWS：Titan語言大模型

2023 年 4 月，AWS 正式入局 AIGC，推出自有基礎(chǔ)模型 Titan 和 AIGC 服務(wù) Bedrock，以及 AI 編程助手 Amazon CodeWhisperer，并宣布基于自研推理和訓(xùn)練 AI 芯片的最新實(shí)例 Amazon EC2 Trn1n 和 Amazon EC2 Inf2 正式可用。

AWS 推出的自研語言大模型 Titan分為兩種，一種是針對總結(jié)、文本生成（如原創(chuàng)博客）、分類、開放式問答和信息提取等任務(wù)的生成式大語言模型。另一種是文本嵌入（embeddings）大語言模型，能夠?qū)⑽谋据斎耄ㄗ衷~、短語甚至是大篇幅文章）翻譯成包含語義的數(shù)字表達(dá)（即embeddings 嵌入編碼）。AWS表示，除了這兩個以外，未來還會有一系列模型都隸屬于Amazon Titan家族。

除了大模型，同時發(fā)的還有新的訓(xùn)練和推理實(shí)例，一個面向開發(fā)者的AI編程工具Amazon CodeWhisperer，還有用于托管和開發(fā)生成式AI應(yīng)用的Amazon Bedrock。四箭齊發(fā)，亞馬遜云科技搶占大模型市場機(jī)遇。

在大模型快速演進(jìn)的關(guān)鍵時期，為方便技術(shù)交流，共促產(chǎn)業(yè)發(fā)展。