所謂AI大模型就是人工智能預(yù)訓(xùn)練模型,包含三大要素:大算力、強(qiáng)算法、大數(shù)據(jù)。大模型相當(dāng)于人工智能的土壤,沒有大模型支持,就不會有AI的成功。
AI大模型戰(zhàn)場上,國外的OpenAI、谷歌、微軟等大廠正打得火熱;國內(nèi)以百度、阿里、華為、騰訊為代表的科技巨頭,科大訊飛、智譜AI、商湯科技等AI公司,三大運(yùn)營商,以及智源研究院、中科院等學(xué)術(shù)/研究機(jī)構(gòu)都紛紛投身AI大模型浪潮。
從全球已經(jīng)發(fā)布的大模型分布來看,中美兩國數(shù)量合計(jì)占全球總數(shù)的超 80%,美國在大模型數(shù)量方面居全球之首。有專家披露,據(jù)不完全統(tǒng)計(jì),目前中國 10 億參數(shù)規(guī)模以上的大模型已發(fā)布 79 個。
下面一起看看在“百模大戰(zhàn)”下,有哪些橫空出世的AI大模型!
國內(nèi)戰(zhàn)場
百度:文心大模型
2017年,在百度首屆AI開發(fā)者大會上,百度喊出了“All in AI”口號,隨后圍繞著AI進(jìn)行了技術(shù)研發(fā)投入。得益于在人工智能領(lǐng)域的長期投入,百度在人工智能四層架構(gòu),也就是“芯片層、框架層、模型層、應(yīng)用層”有著全棧的布局。
在芯片層,百度昆侖芯科技已實(shí)現(xiàn)兩代通用 AI芯片“昆侖”的量產(chǎn)及應(yīng)用,為大模型落地提供強(qiáng)大算力支持。
在框架層,“飛槳”是國內(nèi)首個自主研發(fā)的產(chǎn)業(yè)級深度學(xué)習(xí)平臺,集基礎(chǔ)模型庫、端到端開發(fā)套件和工具組件于一體,有效支持文心大模型高效、穩(wěn)定訓(xùn)練。
在模型層,“文心大模型”包括基礎(chǔ)大模型、任務(wù)大模型、行業(yè)大模型三級體系,全面滿足產(chǎn)業(yè)應(yīng)用需求。
在應(yīng)用層,文心已大規(guī)模應(yīng)用于百度自有業(yè)務(wù)的各類產(chǎn)品,并通過企業(yè)級平臺“文心千帆”進(jìn)一步推動生態(tài)構(gòu)建。
文心大模型包括 NLP 大模型、CV 大模型、跨模態(tài)大模型、生物計(jì)算大模型和行業(yè)大模型。目前,文心大模型已經(jīng)迭代至3.5版本,與3.0版本相比,訓(xùn)練速度提升了2倍,推理速度提升了17倍,模型效果累計(jì)提升超過50%。據(jù)百度官方表示,文心一言大模型的訓(xùn)練數(shù)據(jù)包括了萬億級網(wǎng)頁數(shù)據(jù)、數(shù)十億的搜索數(shù)據(jù)和圖片數(shù)據(jù)、百億級的語音日均調(diào)用數(shù)據(jù),以及5500億事實(shí)的知識圖譜等。
騰訊:混元大模型
基于騰訊強(qiáng)大的底層算力和低成本的高速網(wǎng)絡(luò)基礎(chǔ)設(shè)施,2022 年底騰訊發(fā)布了低成本、可落地的NLP萬億大模型——混元(HunYuan)AI 大模型。
混元AI大模型采用騰訊太極機(jī)器學(xué)習(xí)平臺自研的訓(xùn)練框架AngelPTM,相比業(yè)界主流的解決方案,太極AngelPTM單機(jī)可容納的模型可達(dá)55B,20個節(jié)點(diǎn)(A100-40Gx8)可容納萬億規(guī)模模型,節(jié)省45%訓(xùn)練資源,并在此基礎(chǔ)上訓(xùn)練速度提升1倍!
在模型層,混元大模型完整覆蓋 NLP 大模型、 CV 大模型、多模態(tài)大模型、文生圖大模型及眾多行業(yè)/領(lǐng)域/任務(wù)模型。其中,HunYuan-NLP 1T 的模型能力在自然語言理解任務(wù)榜單 CLUE 中登頂。
| 混元大模型全景圖
在產(chǎn)業(yè)化方面,混元先后支持了包括微信、QQ、游戲、騰訊廣告、騰訊云等眾多產(chǎn)品和業(yè)務(wù),通過 NLP、CV、跨模態(tài)等 AI 大模型,不僅為業(yè)務(wù)創(chuàng)造了增量價值而且降低了使用成本。特別是其在廣告內(nèi)容理解、行業(yè)特征挖掘、文案創(chuàng)意生成等方面的應(yīng)用,在為騰訊廣告帶來大幅 GMV 提升的同時,也初步驗(yàn)證了大模型的商業(yè)化潛力。
阿里:通義大模型
2022年9月,阿里達(dá)摩院發(fā)布通義大模型系列。該模型打造了AI統(tǒng)一底座,并構(gòu)建了通用與專業(yè)模型協(xié)同的層次化人工智能體系,首次實(shí)現(xiàn)模態(tài)表示、任務(wù)表示、模型結(jié)構(gòu)的統(tǒng)一。通義大模型整體架構(gòu)分為三個層次:
模型底座層:多模態(tài)統(tǒng)一底座模型 M6-OFA,實(shí)現(xiàn)統(tǒng)一的學(xué)習(xí)范式和模塊化設(shè)計(jì);
通用模型層:多模態(tài)模型“通義-M6”、NLP 模型“通義-AliceMind”以及 CV 模型“通義-視覺”;
行業(yè)模型層:深入電商、醫(yī)療、法律、金融、娛樂等行業(yè)。
通過部署超大模型的輕量化及專業(yè)模型版本,通義大模型已在超過 200 個場景中提供服務(wù), 實(shí)現(xiàn) 2%~10%的應(yīng)用效果提升。在搜索場景中,可實(shí)現(xiàn)以文搜圖的跨模態(tài)搜索。在 AI 輔助審判中,可實(shí)現(xiàn)司法卷宗的事件抽取、文書分類等任務(wù)效果 3~5%的提升。在人機(jī)對話領(lǐng)域,初步具備知識、記憶、情感以及個性的中文開放域?qū)υ挻竽P涂蓪?shí)現(xiàn)主動對話、廣泛話題、緊跟熱點(diǎn)等對話體驗(yàn)。此外,通義大模型在 AI 輔助設(shè)計(jì)、醫(yī)療文本理解等其他領(lǐng)域也有豐富的應(yīng)用場景。
在近期的2023世界人工智能大會上,阿里宣布推出通義大模型家族新成員“通義萬相”。這是一款A(yù)I繪畫模型,支持文生圖等功能,它能夠通過機(jī)器學(xué)習(xí)和自然語言處理技術(shù),從文本描述中生成對應(yīng)的圖片或畫作。
華為:盤古大模型
2021年4月華為正式發(fā)布盤古系列大模型,包括NLP、CV和科學(xué)計(jì)算大模型,后續(xù)還發(fā)布了礦山、藥物分子、氣象、海浪等行業(yè)大模型。
其中,盤古NLP大模型首次使用Encoder-Decoder架構(gòu),兼顧NLP大模型的理解能力和生成能力,保證了模型在不同系統(tǒng)中的嵌入靈活性。在下游應(yīng)用中,僅需少量樣本和可學(xué)習(xí)參數(shù)即可完成千億規(guī)模大模型的快速微調(diào)和下游適配。而盤古CV大模型則是首次實(shí)現(xiàn)模型按需抽取的業(yè)界最大CV大模型,兼顧判別與生成能力,能夠基于模型大小和運(yùn)行速度需求,自適應(yīng)抽取不同規(guī)模模型,AI應(yīng)用開發(fā)快速落地。
在7月7日的華為開發(fā)者大會2023上,盤古大模型3.0正式發(fā)布。盤古大模型 3.0 是一個完全面向行業(yè)的大模型系列,包括 5+N+X 三層架構(gòu):
L0 基礎(chǔ)大模型:包括自然語言大模型、視覺大模型、多模態(tài)大模型、預(yù)測大模型、科學(xué)計(jì)算大模型在內(nèi)的5個基礎(chǔ)大模型。盤古 3.0 為客戶提供 100 億參數(shù)、380 億參數(shù)、710 參數(shù)和 1000 億參數(shù)的系列化基礎(chǔ)大模型,匹配客戶不同場景、不同時延、不同響應(yīng)速度的行業(yè)多樣化需求。
L1 行業(yè)大模型:涵蓋N 個行業(yè)大模型,既可以提供使用行業(yè)公開數(shù)據(jù)訓(xùn)練的行業(yè)通用大模型,包括政務(wù),金融,制造,礦山,氣象等;也可以基于行業(yè)客戶的自有數(shù)據(jù),在盤古的 L0 和 L1 上,為客戶訓(xùn)練自己的專有大模型。
L2 場景模型:為客戶提供更多細(xì)化場景,它更加專注于某個具體的應(yīng)用場景或特定業(yè)務(wù),為客戶提供開箱即用的模型服務(wù)。
網(wǎng)易:玉言、子曰大模型
在2023世界人工智能大會上,網(wǎng)易多款A(yù)I大模型落地產(chǎn)品首次亮相,集中展示了在人工智能基礎(chǔ)設(shè)施層、引擎層、平臺層、模型層、應(yīng)用層的領(lǐng)先創(chuàng)新成果。會上,由網(wǎng)易有道自研的首個教育大模型“子曰”最新應(yīng)用成果——虛擬人口語教練首次亮相。
除了口語訓(xùn)練外,據(jù)悉“子曰”大模型系列應(yīng)用成果還包括中文作文指導(dǎo)與批改、英語習(xí)題精講等多種教育領(lǐng)域細(xì)分應(yīng)用。“子曰”大模型能夠作為基座模型支持很多下游任務(wù),為所有下游場景模型提供語義理解、知識表達(dá)等基礎(chǔ)能力,是有道AI產(chǎn)品體系的核心。有道研發(fā)團(tuán)隊(duì)在子曰大模型的基礎(chǔ)上,會為不同場景設(shè)計(jì)定制化模型,以實(shí)現(xiàn)模型與場景的高度契合。
此前網(wǎng)易伏羲實(shí)驗(yàn)室推出了中文預(yù)訓(xùn)練大模型“玉言”。公開資料顯示,“玉言”大模型參數(shù)達(dá)到110億,由浪潮信息提供AI算力支持?!坝裱浴贝竽P拖嚓P(guān)技術(shù)已用于網(wǎng)易集團(tuán)內(nèi)的文字游戲、智能 NPC、文本輔助創(chuàng)作、音樂輔助創(chuàng)作、美術(shù)設(shè)計(jì)、互聯(lián)網(wǎng)搜索推薦等業(yè)務(wù)場景。
據(jù)了解,網(wǎng)易AI大模型正在加速覆蓋百余個產(chǎn)業(yè)應(yīng)用場景,在加速創(chuàng)新應(yīng)用的同時,網(wǎng)易伏羲有靈眾包平臺今年還將為10萬人提供AI新職業(yè),包含挖掘機(jī)遠(yuǎn)程駕駛員、AI繪畫師、AI表情綁定師等人機(jī)協(xié)作的就業(yè)崗位。平臺還會根據(jù)求職者的用戶畫像,提供針對性的培訓(xùn),幫助他們實(shí)現(xiàn)能力和收入的提升。
京東:言犀大模型
京東集團(tuán)技術(shù)委員會主席、京東云事業(yè)部總裁曹鵬介紹,即將推出的言犀大規(guī)模預(yù)訓(xùn)練語言模型將面向多模態(tài),深入零售、物流、工業(yè)等產(chǎn)業(yè)場景。言犀是“京東版”ChatGPT,其預(yù)訓(xùn)練參數(shù)達(dá)到千億級、品類覆蓋 3000+、人工審核通過率95%+、生成文字30億+。
據(jù)悉,新一代京東大模型定位于產(chǎn)業(yè)版本的ChatGPT。該模型的落地應(yīng)用路線圖“125”計(jì)劃也已公布,包括一個平臺、兩個領(lǐng)域和五個應(yīng)用。其中,一個平臺為ChatJD智能人機(jī)對話平臺,兩個領(lǐng)域?yàn)榱闶酆徒鹑?,五個應(yīng)用則包括內(nèi)容生成、人機(jī)對話、用戶意圖理解、信息抽取和情感分類。
360:360智腦大模型
6月13日,360集團(tuán)舉行360智腦大模型應(yīng)用發(fā)布會,認(rèn)知型通用大模型“360智腦4.0”亮相,360智腦在多模態(tài)等關(guān)鍵能力上完成迭代,將全面接入“360全家桶”,同時360AI數(shù)字人正式發(fā)布。
360集團(tuán)創(chuàng)始人周鴻祎介紹,認(rèn)知型通用大模型“360智腦4.0”具備生成與創(chuàng)作、多輪對話、代碼能力、邏輯與推理、知識問答、閱讀理解、文本分類、翻譯、文本改寫、多模態(tài)(文本生成圖像)十大核心能力。
周鴻祎表示,今年3月底,360智腦大模型率先落地搜索場景。在隨后不到3個月時間內(nèi),360智腦完成從1.0版本到4.0版本的迭代。下一步,計(jì)劃將360智腦升級到5.0版本,并發(fā)布插件平臺。
浪潮:源大模型
源1.0是浪潮信息在2021年發(fā)布的人工智能巨量模型,單體模型參數(shù)量達(dá)到2457億。作為通用NLP預(yù)訓(xùn)練模型,源1.0能夠適應(yīng)多種類的AI任務(wù)需求,降低針對不同應(yīng)用場景的語言模型適配難度,并提升小樣本學(xué)習(xí)與零樣本學(xué)習(xí)場景的模型泛化應(yīng)用能力。
此后,浪潮信息發(fā)布了基于“源1.0”大模型生成的4個技能大模型(SkillModel),分別為對話模型“源曉問”、問答模型“源曉搜”、翻譯模型“源曉譯”、古文模型“源曉文”。這些技能大模型在各自細(xì)分領(lǐng)域的精度業(yè)界領(lǐng)先,可直接應(yīng)用于人機(jī)交互、知識檢索、語言翻譯和文學(xué)創(chuàng)作等領(lǐng)域,模型運(yùn)行速度最高提升9倍。更重要的是,基于大模型快速生成特定領(lǐng)域的技能大模型(Skill Model),也意味著“源”的AI生產(chǎn)力大幅升級,能夠幫助商業(yè)組織和研究機(jī)構(gòu)實(shí)現(xiàn)對AI技術(shù)的高效、快速和低成本應(yīng)用,加速產(chǎn)業(yè)AI化。
浪潮表示,公司在“源”大模型方面的工作在持續(xù)推進(jìn)中。源2.0將會在文生圖、Chat、多模態(tài)、工具鏈等方面進(jìn)行升級提升。
科大訊飛:星火認(rèn)知大模型
在多年核心技術(shù)儲備下,科大訊飛于2022年12月15日啟動“1+N”認(rèn)知智能大模型專項(xiàng)攻關(guān),2023年5月6日訊飛星火認(rèn)知大模型正式發(fā)布,涵蓋了文本生成、語言理解、知識問答、邏輯推理等七項(xiàng)核心能力,并持續(xù)迭代于6月9日再次升級發(fā)布星火認(rèn)知大模型V1.5。
星火認(rèn)知大模型最先應(yīng)用于教育、辦公、汽車駕駛、數(shù)字員工等場景,升級產(chǎn)品智能化功能,極大程度改善了用戶體驗(yàn)。
在教育領(lǐng)域,訊飛星火認(rèn)知大模型+學(xué)習(xí)機(jī)(科大訊飛AI習(xí)機(jī)T20),可以AI寫作批改、精細(xì)批改、給優(yōu)化參考,儼然成為學(xué)生的智能家庭教師。在辦公領(lǐng)域,訊飛星火大模型+辦公(訊飛聽見、訊飛智能辦公本X2),可以自動會議紀(jì)要、自動語篇規(guī)整、一鍵成稿,是職工的智能辦公助理。
在汽車駕駛領(lǐng)域,訊飛星火認(rèn)知大模型+智能座艙,可以提供多輪、多人、多區(qū)域、多模態(tài)智能汽車人機(jī)交互范式,強(qiáng)化智能座艙的科技體驗(yàn)感。在數(shù)字員工領(lǐng)域,訊飛星火大模型+數(shù)字員工,優(yōu)化了數(shù)字員工語音和文本交互體驗(yàn)……
近日,科大訊飛高級副總裁、認(rèn)知智能全國重點(diǎn)實(shí)驗(yàn)室主任胡國平公布了訊飛與華為的合作,表示訊飛星火將與昇騰AI強(qiáng)強(qiáng)聯(lián)合,全力打造我國通用智能新底座?!皣a(chǎn)大模型只有基于中國自主創(chuàng)新的算力底座才有大未來?!?/p>
商湯:日日新大模型
4月,商湯科技董事長兼首席執(zhí)行官徐立宣布推出“日日新SenseNova”大模型體系。這個體系包含自然語言處理、內(nèi)容生成、自動化數(shù)據(jù)標(biāo)注、自定義模型訓(xùn)練等多種大模型及能力。
近日,“商湯日日新SenseNova”大模型體系多方位全面升級。作為千億級參數(shù)的自然語言處理模型,商湯商量SenseChat 2.0版本突破了大語言模型輸入長度的限制,并推出不同參數(shù)量級的模型版本,可完美適配移動端、云端等不同終端及場景的應(yīng)用需求,降低部署成本。商湯的自研生成式大模型商湯秒畫SenseMirage 3.0的模型參數(shù)從今年4月首次發(fā)布以來的10億提升至70億量級,能夠?qū)崿F(xiàn)專業(yè)攝影級的圖片細(xì)節(jié)刻畫。
商湯如影SenseAvatar 2.0數(shù)字人生成平臺相較1.0版本的語音和口型流暢度提升30%以上,實(shí)現(xiàn)4K高清視頻效果,并帶來AIGC生成形象及數(shù)字人歌唱功能。此外,商湯瓊宇SenseSpace 2.0的空間重建效率提升20%,渲染性能提升50%,每100平方公里場景的建圖時間僅需38小時即可完成(1200 TFLOPS/秒算力支持);而商湯格物SenseThings 2.0對小物體的紋理及材質(zhì)還原達(dá)到毫米級精細(xì)度,并突破對高反光和鏡面物體的采集難題。
智譜AI:智譜AI系列大模型
2022年 11月,斯坦福大學(xué)大模型中心對全球 30 個主流大模型進(jìn)行全方位評測,智譜 AI研發(fā)的雙語千億級超大規(guī)模預(yù)訓(xùn)練模型 GLM-130B 是亞洲唯一入選的大模型,測評結(jié)果顯示,其準(zhǔn)確性等關(guān)鍵指標(biāo)與 OpenAI、谷歌大腦、微軟和英偉達(dá)等公司的大模型接近或持平,全球已有70個國家 1000 余家機(jī)構(gòu)申請使用。
智譜AI語言大模型ChatGLM系列模型,通過注入代碼預(yù)訓(xùn)練,有監(jiān)督微調(diào)等技術(shù)對齊人類意圖,具備問答、多輪對話、代碼生成等能力;代碼大模型CodeGeeX模型,130億參數(shù),支持20多種編程語言,具備代碼生成、續(xù)寫、翻譯等能力;多模態(tài)大模型CogView模型,基于Transformer架構(gòu)的文本生成圖像模型,支持根據(jù)指令生成和編輯圖像。
ChatGLM 在GLM-130B 上通過有監(jiān)督微調(diào)等技術(shù)實(shí)現(xiàn)人類意圖對齊,支持英偉達(dá)和華為異騰、海光及申威等***進(jìn)行訓(xùn)練和推理,開源的ChatGLM-6B 模型全球下載超過 160萬,持續(xù)兩周位列Huggingface 全球模型趨勢榜榜首。
據(jù)360官方消息,360 和智譜 AI 達(dá)成戰(zhàn)略合作,打造中國的“微軟+OpenAI”組合引領(lǐng)大模型技術(shù)攻關(guān),共同研發(fā)的千億級大模型“360GLM”。
昆侖萬維:天工大模型
4月10日,昆侖萬維宣布聯(lián)合奇點(diǎn)智源共同研發(fā)了號稱“中國第一個真正實(shí)現(xiàn)智能涌現(xiàn)”的國產(chǎn)大語言模型——“天工”3.5。
天工作為一款大型語言模型,擁有強(qiáng)大的自然語言處理和智能交互能力,能夠?qū)崿F(xiàn)智能問答、聊天互動、文本生成等多種應(yīng)用場景,并且具有豐富的知識儲備,涵蓋科學(xué)、技術(shù)、文化、藝術(shù)、歷史等領(lǐng)域。
據(jù)悉,天工算力基于國內(nèi)最大的GPU集群之一,其規(guī)模優(yōu)勢使得天工可通過海量數(shù)據(jù)進(jìn)行更充分的訓(xùn)練,從而積累更強(qiáng)的理解能力和記憶力。其次,天工采用了雙千億模型——千億預(yù)訓(xùn)練基座模型和千億RLHF模型,這使其具備了更高級的自主學(xué)習(xí)和智能涌現(xiàn)能力。此外,蒙特卡洛搜索樹算法使天工可以提供更加人性化的交互體驗(yàn)。這些技術(shù)突破,使得天工在復(fù)雜任務(wù)和場景中能夠快速且準(zhǔn)確地響應(yīng)指令,輸出高質(zhì)量回答。
中國移動:“九天”1+N大模型
2023 年7 月 8 日,中國移動正式發(fā)布 “ 九天 ” 人工智能大模型:九天?海算政務(wù)大模型和九天?客服大模型。目前,九天人工智能平臺的技術(shù)團(tuán)隊(duì)擁有超過600名研發(fā)人員。
據(jù)了解,九天?海算政務(wù)大模型具備政務(wù)事項(xiàng)理解能力、多維度信息關(guān)聯(lián)能力、面向復(fù)雜事項(xiàng)和復(fù)雜流程的多元交互能力,首創(chuàng) “ 政務(wù)大模型 — 信息場 — 應(yīng)用 ” 端到端政務(wù)服務(wù)體系,可以滿足工作人員動態(tài)管理、公文寫作等需求。
九天?客服大模型可根據(jù)用戶提供的自然語言描述,解析問題并提供答案;還可與人工客服協(xié)作,分析歷史溝通內(nèi)容的語義和上下文,總結(jié)和歸納對話的重點(diǎn)和關(guān)鍵信息,為人工客服提供回復(fù)建議。
中國電信:TeleChat大模型
7月6日,中國電信數(shù)字智能科技分公司正式對外發(fā)布中國電信大語言模型TeleChat,并展示了大模型賦能數(shù)據(jù)中臺、智能客服和智慧政務(wù)三個方向的產(chǎn)品。
中國電信依托云網(wǎng)融合的優(yōu)勢,打造了中國電信的大語言模型TeleChat。TeleChat使用了大量高質(zhì)量中英文語料進(jìn)行預(yù)訓(xùn)練,并采用了千萬級問答數(shù)據(jù)進(jìn)行微調(diào)。同時,設(shè)計(jì)了漸進(jìn)膨脹注意力機(jī)制,用于增加模型的間隔采樣,擴(kuò)大實(shí)際感受野;研發(fā)了自校準(zhǔn)微調(diào)技術(shù),將迭代后相關(guān)性偏差作為強(qiáng)化學(xué)習(xí)的監(jiān)督信號,提升強(qiáng)化學(xué)習(xí)效果;并且利用知識圖譜協(xié)同增強(qiáng)策略,通過知識圖譜增強(qiáng)大模型的預(yù)訓(xùn)練和推理能力,減少大模型幻覺現(xiàn)象。
此外,以TeleChat為底座的教育版大模型TeleChat-E在全球大模型綜合性考試評測榜單C-Eval上排名第七,前幾名包括ChatGPT等知名大模型。TeleChat-E使用人工收集、標(biāo)注、整理的高質(zhì)量領(lǐng)域數(shù)據(jù)對TeleChat進(jìn)行持續(xù)效果強(qiáng)化。同時,TeleChat-E對Transformer Decoder的損失函數(shù)進(jìn)行改進(jìn),使之更加關(guān)注題目答案的生成,提高準(zhǔn)確率。
當(dāng)下,電信TeleChat大模型正在與千行百業(yè)的信息化解決方案進(jìn)行融合,在諸多行業(yè)實(shí)現(xiàn)商業(yè)化落地。
中國聯(lián)通:鴻湖圖文大模型1.0
近日,在上海世界移動通信大會期間,中國聯(lián)通發(fā)布了一項(xiàng)重要的技術(shù)創(chuàng)新成果——鴻湖圖文大模型1.0。中國聯(lián)通稱,鴻湖圖文大模型是首個面向運(yùn)營商增值業(yè)務(wù)的大模型。
據(jù)了解,鴻湖圖文大模型目前有兩個版本,分別是擁有8億訓(xùn)練參數(shù)和20億訓(xùn)練參數(shù)的版本。這意味著該大模型具備了強(qiáng)大的計(jì)算和學(xué)習(xí)能力,能夠?qū)崿F(xiàn)多種復(fù)雜的圖文處理功能。
以文生圖是鴻湖圖文大模型的一項(xiàng)重要功能。通過該功能,用戶可以輸入文字描述,大模型能夠自動生成相應(yīng)的圖像。這對于一些需要圖像輔助的場景,如廣告設(shè)計(jì)、創(chuàng)意表達(dá)等,具有重要的應(yīng)用價值。
另外,鴻湖圖文大模型還具備視頻剪輯和以圖生圖的功能。視頻剪輯功能可以根據(jù)用戶提供的視頻素材,自動進(jìn)行剪輯和編輯,生成符合用戶需求的視頻作品。而以圖生圖功能則可以根據(jù)用戶提供的圖像,生成新的圖像,為用戶提供更多的創(chuàng)作靈感。
中國科學(xué)院自動化研究所:紫東太初大模型
紫東太初是中國科學(xué)院自動化研究所研發(fā)的跨模態(tài)通用人工智能平臺 ,首次發(fā)布于 2021 年 7 月。紫東太初是圖文音(視覺-文本-語音)三模態(tài)預(yù)訓(xùn)練模型(OPT-Omni-Perception pre-Trainer),同時具備跨模態(tài)理解與跨模態(tài)生成能力。
2023年6月16日,中國科學(xué)院自動化研究所發(fā)布紫東太初2.0。相比1.0版本,在語音、圖像和文本三模態(tài)的基礎(chǔ)上,加入視頻、傳感信號、3D點(diǎn)云等模態(tài)數(shù)據(jù),研究突破了認(rèn)知增強(qiáng)的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù),具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力,面向數(shù)字經(jīng)濟(jì)時代加速通用人工智能的實(shí)現(xiàn)。
紫東太初 2.0以自動化所自研算法為核心,以昇騰AI硬件及昇思MindSpore AI框架為基礎(chǔ),依托武漢人工智能計(jì)算中心算力支持,著力打造全棧國產(chǎn)化通用人工智能底座。長期以來,強(qiáng)大的算力支撐是約束我國人工智能發(fā)展的瓶頸之一,此舉將有力推動國產(chǎn)基礎(chǔ)軟硬件與大模型技術(shù)的適配,協(xié)同構(gòu)建我國通用人工智能自主可控發(fā)展生態(tài)。
目前,“紫東太初”大模型已在神經(jīng)外科手術(shù)導(dǎo)航、短視頻內(nèi)容審核、法律咨詢、醫(yī)療多模態(tài)鑒別診斷、交通違規(guī)圖像研讀等領(lǐng)域開始了一系列應(yīng)用。
智源研究院:悟道智能模型
智源研究院自 2020 年 10 月正式啟動超大規(guī)模智能模型悟道項(xiàng)目,2021 年3月2號就發(fā)布了超大規(guī)模的智能模型悟道1.0,取得了多項(xiàng)領(lǐng)域的領(lǐng)先突破。2021年6月1日,基于智能模型“悟道2.0”誕生的原創(chuàng)虛擬學(xué)生“華智冰”在北京正式亮相。
悟道2.0智能模型參數(shù)規(guī)模達(dá)到1.75萬億個,可以同時處理中英文和圖片數(shù)據(jù)。該模型還引入大規(guī)模的知識圖譜,構(gòu)建了數(shù)據(jù)與知識雙輪驅(qū)動的人工智能框架,并通過這種框架分析、理解富含前沿技術(shù)信息的知識。
2023年 6 月的智源大會上,智源發(fā)布并全面開源“悟道3.0”系列模型。值得注意的是,智源的關(guān)注點(diǎn)不僅是模型本身,更包括模型背后的算力平臺建設(shè)、數(shù)據(jù)梳理、模型能力評測、算法測試、開源開放組織等體系化工作。
“悟道3.0 ”包括“悟道·天鷹”(Aquila)語言大模型系列、“悟道 · 視界”視覺大模型系列,以及一系列多模態(tài)模型成果。
國外戰(zhàn)場
OpenAI:GPT 系列大模型
2022 年11月,OpenAI發(fā)布了名為ChatGPT的人工智能模型并迅速引爆人工智能市場,推動國內(nèi)公司進(jìn)入生成式人工智能領(lǐng)域,導(dǎo)致市場競爭激烈。OpenAI GPT 系列大模型基于 Transformer 基礎(chǔ)模型,GPT(Generative Pre-trained Transformer)即生成式預(yù)訓(xùn)練 Transformer模型,模型被設(shè)計(jì)為對輸入的單詞進(jìn)行理解和響應(yīng)并生成新單詞,預(yù)訓(xùn)練代表著 GPT 通過填空方法來對文本進(jìn)行訓(xùn)練。
GPT-4 是 OpenAI 在深度學(xué)習(xí)擴(kuò)展方面的最新里程碑。根據(jù)微軟發(fā)布的GPT-4 論文,GPT-4 已經(jīng)可被視為一個通用人工智能的早期版本。GPT-4 是一個大型多模態(tài)模型(接受圖像和文本輸入 、輸出),雖然在許多現(xiàn)實(shí)場景中的能力不如人類,但在各種專業(yè)和學(xué)術(shù)基準(zhǔn)測試中表現(xiàn)出人類水平的性能。GPT-4 不僅在文學(xué)、醫(yī)學(xué)、法律、數(shù)學(xué)、物理科學(xué)和程序設(shè)計(jì)等不同領(lǐng)域表現(xiàn)出高度熟練程度,而且它還能夠?qū)⒍鄠€領(lǐng)域的技能和概念統(tǒng)一起來,并能理解其復(fù)雜概念。
2023 年 6 月,OpenAI對外公布了一種新的AI模型訓(xùn)練方法,旨在解決“AI幻覺”的問題。所謂“AI幻覺”,指的是聊天機(jī)器人用編造的信息進(jìn)行回應(yīng),這是AI自信反應(yīng)的一種表現(xiàn)。ChatGPT、谷歌 Bard都存在 AI 幻覺問題。OpenAI研究人員在報道中寫道:“即使是最先進(jìn)的模型也很容易生成虛假信息——在不確定情況時,它們往往表現(xiàn)出捏造事實(shí)的傾向。這種幻覺在需要多步推理的領(lǐng)域尤其嚴(yán)重,其中一個環(huán)節(jié)上的邏輯錯誤就足以破壞整個解答過程?!?/p>
微軟:Orca大模型等
2019 年微軟首次注資 OpenAI后,雙方開始在微軟的 Azure 云計(jì)算服務(wù)上合作開發(fā)人工智能超級計(jì)算技術(shù),同時 OpenAI 逐漸將云計(jì)算服務(wù)從谷歌云遷移到 Azure。2023 年 3月起,微軟開始全面集成GPT- 4,包括Office 全家桶、Windows、Bing 等等。
2022 年 8 月,微軟亞洲研究院聯(lián)合微軟圖靈團(tuán)隊(duì)推出了最新升級的 BEiT-3 預(yù)訓(xùn)練模型,在廣泛的視覺及視覺-語言任務(wù)上,包括目標(biāo)檢測(COCO)、實(shí)例分割(COCO)、語義分割(ADE20K)、圖像分類(ImageNet)、視覺推理(NLVR2)、視覺問答(VQAv2)、圖片描述生成(COCO)和跨模態(tài)檢索(Flickr30K,COCO)等,實(shí)現(xiàn)了 SOTA 的遷移性能。
2023 年6 月,微軟 AI 推出 Orca,這是一個擁有 130 億個參數(shù)的AI模型,可以從 GPT-4 中學(xué)習(xí)復(fù)雜的解釋軌跡和逐步的思維過程。這種創(chuàng)新方法顯著提高了現(xiàn)有最先進(jìn)的指令調(diào)整模型的性能,解決了與任務(wù)多樣性、查詢復(fù)雜性和數(shù)據(jù)擴(kuò)展相關(guān)的挑戰(zhàn)。Orca 語言模型可以針對特定任務(wù)進(jìn)行優(yōu)化,并使用 GPT-4 等大型語言模型進(jìn)行訓(xùn)練。由于其尺寸較小,Orca 運(yùn)行和操作所需的計(jì)算資源較少。研究人員可以根據(jù)自己的需求優(yōu)化模型并獨(dú)立運(yùn)行,無需依賴大型數(shù)據(jù)中心。
微軟正在利用大規(guī)模和多樣化的模仿數(shù)據(jù)來促進(jìn) Orca 的漸進(jìn)式學(xué)習(xí),Orca 在 Big-Bench Hard (BBH) 等復(fù)雜的零樣本推理基準(zhǔn)測試中已經(jīng) 100% 超過了 Vicuna。
谷歌:PaLM 2 大模型、Gemini大模型等
谷歌最早在 2017 年提出 Transformer 網(wǎng)絡(luò)結(jié)構(gòu),成為了過去數(shù)年該領(lǐng)域大多數(shù)行業(yè)進(jìn)展的基礎(chǔ)。隨后在 2018 年,谷歌提出的 BERT 模型,在 11 個 NLP 領(lǐng)域的任務(wù)上都刷新了以往的記錄?;?Transformer 結(jié)構(gòu),谷歌于 2019 年推出大模型——T5(Text-toText Transfer Transformer)
在ChatGPT 取得突破性成功之后,谷歌宣布了自己的聊天機(jī)器人谷歌 Bard, 而 Bard 這個技術(shù)形象背后是 LaMDA 在提供后端支撐。LaMDA 是繼 BERT之后,谷歌于 2021 年推出的一款自然對話應(yīng)用的語言模型。同年谷歌研發(fā)出 GLaM 模型架構(gòu),GLaM 也是混合專家模型(MoE),其在多個小樣本學(xué)習(xí)任務(wù)上取得有競爭力的性能。
2022 年,Google 發(fā)布了 Pathways AI 架構(gòu)的大模型(Pathways Language Model),簡稱為 PaLM),2023 年5 月,谷歌在Google I/O 開發(fā)者大會上發(fā)布了升級款 PaLM 2 ,PaLM 2 同時提供了四種模型大小的版本分別是:壁虎(Gecko)、水獺(Otter)、野牛(Bison)和獨(dú)角獸(Unicorn)。據(jù)谷歌介紹,PaLM 2 具有改進(jìn)的多語言能力,在訓(xùn)練模型時加入了 100 多種語言的語料來,促使 PaLM 2 在理解、生成和翻譯細(xì)微差別的文本(如成語、詩歌和謎語)的能力上相比前代有著顯著提高。同時在推理方面,PaLM 2 的數(shù)據(jù)集在理解科學(xué)論文以及數(shù)學(xué)表達(dá)式等問題時也有著巨大提升。
6月28日消息,谷歌正準(zhǔn)備推出全新的AI大模型Gemini。谷歌旗下DeepMind CEO戴密斯·哈薩比斯最近在采訪中進(jìn)一步透露了Gemini的細(xì)節(jié),Gemini會將AlphaGo與GPT-4等大模型的語言功能合并,目標(biāo)是讓系統(tǒng)具有新的能力,如規(guī)劃或解決問題,比OpenAI的GPT-4能力更強(qiáng)。不過Gemini還在開發(fā)中, 這個過程預(yù)計(jì)需要幾個月的時間。
Meta:LLaMA語言模型、ImageBind 大模型等
繼微軟、谷歌之后,F(xiàn)acebook母公司Meta也加入AI軍備競賽。2023 年2月24日,Meta官網(wǎng)公布了一款新的人工智能大型語言模型LLaMA,從參數(shù)規(guī)模來看,Meta提供有70億、130億、330億和650億四種參數(shù)規(guī)模的LLaMA模型,并用20種語言進(jìn)行訓(xùn)練。
2023 年 5 月,Meta 發(fā)布 650億參數(shù)語言模型 LIMA,僅在 1000 個精心挑選的樣本上微調(diào) LLaMa-65B 且無需 RLHF,就實(shí)現(xiàn)了與 GPT-4 和 Bard 相媲美的性能。此外,Meta還推出了大規(guī)模多語言語音項(xiàng)目 MMS(Massively Multilingual Speech)、可“任意圖像分割”的基礎(chǔ)模型SAM(Segment Anything Model)、DINOv2 視覺大模型。
同樣在 5 月,Meta開源 ImageBind 新模型,ImageBind大模型以視覺為核心,結(jié)合文本、聲音、深度、熱量(紅外輻射)、運(yùn)動(慣性傳感器),最終可以做到6個模態(tài)之間任意的理解和轉(zhuǎn)換。ImageBind 可以使用文本、音頻和圖像的組合來搜索照片、視頻、音頻文件或文本消息。ImageBind 用于豐富的多媒體搜索、虛擬現(xiàn)實(shí)甚至機(jī)器人技術(shù),可以和 Meta 內(nèi)部的虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)和元宇宙等技術(shù)相結(jié)合。
AWS:Titan語言大模型
2023 年 4 月,AWS 正式入局 AIGC,推出自有基礎(chǔ)模型 Titan 和 AIGC 服務(wù) Bedrock,以及 AI 編程助手 Amazon CodeWhisperer,并宣布基于自研推理和訓(xùn)練 AI 芯片的最新實(shí)例 Amazon EC2 Trn1n 和 Amazon EC2 Inf2 正式可用。
AWS 推出的自研語言大模型 Titan分為兩種,一種是針對總結(jié)、文本生成(如原創(chuàng)博客)、分類、開放式問答和信息提取等任務(wù)的生成式大語言模型。另一種是文本嵌入(embeddings)大語言模型,能夠?qū)⑽谋据斎耄ㄗ衷~、短語甚至是大篇幅文章)翻譯成包含語義的數(shù)字表達(dá)(即embeddings 嵌入編碼)。AWS表示,除了這兩個以外,未來還會有一系列模型都隸屬于Amazon Titan家族。
除了大模型,同時發(fā)的還有新的訓(xùn)練和推理實(shí)例,一個面向開發(fā)者的AI編程工具Amazon CodeWhisperer,還有用于托管和開發(fā)生成式AI應(yīng)用的Amazon Bedrock。四箭齊發(fā),亞馬遜云科技搶占大模型市場機(jī)遇。
在大模型快速演進(jìn)的關(guān)鍵時期,為方便技術(shù)交流,共促產(chǎn)業(yè)發(fā)展。
-
AI
+關(guān)注
關(guān)注
87文章
29435瀏覽量
267735 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8838瀏覽量
137141 -
大模型
+關(guān)注
關(guān)注
2文章
2225瀏覽量
2251 -
AI大模型
+關(guān)注
關(guān)注
0文章
305瀏覽量
265
原文標(biāo)題:“百模大戰(zhàn)”:盤點(diǎn)國內(nèi)外橫空出世的AI大模型
文章出處:【微信號:SDNLAB,微信公眾號:SDNLAB】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論