1月12日,阿里巴巴、智源研究院、清華大學等聯(lián)合研究團隊發(fā)布面向認知的超大規(guī)模新型預(yù)訓練模型“文匯”。該模型不僅能提升AI的理解能力,還可基于常識實現(xiàn)AI創(chuàng)作,未來將應(yīng)用于文本理解、人機交互、視覺問答等場景。
與傳統(tǒng)AI訓練需要人工標注數(shù)據(jù)不同,面向認知的預(yù)訓練語言模型提供了一種全新的學習思路,即AI首先自動學習大量語言文字和圖像數(shù)據(jù),記憶和理解其中的信息以及人類語言表述的規(guī)律后,再進一步學習專業(yè)領(lǐng)域知識,從而讓AI同時掌握常識和專業(yè)知識。
此次發(fā)布的“文匯”是目前國內(nèi)規(guī)模最大的預(yù)訓練模型,參數(shù)量級達113億,采用阿里自研的統(tǒng)一多種并行策略的高性能分布式框架,使用模型并行、流水并行、數(shù)據(jù)并行訓練進行分布式訓練。“文匯”突破了多模態(tài)理解與多模態(tài)生成兩大難題,可輕松理解文本圖像信息,并能完成創(chuàng)造性任務(wù)。例如,僅需輸入詩歌題目、朝代以及作者,“文匯”即可自動生成仿古詩詞。目前,“文匯”已支持基于認知推理的多種自然語言及跨模態(tài)應(yīng)用任務(wù),部分應(yīng)用即將上線。
模型可根據(jù)詩歌題目、朝代以及作者自動生成詩歌
達摩院2020十大科技趨勢曾提到:AI已經(jīng)在“聽、說、看”等感知智能領(lǐng)域達到或超越了人類水準,但其邏輯推理能力依舊處于初級階段,多模態(tài)預(yù)訓練模型是實現(xiàn)感知智能向認知智能跨越的關(guān)鍵基礎(chǔ)。達摩院智能計算實驗室負責人周靖人表示,“預(yù)訓練語言模型是過去70多年以來最具創(chuàng)新的自然語言模型之一,其模型設(shè)計難度也遠高于傳統(tǒng)模型,達摩院研究團隊將持續(xù)攻克算法及系統(tǒng)工程難題,加速人工智能走向認知智能?!?/p>
作為國內(nèi)最早投入認知智能研究的科技公司之一,阿里巴巴已有30多個研究成果被國際頂級會議收錄,獲得世界人工智能大會最高獎項—SAIL獎,與清華大學聯(lián)合獲得國家科學技術(shù)進步獎二等獎,旗下圖神經(jīng)網(wǎng)絡(luò)框架Graph Learn已面向全球開源,可減少模型的算力、存儲資源消耗,同時縮短算法開發(fā)上線周期。
責任編輯:PSY
-
AI
+關(guān)注
關(guān)注
87文章
29395瀏覽量
267689 -
阿里巴巴
+關(guān)注
關(guān)注
7文章
1605瀏覽量
46997 -
清華大學
+關(guān)注
關(guān)注
2文章
68瀏覽量
17836 -
理解
+關(guān)注
關(guān)注
0文章
4瀏覽量
8008
發(fā)布評論請先 登錄
相關(guān)推薦
評論