日本團(tuán)隊(duì)發(fā)布在富岳超算上訓(xùn)練的Fugaku-LLM大模型

5月11日訊，多方企業(yè)與機(jī)構(gòu)聯(lián)手的日本研究小組昨日公布了Fugaku-LLM大型模型。該模型最大特點(diǎn)在于在Arm架構(gòu)超算“富岳”上完成了訓(xùn)練。

自2023年5月起，F(xiàn)ugaku-LLM模型的開(kāi)發(fā)工作開(kāi)始展開(kāi)，最初參與團(tuán)隊(duì)包括富士通、東京工業(yè)大學(xué)、日本東北大學(xué)以及日本理化學(xué)研究所（簡(jiǎn)稱(chēng)理研）。

至同年8月，又有三家合作伙伴——名古屋大學(xué)、CyberAgent（同時(shí)也是游戲巨頭Cygames的母公司）及HPC-AI領(lǐng)域創(chuàng)新企業(yè)Kotoba Technologies加入項(xiàng)目。

研究團(tuán)隊(duì)在昨日的新聞發(fā)布會(huì)上表示，他們成功利用富岳超算的強(qiáng)大性能，使矩陣乘法運(yùn)算速度提升6倍，通信速度提高3倍，從而證明大型純CPU超算同樣適用于大模型訓(xùn)練。

Fugaku-LLM模型參數(shù)規(guī)模達(dá)13B，成為日本國(guó)內(nèi)最大的大型語(yǔ)言模型。

該模型采用13824個(gè)富岳超算節(jié)點(diǎn)，在3800億個(gè)Token上進(jìn)行訓(xùn)練，其中60%為日語(yǔ)數(shù)據(jù)，其余40%涵蓋英語(yǔ)、數(shù)學(xué)、代碼等內(nèi)容。

研究團(tuán)隊(duì)表示，F(xiàn)ugaku-LLM模型能夠在交流過(guò)程中自然運(yùn)用日語(yǔ)敬語(yǔ)等特殊表達(dá)方式。

在測(cè)試結(jié)果方面，該模型在日語(yǔ)MT-Bench模型基準(zhǔn)測(cè)試中的平均得分高達(dá)5.5，位列基于日本語(yǔ)料資源的開(kāi)放模型之首；在人文社科類(lèi)別的測(cè)試中更獲得了9.18的高分。

現(xiàn)如今，F(xiàn)ugaku-LLM模型已在GitHub和Hugging Face平臺(tái)公開(kāi)發(fā)布，外部研究人員和工程師可在遵循許可協(xié)議的基礎(chǔ)上，將該模型應(yīng)用于學(xué)術(shù)和商業(yè)領(lǐng)域。