160億參數(shù)，新增多項能力，復(fù)旦MOSS開源了

今年 2 月份，機(jī)器之心報道了復(fù)旦大學(xué)推出中國版 ChatGPT 的消息，引起了廣泛關(guān)注。當(dāng)時，邱錫鵬教授就曾表示將于四月份開源 Moss。

昨天，開源版的 Moss 真的來了。

項目地址：https://github.com/OpenLMLab/MOSS

MOSS 是一個支持中英雙語和多種插件的開源對話語言模型，但參數(shù)數(shù)量比 ChatGPT 少得多。在 v0.0.2 之后，團(tuán)隊持續(xù)對其進(jìn)行調(diào)整，推出了 MOSS v0.0.3，也就是目前開源的版本。相比于早期版本，功能也實現(xiàn)了多項更新。

最初的測試中，MOSS 的基礎(chǔ)功能與 ChatGPT 類似，可以按照用戶輸入的指令完成各類自然語言處理任務(wù)，包括文本生成、文本摘要、翻譯、代碼生成、閑聊等等。

開放內(nèi)測后，團(tuán)隊繼續(xù)加大中文語料的預(yù)訓(xùn)練：「截止目前，MOSS 003 的基座語言模型已經(jīng)在 100B 中文 token 上進(jìn)行了訓(xùn)練，總訓(xùn)練 token 數(shù)量達(dá)到 700B，其中還包含約 300B 代碼?！?/p>

在開放內(nèi)測后，我們也收集了一些用戶數(shù)據(jù)，我們發(fā)現(xiàn)真實中文世界的用戶意圖和 OpenAI InstructGPT 論文中披露的 user prompt 分布有較大差異（這不僅與用戶來自的國家差異有關(guān)，也跟產(chǎn)品上線時間有關(guān)，早期產(chǎn)品采集的數(shù)據(jù)中存在大量對抗性和測試性輸入），于是我們以這部分真實數(shù)據(jù)作為 seed 重新生成了約 110 萬常規(guī)對話數(shù)據(jù)，涵蓋更細(xì)粒度的 helpfulness 數(shù)據(jù)和更廣泛的 harmlessness 數(shù)據(jù)。

內(nèi)容來源：https://www.zhihu.com/question/596908242/answer/2994534005

目前，團(tuán)隊已將 moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三個模型上傳到 HuggingFace。后續(xù)，還有三個模型將會開源。

根據(jù)項目主頁介紹，moss-moon 系列模型具有 160 億參數(shù)，在 FP16 精度下可在單張 A100/A800 或兩張 3090 顯卡運行，在 INT4/8 精度下可在單張 3090 顯卡運行。

團(tuán)隊同時表示，由于模型參數(shù)量較小和自回歸生成范式，MOSS 仍然可能生成包含事實性錯誤的誤導(dǎo)性回復(fù)或包含偏見 / 歧視的有害內(nèi)容，請謹(jǐn)慎鑒別和使用 MOSS 生成的內(nèi)容，請勿將 MOSS 生成的有害內(nèi)容傳播至互聯(lián)網(wǎng)。

新增能力

在 MOSS v0.0.3 中，團(tuán)隊加入了多項新能力。

團(tuán)隊構(gòu)造了約 30 萬插件增強(qiáng)的對話數(shù)據(jù)，包含搜索引擎、文生圖、計算器、方程求解等。關(guān)于插件版 MOSS 如何使用，后續(xù)團(tuán)隊將在 GitHub 公布。

MOSS v0.0.3 現(xiàn)已引入使用多種插件的能力。

下圖展示了調(diào)用搜索引擎的能力：

下圖展示了調(diào)用方程求解器的能力：

下圖展示了從文本生成圖片的能力：

項目作者孫天祥補(bǔ)充說，MOSS 003 支持啟用插件的能力是通過 meta instruction 來控制，類似 gpt-3.5-turbo 里的 system prompt?！敢驗槭悄Ｐ涂刂频模圆⒉荒鼙ＷC 100% 控制率，以及還存在一些多選插件時調(diào)用不準(zhǔn)、插件互相打架的缺陷，我們正在盡快開發(fā)新的模型來緩解這些問題?！?/p>

下載安裝

下載本倉庫內(nèi)容至本地 / 遠(yuǎn)程服務(wù)器：

git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS

創(chuàng)建 conda 環(huán)境：

conda create --name moss python=3.8 conda activate moss

安裝依賴：

pip install -r requirements.txt

其中 torch 和 transformers 版本不建議低于推薦版本。

根據(jù)協(xié)議，開源的 MOSS 可用于商業(yè)用途：

此外，開發(fā)者也可通過 API 調(diào)用 MOSS 服務(wù)，團(tuán)隊將根據(jù)當(dāng)前服務(wù)壓力考慮通過 API 接口形式提供服務(wù)，接口格式可參考：https://github.com/OpenLMLab/MOSS/blob/main/moss_api.pdf

目前，已有開發(fā)者根據(jù)開源內(nèi)容進(jìn)行而創(chuàng)，比如通過 VideoChat 進(jìn)行視頻問答。

VideoChat 是一款多功能視頻問答工具，結(jié)合了動作識別、視覺字幕和 StableLM 的功能。該工具可為視頻中的任何對象和動作生成密集的描述性字幕，提供一系列語言風(fēng)格以滿足不同的用戶偏好。它支持用戶進(jìn)行不同長度、情緒、語言真實性的對話。

項目地址：https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS

審核編輯 ：李倩