復(fù)旦發(fā)布中國(guó)版ChatGPT模型MOSS

“MOSS 還是一個(gè)非常不成熟的模型，距離 ChatGPT 還有很長(zhǎng)的路需要走。”

自去年 11 月底正式發(fā)布以來(lái)，OpenAI 最新的 AI 聊天機(jī)器人 ChatGPT 迅速成為現(xiàn)象級(jí)應(yīng)用。瑞銀發(fā)布的研究報(bào)告顯示，ChatGPT 在今年 1 月，月活躍用戶估計(jì)已達(dá) 1 億，成為歷史上用戶增長(zhǎng)最快的消費(fèi)應(yīng)用。

隨著 ChatGPT 在全球范圍內(nèi)迅速走紅，全球互聯(lián)網(wǎng)大廠、創(chuàng)業(yè)公司紛紛加碼布局。在國(guó)外，谷歌加急推出了人工智能聊天機(jī)器人 Bard Bard；在國(guó)內(nèi)，百度將在 3 月推出類似 ChatGPT 的產(chǎn)品“文心一言”，除了百度，幾家中國(guó)初創(chuàng)公司也這一賽道探索著。

近日，國(guó)內(nèi)首個(gè)類 ChatGPT 模型終于來(lái)了。

復(fù)旦發(fā)布中國(guó)版ChatGPT 模型 MOSS

2 月 20 日，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室宣布，國(guó)內(nèi)第一個(gè)對(duì)話式大型語(yǔ)言模型 MOSS 已由邱錫鵬教授團(tuán)隊(duì)發(fā)布至公開(kāi)平臺(tái)（https://moss.fastnlp.top/），并邀公眾參與內(nèi)測(cè)。

據(jù)介紹，MOSS 可執(zhí)行對(duì)話生成、編程、事實(shí)問(wèn)答等一系列任務(wù)，打通了讓生成式語(yǔ)言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。這條路徑的走通，為國(guó)內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗(yàn)，將助力大語(yǔ)言模型的進(jìn)一步探索和應(yīng)用。

根據(jù) MOSS 官網(wǎng)的介紹，MOSS 和 ChatGPT 之間存在三大區(qū)別：

1、MOSS 的參數(shù)數(shù)量遠(yuǎn)少于 ChatGPT。

2、MOSS 通過(guò)與人類和其他 AI 模型交談來(lái)學(xué)習(xí)，而 ChatGPT 通過(guò)人類反饋強(qiáng)化學(xué)習(xí) （RLHF） 進(jìn)行訓(xùn)練。

3、MOSS 將開(kāi)源以促進(jìn)未來(lái)的研究，但 ChatGPT 可能不會(huì)。據(jù)悉，MOSS 的名稱來(lái)自電影《流浪地球》。在《流浪地球》中，MOSS 是一臺(tái)智能量子計(jì)算機(jī)，也是領(lǐng)航員空間站核心智能主機(jī)，具有自我意識(shí)、自我迭代、自我更新的特點(diǎn)。

復(fù)旦大學(xué)發(fā)布的對(duì)話式大型語(yǔ)言模型 MOSS，其開(kāi)發(fā)的基本步驟與 ChatGPT 一樣，包括自然語(yǔ)言模型的基座訓(xùn)練、理解人類意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。在對(duì)話能力訓(xùn)練階段，OpenAI 收集了至少幾十萬(wàn)條人類指令，讓各行各業(yè)的專業(yè)標(biāo)注員寫出指令回復(fù)，再將它們輸入模型基座，以幫助 ChatGPT 逐步理解各種指令。復(fù)旦團(tuán)隊(duì)則采用不同的技術(shù)路線，通過(guò)讓 MOSS 和人類以及其他對(duì)話模型都進(jìn)行交互，顯著提升了學(xué)習(xí)效率和研發(fā)效率，短時(shí)間內(nèi)就高效完成了對(duì)話能力訓(xùn)練。

MOSS 提供的示例顯示，它能夠回答問(wèn)題、生成表格、代碼等。比如，它能推薦 5 部科幻電影：

能生成一段 Python 程序?qū)崿F(xiàn)快速排序：

也能解釋代碼背后的原理：

邱錫鵬表示：“盡管 MOSS 還有很大改善空間，但它的問(wèn)世證明了在開(kāi)發(fā)類 ChatGPT 產(chǎn)品的路上，國(guó)內(nèi)科研團(tuán)隊(duì)有能力克服技術(shù)上的重要挑戰(zhàn)”。MOSS 研發(fā)項(xiàng)目得到了上海人工智能實(shí)驗(yàn)室的有力支持。后期，這項(xiàng)工作將通過(guò)開(kāi)源方式和業(yè)界社區(qū)分享。

邱錫鵬是國(guó)內(nèi)自然語(yǔ)言處理專家。根據(jù)復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院官網(wǎng)介紹，邱錫鵬教授于復(fù)旦大學(xué)獲得理學(xué)學(xué)士和博士學(xué)位。研究方向?yàn)樽匀徽Z(yǔ)言處理、深度學(xué)習(xí)，發(fā)表 CCF-A/B 類論文 70 余篇。主持開(kāi)發(fā)了開(kāi)源自然語(yǔ)言處理工具 FudanNLP、FastNLP，獲得了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛使用。

內(nèi)測(cè)服務(wù)器被擠爆，團(tuán)隊(duì)致歉

MOSS 發(fā)布后迅速登上熱搜，不過(guò)，MOSS 開(kāi)啟內(nèi)測(cè)沒(méi)多久，服務(wù)器就被擠崩了。有用戶在社交媒體上發(fā)布截圖顯示，該平臺(tái)“服務(wù)器流量過(guò)載，請(qǐng)明天上午重試”。

2 月 21 日，MOSS 官網(wǎng)發(fā)布公告稱：“MOSS 還是一個(gè)非常不成熟的模型，距離 ChatGPT 還有很長(zhǎng)的路需要走。我們一個(gè)學(xué)術(shù)研究的實(shí)驗(yàn)室無(wú)法做出和 ChatGPT 能力相近的模型，MOSS 只是想在百億規(guī)模參數(shù)上探索和驗(yàn)證 ChatGPT 的技術(shù)路線，并且實(shí)現(xiàn)各種對(duì)話能力。

我們最初的想法只是想將 MOSS 進(jìn)行內(nèi)測(cè)，以便我們可以進(jìn)一步優(yōu)化，沒(méi)有想到會(huì)引起這么大的關(guān)注，我們的計(jì)算資源不足以支持如此大的訪問(wèn)量，并且作為學(xué)術(shù)團(tuán)隊(duì)我們也沒(méi)有相關(guān)的工程經(jīng)驗(yàn)，給大家造成非常不好的體驗(yàn)和第一印象，在此向大家致以真誠(chéng)的歉意?！?/p>

MOSS 團(tuán)隊(duì)表示，未來(lái) MOSS 將會(huì)開(kāi)源?！癕OSS 目前還處于內(nèi)測(cè)階段，主要目的為通過(guò)和用戶交互來(lái)迭代優(yōu)化，暫不適合大規(guī)模用戶公測(cè)。在 MOSS 完成初步的驗(yàn)證之后，我們會(huì)將 MOSS 的經(jīng)驗(yàn)、代碼、模型參數(shù)開(kāi)源出來(lái)供大家參考。中國(guó)版 ChatGPT 的誕生還需要中國(guó)全體 AI 從業(yè)者的努力，也更需要不斷和人交互以提高能力?！?/p>

中國(guó)版 ChatGPT 前路漫漫

兩天時(shí)間，MOSS 從開(kāi)啟內(nèi)測(cè)時(shí)的全民歡呼，到內(nèi)測(cè)服務(wù)器擠崩被罵，足見(jiàn)大眾對(duì)中國(guó)版 ChatGPT 的期待。

不過(guò)，正如北京商報(bào)的評(píng)論所說(shuō)，“MOSS 一口吃不成 ChatGPT”。受長(zhǎng)期以來(lái)國(guó)內(nèi)人才、投入、基礎(chǔ)研究以及投資風(fēng)格等方面的復(fù)雜因素影響，中國(guó)版 ChatGPT 距離真正的 ChatGPT 確實(shí)存在一定的距離。

邱錫鵬坦言：“MOSS 與 ChatGPT 的差距主要在自然語(yǔ)言模型基座預(yù)訓(xùn)練這個(gè)階段。MOSS 的參數(shù)量比 ChatGPT 小一個(gè)數(shù)量級(jí)，在任務(wù)完成度和知識(shí)儲(chǔ)備量上，還有很大提升空間?！?/p>

MOSS 團(tuán)隊(duì)表示，雖然 MOSS 獲得了 ChatGPT 的一些能力，但由于缺乏高質(zhì)量的數(shù)據(jù)、計(jì)算資源和模型能力，MOSS 仍然存在許多限制，MOSS 仍然遠(yuǎn)遠(yuǎn)落后于 ChatGPT。團(tuán)隊(duì)將通過(guò)提供一個(gè)可訪問(wèn)的 MOSS 界面，根據(jù)有價(jià)值的用戶反饋（在獲得許可的情況下）不斷改進(jìn)模型。

由于訓(xùn)練數(shù)據(jù)中的多語(yǔ)言語(yǔ)料庫(kù)有限，MOSS 在理解和生成非英語(yǔ)文本方面表現(xiàn)不佳。團(tuán)隊(duì)目前正在開(kāi)發(fā)一個(gè)改進(jìn)版本，以提高其中文語(yǔ)言能力。

由于模型容量相對(duì)較小，MOSS 沒(méi)有包含足夠的世界知識(shí)。因此，MOSS 生成的某些響應(yīng)可能包含誤導(dǎo)性或虛假信息。

有時(shí) MOSS 會(huì)迂回執(zhí)行，甚至不按指令執(zhí)行。在這種情況下，用戶可能需要多次重新生成或修改提示才能獲得滿意的響應(yīng)。我們正在積極提高其指令遵循能力和生產(chǎn)力。

有時(shí) MOSS 會(huì)被提示生成不道德或有害的響應(yīng)。用戶可請(qǐng)點(diǎn)擊“不喜歡”幫助其減輕此類行為， MOSS 團(tuán)隊(duì)將在下一個(gè)版本中更新模型。正如前搜狗 CEO 王小川所說(shuō)：“OpenAI 的成功，首先是技術(shù)理想主義的勝利。中國(guó)需要自己的 OpenAI，就需要技術(shù)理想主義。大廠受限于自己的業(yè)務(wù)牽引，追逐資本熱點(diǎn)的創(chuàng)業(yè)公司更動(dòng)作變形。不止如此，這種理想主義還需要有愛(ài)國(guó)之心、商業(yè)智慧和學(xué)術(shù)尊重去獲得政府支持、推動(dòng)企業(yè)聯(lián)盟和學(xué)術(shù)界協(xié)同。我相信中國(guó)能誕生自己的 OpenAI?！本庉嫞狐S飛