Eleuther AI：已經(jīng)開源了復(fù)現(xiàn)版GPT-3的模型參數(shù)

GPT3終于開源！不過，不是官方開的（別打我

Eleuther AI推出的名為GPT-Neo的開源項目，于晨4點于twitter正式宣布：已經(jīng)開源了復(fù)現(xiàn)版GPT-3的模型參數(shù)（1.3B和2.7B級別），并將其更新在Colab notebook之上。需要指出的是這次開源的模型里較大的那個版本也只是到了GPT-3商用版里最小模型的參數(shù)量，不過Eleuther AI表示未來會進一步開源10B版本和原始大小版本的GPT3模型參數(shù)。

消息發(fā)布后，立刻被各個大v轉(zhuǎn)發(fā)，10小時內(nèi)就已迅速收獲1.5K的點贊量，相應(yīng)的github鏈接也已收獲接近2k star。

▲Twitter原文

但關(guān)于復(fù)現(xiàn)模型的性能，目前只說“實驗表現(xiàn)與原版GPT-3相當”（they performed on par）。具體實驗結(jié)果將于明天公布。

風(fēng)靡一時的擁有1750億超大參數(shù)量，一出道便被視作NLP領(lǐng)域最強AI模型的GPT-3，得益于其龐大的參數(shù)量，使得GPT-3擁有不用接受特定訓(xùn)練與微調(diào)，就能在不同NLP領(lǐng)域達到領(lǐng)先水平的強大能力。去年七月，GPT-3被Open-AI以商業(yè)API的形式向公眾開放，并被人們探索出了形形色色的應(yīng)用，從基于問題的搜索，到文本樣式轉(zhuǎn)換，從UI界面設(shè)計，再到自動生成SQL代碼，GPT-3以其卓越的性能展現(xiàn)了其廣闊的應(yīng)用場景，深度學(xué)習(xí)之父Hinton甚至這樣評價道:

如果以GPT-3的出色性能推算未來、生命、宇宙和萬物的答案也不過是4.398萬億個參數(shù)

但是，由于目前GPT-3的使用模式仍然是付費的商業(yè)API，因此并不是所有NLP的研究者都能使用GPT-3完成自己領(lǐng)域的任務(wù)與工作。而由Connor Leahy，Leo Gao和Sid Black三人聯(lián)合創(chuàng)立的Eleuther AI的團隊，于去年11月宣布推出GPT-Neo的開源項目，該項目基于GPT系列的設(shè)計原理，旨在復(fù)現(xiàn)GPT系列的各種項目，在該項目發(fā)布之初，其團隊成員已經(jīng)預(yù)測可以完成GPT-3級別大小的語言模型。

毫無疑問，GPT-3的開源將會催生出一大批NLP技術(shù)的嶄新應(yīng)用，也會以更為低廉的成本釋放人們對NLP未來的想象力。

原文標題：【GPT-3】千呼萬喚始出來——GPT-3終于開源！

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯:haq