GPT3終于開源!不過,不是官方開的(別打我
Eleuther AI推出的名為GPT-Neo的開源項目,于晨4點于twitter正式宣布:已經(jīng)開源了復(fù)現(xiàn)版GPT-3的模型參數(shù)(1.3B和2.7B級別),并將其更新在Colab notebook之上。需要指出的是這次開源的模型里較大的那個版本也只是到了GPT-3商用版里最小模型的參數(shù)量,不過Eleuther AI表示未來會進一步開源10B版本和原始大小版本的GPT3模型參數(shù)。
消息發(fā)布后,立刻被各個大v轉(zhuǎn)發(fā),10小時內(nèi)就已迅速收獲1.5K的點贊量,相應(yīng)的github鏈接也已收獲接近2k star。
▲Twitter原文
但關(guān)于復(fù)現(xiàn)模型的性能,目前只說“實驗表現(xiàn)與原版GPT-3相當”(they performed on par)。具體實驗結(jié)果將于明天公布。
風(fēng)靡一時的擁有1750億超大參數(shù)量,一出道便被視作NLP領(lǐng)域最強AI模型的GPT-3,得益于其龐大的參數(shù)量,使得GPT-3擁有不用接受特定訓(xùn)練與微調(diào),就能在不同NLP領(lǐng)域達到領(lǐng)先水平的強大能力。去年七月,GPT-3被Open-AI以商業(yè)API的形式向公眾開放,并被人們探索出了形形色色的應(yīng)用,從基于問題的搜索,到文本樣式轉(zhuǎn)換,從UI界面設(shè)計,再到自動生成SQL代碼,GPT-3以其卓越的性能展現(xiàn)了其廣闊的應(yīng)用場景,深度學(xué)習(xí)之父Hinton甚至這樣評價道:
如果以GPT-3的出色性能推算未來、生命、宇宙和萬物的答案也不過是4.398萬億個參數(shù)
但是,由于目前GPT-3的使用模式仍然是付費的商業(yè)API,因此并不是所有NLP的研究者都能使用GPT-3完成自己領(lǐng)域的任務(wù)與工作。而由Connor Leahy,Leo Gao和Sid Black三人聯(lián)合創(chuàng)立的Eleuther AI的團隊,于去年11月宣布推出GPT-Neo的開源項目,該項目基于GPT系列的設(shè)計原理,旨在復(fù)現(xiàn)GPT系列的各種項目,在該項目發(fā)布之初,其團隊成員已經(jīng)預(yù)測可以完成GPT-3級別大小的語言模型。
毫無疑問,GPT-3的開源將會催生出一大批NLP技術(shù)的嶄新應(yīng)用,也會以更為低廉的成本釋放人們對NLP未來的想象力。
原文標題:【GPT-3】千呼萬喚始出來——GPT-3終于開源!
文章出處:【微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
責(zé)任編輯:haq
-
AI
+關(guān)注
關(guān)注
87文章
29395瀏覽量
267689 -
開源
+關(guān)注
關(guān)注
3文章
3185瀏覽量
42244 -
nlp
+關(guān)注
關(guān)注
1文章
483瀏覽量
21974
原文標題:【GPT-3】千呼萬喚始出來——GPT-3終于開源!
文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論