Google的研究人員開源了一個新框架
Google的研究人員開源了一個新框架，該框架可以在數(shù)千臺機器上擴大人工智能模型的培訓。
谷歌在一份研究論文中指出，這是一個有前途的發(fā)展，因為它應(yīng)該使AI算法訓練能夠以每秒數(shù)百萬幀的速度執(zhí)行，同時將這樣做的成本降低多達80%。
這種減少可能有助于為那些以前無法與AI等主要參與者競爭的初創(chuàng)公司提供公平的競爭環(huán)境。實際上，在云中訓練復雜的機器學習模型的成本令人驚訝地昂貴。
Synced最近的一份報告發(fā)現(xiàn)，華盛頓大學花費了25，000美元來訓練其Grover模型，該模型用于檢測和生成假新聞。同時，OpenAI每小時支付256美元來訓練其GPT-2語言模型，而Google本身花費約6，912美元來訓練其BERT模型來進行自然語言處理任務(wù)。
SEED RL構(gòu)建在TensorFlow 2.0框架之上，并通過利用圖形處理單元和張量處理單元的組合來集中模型推斷。然后使用訓練模型的學習器組件集中執(zhí)行推斷。
目標模型的變量和狀態(tài)信息保持局部狀態(tài)，并在過程的每個步驟中將對它們的觀察結(jié)果發(fā)送給學習者。SEED RL還使用基于開源通用RPC框架的網(wǎng)絡(luò)庫來最大程度地減少延遲。
谷歌的研究人員說，SEED RL的學習器組件可以擴展到數(shù)千個內(nèi)核，而在環(huán)境中采取步驟與在模型上進行推斷以預(yù)測下一步操作之間進行迭代的參與者數(shù)量可以擴展到數(shù)千臺機器。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
Google
+關(guān)注
關(guān)注
5文章
1752瀏覽量
57335 -
機器學習
+關(guān)注
關(guān)注
66文章
8330瀏覽量
132222
發(fā)布評論請先 登錄
相關(guān)推薦
nlp自然語言處理框架有哪些
許多優(yōu)秀的框架和工具，這些框架和工具為研究人員和開發(fā)者提供了強大的支持。以下是一些主要的NLP框架
研究人員利用人工智能提升超透鏡相機的圖像質(zhì)量
研究人員利用深度學習技術(shù)提高了直接集成在 CMOS 成像芯片上的超透鏡相機(左)的圖像質(zhì)量。超透鏡利用 1000 納米高的圓柱形氮化硅納米柱陣列(右圖)操縱光線。 研究人員利用深度學習技術(shù)提高了超
螞蟻集團發(fā)布首個開源金融場景多智能體框架
在第七屆數(shù)字中國建設(shè)峰會上，螞蟻集團宣布了一項引人注目的舉措：正式開源其多智能體框架agentUniverse。這一
研究人員利用定制光控制二維材料的量子特性
的發(fā)展鋪平了道路。 由美國能源部SLAC國家加速器實驗室和斯坦福大學研究人員領(lǐng)導的研究小組將這種方法應(yīng)用于一種名為六方氮化硼(hBN)的材料，這種材料由單層原子以蜂窩狀排列而成，其特性使其非常適合量子操縱。在實驗中，科學家們利用
研究人員發(fā)現(xiàn)提高激光加工分辨率的新方法
通過透明玻璃聚焦定制激光束可以在材料內(nèi)部形成一個小光斑。東北大學的研究人員研發(fā)了一種利用這種小光斑改進激光材料加工、提高加工分辨率的方法。 他們的研
研究人員首次將光子濾波器和調(diào)制器組合在單個芯片上
悉尼大學的研究人員將光子濾波器和調(diào)制器組合在單個芯片上，使他們能夠精確檢測寬帶射頻頻譜上的信號。這項工作使光子芯片更接近有朝一日，有可能取代光纖網(wǎng)絡(luò)中體積更大、更復雜的電子射頻芯片。
邊緣計算平臺開源框架有哪些類型
將詳細介紹幾種常見的邊緣計算平臺開源框架。 Akraino Edge Stack Akraino Edge Stack 是一個開放、輕量級、靈活的云邊緣平臺
研究人員創(chuàng)造一種六角形心電圖貼片 實現(xiàn)遙感與數(shù)據(jù)傳輸功能
電極進行心電圖信號傳導的優(yōu)勢，研究人員創(chuàng)造了一種緊湊、輕便、無凝膠的六角形心電圖貼片，并集成了無線藍牙模塊，以實現(xiàn)遙感與數(shù)據(jù)傳輸功能。 心血管疾病是全球主要的死亡原因之一，每年至少有兩
Roadster開源了哪些內(nèi)容？
以電池監(jiān)控板為例，用戶下載并解壓縮文件后，可以看到里面有兩個文件夾，其中包括了電池監(jiān)控板的原理圖、Gerber文件等相關(guān)資料。這些資料可供研究人員和開發(fā)者使用，旨在鼓勵和促進開放的創(chuàng)新和技術(shù)進步。
研究人員設(shè)計一種新的3D噴墨打印技術(shù)
據(jù)悉，一只帶韌帶和肌腱的骨骼機械手現(xiàn)在可以通過一次3D打印完成 —— 這是通過一種新的增材制造方法實現(xiàn)的，這種方法可以同時以高分辨率打印剛性和彈性材料。 這項新工作是瑞士蘇黎世聯(lián)邦理工學院的研
SC23 | 研究人員競相使用 NVIDIA CUDA Quantum 大力推進研究工作
眾多企業(yè)機構(gòu)正通過 NVIDIA 軟件和 GPU 上的混合量子計算獲得洞察，全球最大的化工企業(yè)巴斯夫就是其中之一。 巴斯夫的兩位研究人員 Michael Kuehn 和 Davide Vodola
谷歌研究人員利用現(xiàn)有的耳機來測量心率
谷歌的研究人員還發(fā)現(xiàn)，當音樂播放時，超聲波方法效果很好，但它在嘈雜的環(huán)境中還可能存在問題，“APG信號有時會非常嘈雜，或可受到身體運動的嚴重干擾?！比欢?，他們發(fā)現(xiàn)，他們可以通過使用多個頻率并找出其中最準確的信號來克服運動問題。
研究人員發(fā)現(xiàn)了迄今為止最快的半導體
科學家們發(fā)現(xiàn)了他們所說的迄今為止最快、最高效的半導體。盡管這種新材料是用地球上最稀有的元素之一制成，但研究人員表示，有可能會發(fā)現(xiàn)由更豐富的材料制成的替代物，其運行速度相當快。
加州大學研究人員推出首款穩(wěn)定的全固態(tài)熱晶體管
加州大學洛杉磯分校(UCLA)的一組研究人員利用電場來調(diào)節(jié)半導體器件的傳熱，推出了首款穩(wěn)定的全固態(tài)熱晶體管。 該小組的研究詳細闡述了該設(shè)備的預(yù)期應(yīng)用和操作機制，該
小到一個分子！研究人員開發(fā)一種微小的壓電電阻器
使用壓阻的電子傳感器在許多設(shè)備中都很常見，包括汽車、醫(yī)療可穿戴設(shè)備和智能手機?，F(xiàn)在，澳大利亞的研究人員開發(fā)了一種微小的壓電電阻器，小到一個分子，可以實現(xiàn)
工商網(wǎng)監(jiān)
評論