微軟為OpenAI打造了世界一流的超級計算機

去年，微軟宣布向OpenAI投資10億美元，該組織的使命是創(chuàng)造人工智能，并使其對人類安全。這里沒有終結(jié)者般的反烏托邦。沒有讓人類變成回形針的混亂機器。僅有具有一般智能的計算機才能幫助我們解決最大的問題。

一年過去了，我們?nèi)〉昧诉@種伙伴關(guān)系的第一個成果。在今年的Build 2020開發(fā)者大會上，微軟展示了微軟的最新和最偉大的產(chǎn)品。該公司表示，他們已經(jīng)完成了專門用于OpenAI機器學(xué)習(xí)研究的超級計算機。但這不是普通的超級計算機。這是一臺機器的野獸。該公司表示，每個GPU服務(wù)器具有285，000個CPU內(nèi)核，10，000個GPU和每秒400吉比特的網(wǎng)絡(luò)連接。

微軟表示，與全球最快的超級計算機相比，它排名第五。

該公司未發(fā)布性能數(shù)據(jù)，該計算機也未公開進行基準(zhǔn)測試，也未列入被廣泛關(guān)注的Top500超級計算機列表。但是即使沒有官方排名，也可以肯定地說它是世界一流的機器。

“隨著我們越來越了解我們需要什么以及組成超級計算機的所有組件的不同限制，我們真的可以說，‘如果我們可以設(shè)計我們的夢想系統(tǒng)，它會是什么樣？” ” OpenAI首席執(zhí)行官Sam Altman說?！叭缓?，Microsoft得以構(gòu)建它。”

OpenAI將如何使用此夢想機？該公司正在構(gòu)建更大的狹窄AI算法-我們離AGI還很遙遠-他們需要大量的計算能力才能做到這一點。

對超大型AI模型的追求

最先進的AI模型（即機器學(xué)習(xí)算法中的神經(jīng)網(wǎng)絡(luò)）的規(guī)模一直在快速增長。同時，根據(jù)OpenAI，訓(xùn)練這些模型所需的計算能力每3.4個月翻一番。

模型越大，您需要訓(xùn)練它的計算機越大。

這種增長部分歸因于每個模型中使用的參數(shù)數(shù)量。簡而言之，這些是對神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)進行操作而得出的“神經(jīng)元”值。OpenAI的GPT-2算法從提示中生成令人信服的文本，包含近15億個參數(shù)。微軟的自然語言生成AI模型Turing NLG的大小超過10倍，具有170億個參數(shù)。現(xiàn)在，據(jù)報道，周四剛剛宣布的OpenAI的GPT-3由驚人的1750億個參數(shù)組成。

還有另一個趨勢在發(fā)揮作用。

盡管許多機器學(xué)習(xí)算法都是在人類標(biāo)記的數(shù)據(jù)集上進行訓(xùn)練的，但是Microsoft，OpenAI和其他公司也正在追求“無監(jiān)督”的機器學(xué)習(xí)。這意味著，有了足夠的原始，未標(biāo)記的數(shù)據(jù)，算法就會通過識別數(shù)據(jù)中的模式來進行自我學(xué)習(xí)。

某些最新系統(tǒng)還可以在給定域中執(zhí)行多個任務(wù)。在數(shù)十億個互聯(lián)網(wǎng)頁面的原始文本（從Wikipedia條目到自行出版的書）上訓(xùn)練的算法，可以推斷單詞，概念和上下文之間的關(guān)系。它不僅可以像生成文本那樣僅做一件事，還可以將其學(xué)習(xí)轉(zhuǎn)移到同一領(lǐng)域的多個相關(guān)任務(wù)中，例如閱讀文檔和回答問題。

圖靈NLG和GPT-3算法屬于此類。

微軟首席技術(shù)官凱文·斯科特（Kevin Scott）說：“這些模型令人興奮的是它們將實現(xiàn)的功能廣泛?！斑@是關(guān)于能夠一次在自然語言處理中完成一百項令人興奮的事情，以及在計算機視覺中完成一百項令人興奮的事情，當(dāng)您開始看到這些感知領(lǐng)域的組合時，您將擁有很難的新應(yīng)用程序甚至現(xiàn)在就可以想象?！?/p>