計(jì)算機(jī)體系結(jié)構(gòu)的深度學(xué)習(xí)PDF電子書(shū)免費(fèi)下載

　　機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)，在計(jì)算機(jī)科學(xué)的許多領(lǐng)域都具有極大的破壞性。深度學(xué)習(xí)技術(shù)在解決眾所周知的困難的分類和回歸問(wèn)題方面的成功，導(dǎo)致了它們?cè)诮鉀Q現(xiàn)實(shí)問(wèn)題中的迅速采用。深度學(xué)習(xí)的出現(xiàn)被廣泛地歸因于一個(gè)良性循環(huán)，即大量數(shù)據(jù)集和高性能計(jì)算機(jī)硬件的可用性使深層模型訓(xùn)練取得了根本性進(jìn)展。本文作為一個(gè)新的和迅速發(fā)展的領(lǐng)域的計(jì)算機(jī)架構(gòu)師的入門(mén)。我們回顧了機(jī)器學(xué)習(xí)自20世紀(jì)60年代誕生以來(lái)是如何演變的，并跟蹤了導(dǎo)致在過(guò)去十年中出現(xiàn)的強(qiáng)大的深度學(xué)習(xí)技術(shù)出現(xiàn)的關(guān)鍵發(fā)展。接下來(lái)，我們將回顧具有代表性的工作負(fù)載，包括最常用的數(shù)據(jù)集和跨越各種域的開(kāi)創(chuàng)性網(wǎng)絡(luò)。除了討論工作負(fù)載本身之外，我們還詳細(xì)介紹了最流行的深度學(xué)習(xí)工具，并展示了有抱負(fù)的實(shí)踐者如何使用這些工具來(lái)描述和優(yōu)化dnn。本書(shū)的其余部分致力于機(jī)器學(xué)習(xí)的硬件和體系結(jié)構(gòu)的設(shè)計(jì)和優(yōu)化。由于高性能硬件在機(jī)器學(xué)習(xí)成為一個(gè)實(shí)用解決方案的成功過(guò)程中起到了非常重要的作用，本章講述了最近為進(jìn)一步改進(jìn)未來(lái)設(shè)計(jì)而提出的各種優(yōu)化方案。最后，我們回顧了最近在該領(lǐng)域發(fā)表的研究，以及一個(gè)分類法，以幫助讀者理解不同的貢獻(xiàn)是如何在上下文中落下的。

　　這本書(shū)是打算為那些有計(jì)算機(jī)架構(gòu)，電路，或系統(tǒng)背景的神經(jīng)網(wǎng)絡(luò)的一般介紹。在引言（第1章）中，我們定義了關(guān)鍵詞匯表，回顧了這些技術(shù)的歷史和發(fā)展，并為在該領(lǐng)域提供額外的硬件支持提供了理由。然后，我們回顧神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，從線性回歸到感知器，直到今天最先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)（第2章）。范圍和語(yǔ)言的介紹應(yīng)該讓任何人都能跟上，目標(biāo)是讓社區(qū)站在同一頁(yè)上。雖然人們對(duì)這一領(lǐng)域的興趣激增，但有證據(jù)表明，許多術(shù)語(yǔ)被混為一談，而且在這一領(lǐng)域的理解上存在差距。我們希望這里所呈現(xiàn)的內(nèi)容能夠辟謠，并為非專家提供共同點(diǎn)。在回顧之后，我們將深入討論工具、工作負(fù)載和特性。對(duì)于從業(yè)者來(lái)說(shuō)，這可能是最有用的一章。我們首先概述現(xiàn)代神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)軟件包（即TensorFlow、Torch、Keras和Theano），并解釋它們的設(shè)計(jì)選擇和差異，以指導(dǎo)讀者為其工作選擇正確的工具。在第三章的后半部分，我們介紹了一組常用的、開(kāi)創(chuàng)性的工作負(fù)載，這些工作負(fù)載是我們?cè)谝粋€(gè)名為Fathom〔2〕的基準(zhǔn)套件中組裝起來(lái)的，這些工作負(fù)載被分為兩類：數(shù)據(jù)集和模型，并解釋了為什么工作負(fù)載和/或數(shù)據(jù)集是決定性的，以及應(yīng)該如何使用它。這一部分也有助于神經(jīng)網(wǎng)絡(luò)論文的評(píng)論者更好地判斷貢獻(xiàn)。通過(guò)更好地理解每一個(gè)工作負(fù)載，我們認(rèn)為可以對(duì)想法和貢獻(xiàn)進(jìn)行更深思熟慮的解釋。基準(zhǔn)測(cè)試包含了CPU和GPU上的工作負(fù)載特性。第4章是在第3章的基礎(chǔ)上建立起來(lái)的，對(duì)于希望研究使用定制硬件加速神經(jīng)網(wǎng)絡(luò)的架構(gòu)師來(lái)說(shuō)，這可能是最感興趣的。在本章中，我們回顧了Minerva加速器設(shè)計(jì)和優(yōu)化框架［114］，并詳細(xì)介紹了如何將高級(jí)神經(jīng)網(wǎng)絡(luò)軟件庫(kù)與硬件CAD和仿真流結(jié)合起來(lái)，共同設(shè)計(jì)算法和硬件。我們特別關(guān)注Minerva方法，以及如何在神經(jīng)網(wǎng)絡(luò)精度和功耗、性能和區(qū)域硬件權(quán)衡方面進(jìn)行實(shí)驗(yàn)。讀完本章后，研究生應(yīng)該有信心評(píng)估自己的加速器/定制硬件優(yōu)化。在第五章中，我們對(duì)神經(jīng)網(wǎng)絡(luò)論文的相關(guān)硬件進(jìn)行了全面的調(diào)查，并開(kāi)發(fā)了一個(gè)分類法，以幫助讀者理解和對(duì)比不同的項(xiàng)目。我們主要關(guān)注過(guò)去十年，并根據(jù)論文所涉及的計(jì)算堆棧的級(jí)別（算法、軟件、體系結(jié)構(gòu)或電路）和優(yōu)化類型（稀疏性、量化、算術(shù)近似和容錯(cuò)性）對(duì)論文進(jìn)行分組建筑和電路會(huì)議；這項(xiàng)調(diào)查試圖捕捉本書(shū)出版時(shí)該地區(qū)建筑師最相關(guān)的作品。事實(shí)上，有太多的出版物，不可能把它們都放在一個(gè)地方。我們希望這項(xiàng)調(diào)查能起到一個(gè)起點(diǎn)的作用；分類法提供了一個(gè)順序，讓感興趣的讀者知道到哪里去了解更多關(guān)于某個(gè)特定主題的信息；而神經(jīng)網(wǎng)絡(luò)硬件支持的偶然參與者在這里找到了一種比較和對(duì)比相關(guān)工作的方法。最后，我們通過(guò)指出還有哪些工作要做來(lái)消除深度學(xué)習(xí)研究硬件已經(jīng)達(dá)到飽和點(diǎn)的神話。盡管關(guān)于這個(gè)主題的論文很多，但我們還遠(yuǎn)遠(yuǎn)沒(méi)有完成，即使是在監(jiān)督學(xué)習(xí)中。本章介紹了需要注意的領(lǐng)域，并簡(jiǎn)要介紹了機(jī)器學(xué)習(xí)的其他領(lǐng)域。此外，雖然硬件在很大程度上是機(jī)器學(xué)習(xí)社區(qū)的一個(gè)服務(wù)行業(yè)，但我們確實(shí)應(yīng)該開(kāi)始考慮如何利用現(xiàn)代機(jī)器學(xué)習(xí)來(lái)改進(jìn)硬件設(shè)計(jì)。這是一項(xiàng)艱巨的任務(wù)，因?yàn)樗枰獙?duì)方法的真正理解，而不是實(shí)現(xiàn)現(xiàn)有的設(shè)計(jì)，但如果說(shuō)過(guò)去十年的機(jī)器學(xué)習(xí)教會(huì)了我們什么，那就是這些模型運(yùn)行良好。計(jì)算機(jī)體系結(jié)構(gòu)是計(jì)算機(jī)科學(xué)中最不正式的領(lǐng)域之一（幾乎完全基于經(jīng)驗(yàn)和直覺(jué)）。機(jī)器學(xué)習(xí)在重新思考我們?nèi)绾卧O(shè)計(jì)硬件（包括貝葉斯優(yōu)化）方面可以提供最多的幫助，并展示了這些技術(shù)在硬件設(shè)計(jì)中的益處。