人工智能深度學習的成功

在過去的十年中，圍繞人工智能的突破，投資和企業(yè)家活動的爆炸式增長完全由深度學習驅動，深度學習是一種復雜的統(tǒng)計分析技術，用于發(fā)現(xiàn)大量數(shù)據(jù)中的隱藏模式。1955年創(chuàng)造的一個術語（人工智能）被應用到（或錯誤地應用到了）深度學習，這是一種訓練計算機執(zhí)行某些任務的方法的更高級版本- 機器學習，這個術語是在1959年創(chuàng)造的。

深度學習的最新成功是由于大量數(shù)據(jù)（大數(shù)據(jù)）的可用性增加以及圖形處理單元（GPU）的出現(xiàn)，顯著增加了用于訓練計算機的數(shù)據(jù)的廣度和深度，并減少了所需的時間用于訓練深度學習算法。

“大數(shù)據(jù)”一詞最早出現(xiàn)在1997年10月由Michael Cox和David Ellsworth撰寫的計算機科學文獻中，該文章發(fā)表在IEEE第八屆可視化會議論文集中，“ 針對核心外可視化的應用程序控制的需求分頁 ” 。他們寫道：“可視化給計算機系統(tǒng)帶來了一個有趣的挑戰(zhàn)：數(shù)據(jù)集通常很大，這給主內(nèi)存，本地磁盤甚至遠程磁盤的容量增加了負擔。我們稱此為大數(shù)據(jù)問題 。當數(shù)據(jù)集不能容納在主存儲器（核心）中，或者甚至不能容納在本地磁盤中時，最常見的解決方案是獲取更多資源?！痹撔g語在學術界之外也曾使用過。

SGI的創(chuàng)始人吉姆·克拉克（Jim Clark）于1974年在“計算機圖形之父”伊萬·薩瑟蘭（Ivan Sutherland）的指導下在猶他大學完成了博士學位論文?？死撕髞韯?chuàng)立了Netscape Communications，其成功的網(wǎng)絡瀏覽器和1995年的IPO引發(fā)了“互聯(lián)網(wǎng)熱潮”。蒂姆·伯納斯·李（Tim Berners-Lee）在1989年發(fā)明了網(wǎng)絡，并成功地使全世界數(shù)十億人成為數(shù)字數(shù)據(jù)的消費者和創(chuàng)造者，這為數(shù)十億廣泛共享的數(shù)字圖像（例如，將貓的照片識別為一只貓”）。

2007年， 普林斯頓大學的計算機科學家Fei-Fei Li和她的同事開始組裝ImageNet，ImageNet是一個帶注釋的圖像的大型數(shù)據(jù)庫，旨在幫助視覺對象識別軟件研究。五年后，即2012年10月，由多倫多大學研究人員設計的深度學習人工神經(jīng)網(wǎng)絡在ImageNet大規(guī)模視覺識別挑戰(zhàn)賽中的錯誤率僅達到16％，大大超過了25％的錯誤率。一年前最好的進入，預示著“人工智能”的興起。

大數(shù)據(jù)確實很大。 RJT Morris和BJ Truskowski在“ 存儲系統(tǒng)的發(fā)展 ”一書中說，在1996年，數(shù)字存儲在存儲數(shù)據(jù)方面比在紙上更具成本效益。在2002年，數(shù)字信息存儲首次超過了非數(shù)字存儲。根據(jù)馬丁·希爾伯特（Martin Hilbert）和普里西拉·洛佩茲（Priscila Lopez）的“世界存儲，通信和計算信息的技術能力 ”，在1986年至2007年之間，世界的信息存儲能力以每年25％的復合年增長率增長。他們還估計， 1986年，所有存儲容量中有99.2％是模擬存儲，但在2007年，有94％的存儲容量是數(shù)字存儲，這完全顛倒了角色。

2000年10月，加州大學伯克利分校的Peter Lyman和Hal Varian發(fā)表了“ 多少信息？”，這是第一個以計算機存儲量來量化世界上每年創(chuàng)建的新信息和原始信息（不計算副本）總量的綜合研究。1999年，全世界產(chǎn)生了1.5艾字節(jié)的原始數(shù)據(jù)。2007年3月，John Gantz，David Reinsel和IDC的其他研究人員發(fā)布 了第一項研究， 以估計和預測每年創(chuàng)建和復制的數(shù)字數(shù)據(jù)的數(shù)量-2006年為161艾字節(jié)，據(jù)估計，該數(shù)字將增加六倍，達到988艾字節(jié)。 2010年，或每18個月翻一番。

信息爆炸（根據(jù)牛津英語詞典的說法，該術語在1941年首次使用）已經(jīng)變成了大型數(shù)字數(shù)據(jù)爆炸。但是，可用數(shù)據(jù)的數(shù)量只是使深度學習成功的兩個催化劑之一。另一個是GPU。

雖然深度學習算法的開發(fā)及其實際應用在1980年代和1990年代穩(wěn)步發(fā)展，但它們受到計算機能力不足的限制。1986年10月，David Rumelhart，Geoffrey Hinton和Ronald Williams出版了“ 通過反向傳播錯誤學習表示法 ”，其中描述了“一種新的學習過程，即反向傳播，用于神經(jīng)元樣單元網(wǎng)絡，”是一個概念性突破。在深度學習的發(fā)展中。三年后，Yann LeCun和AT＆T貝爾實驗室的其他研究人員成功地應用了反向傳播算法到多層神經(jīng)網(wǎng)絡，識別手寫的郵政編碼。但是鑒于當時的硬件限制，培訓網(wǎng)絡大約花了3天的時間（與以前的工作相比有很大的改進）。

大數(shù)據(jù)誕生的計算機圖形學得以拯救。到1990年代，實時3D圖形在街機，計算機和游戲機游戲中變得越來越普遍，導致對硬件加速3D圖形的需求增加。索尼在1994年推出家用視頻游戲機PS1時，首先將GPU一詞稱為 “幾何處理單元”。

視頻游戲渲染需要快速并行執(zhí)行許多操作。圖形卡具有較高的并行度和較高的內(nèi)存帶寬，但相對于傳統(tǒng)CPU而言，其時鐘速度較低且分支能力較低。碰巧，在人工神經(jīng)網(wǎng)絡上運行的深度學習算法需要類似的特性-并行性，高內(nèi)存帶寬，無分支。

到2000年代末，許多研究人員已經(jīng)證明了GPU在深度學習（特別是對于人工神經(jīng)網(wǎng)絡訓練）中的實用性。由新的編程語言（如NVIDIA的CUDA）支持的通用GPU已應用于各種深度學習任務。此類應用程序中最明顯的是上述2012年ImageNet挑戰(zhàn)賽的冠軍。

2020年3月18日，計算機技術協(xié)會（ACM）將Patrick M.（Pat）Hanrahan和Edwin E.（Ed）Catmull提名為2019 ACM AM圖靈獎的獲得者，以表彰其對3D計算機圖形學的基本貢獻，以及這些技術對電影制作和其他應用中的計算機生成圖像（CGI）產(chǎn)生了革命性的影響。

根據(jù)ACM新聞稿，今天，“ 3-D計算機動畫電影代表了在價值1380億美元的全球電影行業(yè)中廣受歡迎的類型。3-D計算機圖像對于蓬勃發(fā)展的視頻游戲行業(yè)以及新興的虛擬現(xiàn)實和增強現(xiàn)實領域也至關重要。Catmull和Hanrahan做出了開創(chuàng)性的技術貢獻，這些貢獻仍然是當今CGI圖像開發(fā)方式不可或缺的部分。此外，他們對編程圖形處理單元（GPU）的見解不僅對計算機圖形學產(chǎn)生了影響，還影響了包括數(shù)據(jù)中心管理和人工智能在內(nèi)的各個領域。”

像吉姆·克拉克（Jim Clark）一樣，卡特姆（Catmull）是伊萬·薩瑟蘭（Ivan Sutherland）的學生，并于1974年獲得猶他大學的博士學位。正如羅伯特·里夫林（Robert Rivlin）在1986年的著作《算法圖像：計算機時代的圖形視覺》中所寫的那樣，“現(xiàn)代計算機中幾乎每個有影響力的人圖形社區(qū)要么通過了猶他大學，要么以某種方式與之接觸?！?/p>

在2010年對 Pat Hanrahan的采訪中，Catmull描述了U U工作環(huán)境：

“戴夫·埃文斯（Dave Evans）是該系主任，伊萬（Ivan）在教書，但他們的公司埃文斯（Evans）和薩瑟蘭（Sutherland）花費了所有多余的時間。這些學生幾乎是獨立的，這是我真正的肯定，因為學生必須自己做一些事情。我們期望創(chuàng)造原創(chuàng)作品。我們處于前沿，我們的工作是擴展它。他們基本上說：“您可以每隔一段時間與我們聯(lián)系，我們將與您聯(lián)系，但我們將關閉這家公司?！?/p>

我認為效果很好！它建立了相互支持，共同工作的環(huán)境?！?/p>

在同一討論的稍后部分，Hanrahan說：

“當我第一次對研究生院的圖形感興趣時，我聽說過要制作完整的計算機生成圖片的要求。當時，我對人工智能非常感興趣，因為人工智能具有圖靈測試和模仿思維的想法。我認為制作計算機生成圖片的想法是對人的思維進行建模的先驅，或者至少與之類似，因為您必須對整個虛擬世界進行建模，并且必須在該世界中擁有人-如果虛擬世界和其中的人們看起來并不聰明，那么該世界將無法通過圖靈測試，因此看起來似乎不太合理。

我想我很聰明，以為我們一生中實際上無法建立人類智力模型。因此，我對圖形感興趣的原因之一是我認為它具有良好的長期職業(yè)發(fā)展?jié)摿?。?/p>