對(duì)比深度學(xué)習(xí)和經(jīng)典機(jī)器學(xué)習(xí)，分別介紹這兩種技術(shù)的優(yōu)缺點(diǎn)

深度學(xué)習(xí)已成為大多數(shù)AI問(wèn)題的首選技術(shù)，使得經(jīng)典機(jī)器學(xué)習(xí)相形見(jiàn)絀。但是，盡管深度學(xué)習(xí)有很好的性能，經(jīng)典機(jī)器學(xué)習(xí)方法仍有一些優(yōu)勢(shì)，而且在一些特定情況下最好使用經(jīng)典機(jī)器學(xué)習(xí)方法，例如線性回歸或決策樹(shù)，而不是使用一個(gè)大型深度網(wǎng)絡(luò)。本文將對(duì)比深度學(xué)習(xí)和經(jīng)典機(jī)器學(xué)習(xí)，分別介紹這兩種技術(shù)的優(yōu)缺點(diǎn)。

近年來(lái)，深度學(xué)習(xí)已成為大多數(shù)AI問(wèn)題的首選技術(shù)，使得經(jīng)典機(jī)器學(xué)習(xí)相形見(jiàn)絀。原因很明顯，深度學(xué)習(xí)在語(yǔ)音、自然語(yǔ)言、視覺(jué)和游戲等許多任務(wù)上都表現(xiàn)出卓越的性能。然而，盡管深度學(xué)習(xí)具有如此好的性能，經(jīng)典機(jī)器學(xué)習(xí)方法仍有一些優(yōu)勢(shì)，而且在一些特定情況下最好使用經(jīng)典機(jī)器學(xué)習(xí)方法，例如線性回歸或決策樹(shù)，而不是使用一個(gè)大型深度網(wǎng)絡(luò)。

本文將對(duì)比深度學(xué)習(xí)和經(jīng)典機(jī)器學(xué)習(xí)，分別介紹這兩種技術(shù)的優(yōu)缺點(diǎn)以及它們?cè)谀男﹩?wèn)題/如何得到最佳使用。

深度學(xué)習(xí)優(yōu)于經(jīng)典機(jī)器學(xué)習(xí)

一流的性能：在許多領(lǐng)域，深度網(wǎng)絡(luò)已經(jīng)取得了遠(yuǎn)遠(yuǎn)超過(guò)經(jīng)典ML方法的精度，包括語(yǔ)音、自然語(yǔ)言、視覺(jué)、游戲等。在許多任務(wù)中，經(jīng)典的ML方法甚至無(wú)法與深度學(xué)習(xí)比較。例如，下圖顯示了ImageNet數(shù)據(jù)集上不同方法的圖像分類精度；藍(lán)色表示經(jīng)典ML方法，紅色表示深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法。深度學(xué)習(xí)方法的分類錯(cuò)誤率遠(yuǎn)遠(yuǎn)低于經(jīng)典ML方法。

用數(shù)據(jù)進(jìn)行有效的擴(kuò)展：與經(jīng)典ML算法相比，如果有更多的數(shù)據(jù)，深度網(wǎng)絡(luò)可以更好地?cái)U(kuò)展。下圖是一個(gè)簡(jiǎn)單的例子。很多時(shí)候，用深度網(wǎng)絡(luò)來(lái)提高準(zhǔn)確性的最佳建議就是使用更多的數(shù)據(jù)！但使用經(jīng)典ML算法時(shí)，這種快速簡(jiǎn)單的方法幾乎沒(méi)有效果，通常需要更復(fù)雜的方法來(lái)提高精度。

不需要特征工程：經(jīng)典的ML算法通常需要復(fù)雜的特性工程。通常，需要先在數(shù)據(jù)集上執(zhí)行探索性數(shù)據(jù)分析。然后，可以降低維度以便于處理。最后，必須仔細(xì)選擇最佳的特征，以傳遞給ML算法。在使用深度學(xué)習(xí)時(shí)，不需要這樣的特征工程，因?yàn)橹恍鑼?shù)據(jù)直接傳遞給網(wǎng)絡(luò)，通常就可以立即實(shí)現(xiàn)良好的性能。這完全消除了整個(gè)過(guò)程中繁重而且很有挑戰(zhàn)性的特征工程階段。

適應(yīng)性強(qiáng)，易于遷移：與經(jīng)典的ML算法相比，深度學(xué)習(xí)技術(shù)可以更容易地適應(yīng)不同的領(lǐng)域和應(yīng)用。首先，遷移學(xué)習(xí)可以使預(yù)訓(xùn)練的深度網(wǎng)絡(luò)對(duì)同一領(lǐng)域的不同應(yīng)用生效。例如，在計(jì)算機(jī)視覺(jué)中，預(yù)訓(xùn)練的圖像分類網(wǎng)絡(luò)通常用作目標(biāo)檢測(cè)和分割網(wǎng)絡(luò)的特征提取前端。將這些預(yù)訓(xùn)練的網(wǎng)絡(luò)作為前端，可以簡(jiǎn)化整個(gè)模型的訓(xùn)練，并且通常有助于在更短的時(shí)間內(nèi)實(shí)現(xiàn)更高的性能。

此外，不同領(lǐng)域使用深度學(xué)習(xí)的基本思想和技術(shù)往往是可以轉(zhuǎn)移的。例如，一旦了解了語(yǔ)音識(shí)別領(lǐng)域的深度學(xué)習(xí)基礎(chǔ)理論，那么學(xué)習(xí)如何將深度網(wǎng)絡(luò)應(yīng)用于自然語(yǔ)言處理就不太困難了，因?yàn)閮烧咚璧幕A(chǔ)知識(shí)非常相似。但對(duì)于經(jīng)典ML來(lái)說(shuō)，情況并非如此，因?yàn)闃?gòu)建高性能ML模型需要特定領(lǐng)域和特定應(yīng)用的ML技術(shù)和特征工程。對(duì)于不同的領(lǐng)域和應(yīng)用，經(jīng)典ML的知識(shí)基礎(chǔ)是非常不同的，并且往往需要在每個(gè)單獨(dú)的領(lǐng)域進(jìn)行廣泛的專門(mén)研究。

經(jīng)典機(jī)器學(xué)習(xí)優(yōu)于深度學(xué)習(xí)

在小數(shù)據(jù)上能更好地工作：為了實(shí)現(xiàn)高性能，深度學(xué)習(xí)需要非常大的數(shù)據(jù)集。之前提到的預(yù)訓(xùn)練的網(wǎng)絡(luò)在120萬(wàn)張圖像上進(jìn)行了訓(xùn)練。對(duì)于許多應(yīng)用來(lái)說(shuō)，這樣大的數(shù)據(jù)集是不容易獲得的，花費(fèi)昂貴而且耗時(shí)。對(duì)于較小的數(shù)據(jù)集，經(jīng)典的ML算法通常優(yōu)于深度學(xué)習(xí)。

財(cái)務(wù)和計(jì)算上都更便宜：有大量的數(shù)據(jù)，又需要在合理時(shí)間內(nèi)訓(xùn)練完，深度學(xué)習(xí)要求使用高端GPU。這些GPU非常昂貴，但是如果沒(méi)有它們，就很難實(shí)現(xiàn)高性能的深度網(wǎng)絡(luò)。要有效地使用這樣的高端GPU，還需要一個(gè)快速的CPU、SSD存儲(chǔ)、快速而且容量大的RAM。經(jīng)典的ML算法只需要一個(gè)像樣的CPU就可以訓(xùn)練得很好，并不需要最好的硬件。因?yàn)樗鼈兊挠?jì)算成本不高，因此可以在較短的時(shí)間里更快地迭代，并嘗試多種不同的技術(shù)。

更容易解釋：由于經(jīng)典ML涉及直接的特征工程，這些算法很容易解釋和理解。此外，由于我們對(duì)數(shù)據(jù)和底層算法有了更深入的了解，調(diào)參和更改模型設(shè)計(jì)也更簡(jiǎn)單。另一方面，深層學(xué)習(xí)是一個(gè)“黑盒子”，即使是現(xiàn)在，研究人員也不能完全了解深層網(wǎng)絡(luò)的“內(nèi)部”。由于缺乏理論基礎(chǔ)，超參數(shù)和網(wǎng)絡(luò)設(shè)計(jì)也是一個(gè)很大的挑戰(zhàn)。