編者按:入門深度學(xué)習(xí)的方法有很多,其中最便捷的是在線課程。但是,從做出這項選擇起,新手要面臨的就不僅是全新的知識體系,還有無數(shù)的陌生術(shù)語。在開始閱讀前,請自問自答:什么是Adam、ReLU、YOLO?什么是AdaGrad、Dropout、Xavier Initialization?如果發(fā)現(xiàn)這很困難,請跟隨Jan Zawadzki的腳步,有條理地去回顧自己的記憶碎片。
本文旨在解釋深度學(xué)習(xí)的一些常用術(shù)語,尤其是吳恩達在deeplearning.ai的Coursera課程中會頻繁提到的重要詞匯。每個詞條包含意義闡釋、圖片和相關(guān)鏈接(公眾號讀者請點擊原文查看),希望能對深度學(xué)習(xí)初學(xué)者和從業(yè)者有所幫助。
Activation Function(激活函數(shù))
激活函數(shù)的作用是對輸入執(zhí)行非線性變換,將輸入乘以權(quán)重并添加到偏置項中。目前最常用的激活函數(shù)有ReLU、tanh和sigmoid。
Adam Optimization?(Adam優(yōu)化)
Adam優(yōu)化可以代替隨機梯度下降,用來迭代調(diào)整網(wǎng)絡(luò)權(quán)重。根據(jù)論文Adam: A Method for Stochastic Optimization的說法,Adam在計算上是高效的,適用于大數(shù)據(jù)集,并且?guī)缀醪恍枰瑓?shù)調(diào)整。它也沒有預(yù)定義的、固定的學(xué)習(xí)率,而是采用自適應(yīng)學(xué)習(xí)率。在實際應(yīng)用中,Adam現(xiàn)在是深度學(xué)習(xí)模型中的一種默認優(yōu)化算法。
Adaptive Gradient Algorithm?(自適應(yīng)梯度算法)
AdaGrad是一種梯度下降優(yōu)化算法,它根據(jù)參數(shù)在訓(xùn)練期間的更新頻率進行自適應(yīng)調(diào)整,更新幅度小、頻率快。它在非常稀疏的數(shù)據(jù)集上表現(xiàn)良好,如用于在自然語言處理任務(wù)中調(diào)整詞嵌入。相關(guān)論文:Adaptive Subgradient Methods for Online Learning and Stochastic Optimization。
Average Pooling(平均池化)
平均池化指的是對卷積操作的結(jié)果計算平均值,并把這個值作為圖像區(qū)域池化后的值。它通常用于縮小輸入的大小,主要出現(xiàn)在比較老的卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)中,在現(xiàn)在流行的CNN里,更常見的是maximum pooling(最大池化)。
AlexNet
AlexNet是一個流行的CNN架構(gòu),有八層,它比LeNet更廣泛,因此訓(xùn)練用時也更長。2012年,AlexNet贏得了ImageNet圖像分類挑戰(zhàn)。相關(guān)論文:ImageNet Classification with Deep Convolutional Neural Networks。
Backpropagation(反向傳播)
反向傳播是一種用于調(diào)整網(wǎng)絡(luò)權(quán)重以最小化神經(jīng)網(wǎng)絡(luò)損失函數(shù)的常用方法,它在神經(jīng)網(wǎng)絡(luò)中從后向前計算,通過對每個激活函數(shù)進行梯度下降重新調(diào)整權(quán)重。
Batch Gradient Descent(BGD)
BGD是一種常規(guī)的梯度下降優(yōu)化算法,它更新的是整個訓(xùn)練集的參數(shù)。在更新參數(shù)前,它必須計算整個訓(xùn)練集的梯度,因此如果數(shù)據(jù)集很大,BGD可能會很慢。
Batch Normalization
Batch Normalization指的是把神經(jīng)網(wǎng)絡(luò)層中的值歸一化為0到1之間的值,方便更快訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
Bias (偏差)
當(dāng)模型在訓(xùn)練集上精度欠佳時,它被稱為欠擬合。當(dāng)模型具有高偏差時,它通常不會在測試集上又高準確率。
Classification?(分類)
分類指目標(biāo)變量屬于不同的類,它們不是連續(xù)變量。常見的分類任務(wù)有圖像分類、欺詐檢測、自然語言處理的某些問題等。
Convolution?(卷積)
卷積指的是將輸入與filter相乘的操作。它是卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ),在識別圖像中的邊緣和物體方面表現(xiàn)出色。
Cost Function?(損失函數(shù))
損失函數(shù)又稱loss function,指的是模型的輸出與實際情況之間的差異,這是深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的關(guān)鍵要素之一,因為它們構(gòu)成了參數(shù)更新的基礎(chǔ)。通過將前向傳播的結(jié)果與真實結(jié)果相比較,神經(jīng)網(wǎng)絡(luò)能相應(yīng)地調(diào)整網(wǎng)絡(luò)權(quán)重以最小化損失函數(shù),從而提高準確率。常用的損失函數(shù)有均方根誤差。
Deep Neural Network(深度神經(jīng)網(wǎng)絡(luò))
深度神經(jīng)網(wǎng)絡(luò)是具有許多隱藏層(通常超過5層)的神經(jīng)網(wǎng)絡(luò),但具體以多少層為界,學(xué)界還沒有定義。這是機器學(xué)習(xí)算法的一種強大形式,它在自動駕駛、發(fā)現(xiàn)行星等任務(wù)中已有應(yīng)用。
Derivative?(導(dǎo)數(shù))
數(shù)是特定點處函數(shù)的斜率。計算導(dǎo)數(shù)的作用是用梯度下降算法將權(quán)重參數(shù)調(diào)整到局部最小值。
Dropout
Dropout是一種在深度神經(jīng)網(wǎng)絡(luò)中隨機消除節(jié)點及其連接的正則化技術(shù)。它可以防止模型過擬合,同時加快深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度。每次更新參數(shù)時,Dropout會在訓(xùn)練期間丟棄不同的節(jié)點,這就迫使相鄰節(jié)點之間避免過多依賴,并始終保持自身的正確表示。它已經(jīng)在一些分類任務(wù)上明顯改善了模型精度,相關(guān)論文:Dropout: A Simple Way to Prevent Neural Networks from Overfitting。
End-to-End Learning?(端到端學(xué)習(xí))
端到端學(xué)習(xí)指的是算法能夠自行解決整個任務(wù),不需要額外的人為干預(yù)(如模型切換或新數(shù)據(jù)標(biāo)記)。案例:NVIDIA前年發(fā)表了一篇論文End to End Learning for Self-Driving Cars,他們訓(xùn)練了一個只需根據(jù)單個前置攝像頭的原始圖像就能讓自動駕駛汽車自行轉(zhuǎn)向的CNN。
Epoch
一個Epoch表示訓(xùn)練集中的每個樣本都已經(jīng)進行過一次完整的前向傳播和反向傳播。單個Epoch涉及每個訓(xùn)練樣本的迭代。
Forward Propagation?(前向傳播)
前向傳播就是數(shù)據(jù)被輸入神經(jīng)網(wǎng)絡(luò)后,經(jīng)過隱藏層、激活函數(shù),最后形成輸出的過程。當(dāng)節(jié)點權(quán)重經(jīng)過訓(xùn)練后,前向傳播能預(yù)測輸入樣本的結(jié)果。
Fully-Connected layer?(全連接層)
全連接層指的是和上一層的節(jié)點完全連接的神經(jīng)網(wǎng)絡(luò)層,它把上一層的輸出作為輸入,并用其權(quán)重轉(zhuǎn)換輸入,將結(jié)果傳遞給下一層。
Gated Recurrent Unit(GRU)
GRU是RNN的一種,主要用于自然語言處理任務(wù),作用是對給定輸入進行多次變換。和LSTM一樣,GRU可以避免RNN中的梯度消失問題,不同的是它只有兩個門(沒有遺忘門),因此在實現(xiàn)類似性能時計算效率更高。相關(guān)論文:Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation。
Human-Level Performance
Human-Level Performance從字面上理解就是人類級別的表現(xiàn),它表示一組人類專家的最佳表現(xiàn)。作為神經(jīng)網(wǎng)絡(luò)性能的一種常用衡量標(biāo)準,人類表現(xiàn)在改進神經(jīng)網(wǎng)絡(luò)的過程中一直發(fā)揮著作用。
Hyperparameters?(超參數(shù))
超參數(shù)決定的神經(jīng)網(wǎng)絡(luò)的性能,常見的超參數(shù)有學(xué)習(xí)率、梯度下降迭代次數(shù)、隱藏層的數(shù)量和激活函數(shù)。不要將DNN自學(xué)的參數(shù)、權(quán)重和超參數(shù)混淆。
ImageNet
ImageNet是一個包含上千個圖像及其注釋的數(shù)據(jù)集,它是非常有用的圖像分類任務(wù)資源。
Iteration?(迭代)
迭代指的是神經(jīng)網(wǎng)絡(luò)前向傳播和反向傳播的總次數(shù)。例如,假設(shè)你的訓(xùn)練集有5個batch,一共訓(xùn)練了2個epoch,那么你就一共進行了10次迭代。
Gradient Descent?(梯度下降)
梯度下降是一種幫助神經(jīng)網(wǎng)絡(luò)決定如何調(diào)整參數(shù)以最小化損失函數(shù)的方法。我們可以用它重復(fù)調(diào)整參數(shù),直到找到全局最小值。CSDN上翻譯了Sebastian Ruder的《梯度下降優(yōu)化算法綜述》,非常值得閱讀。
Layer
Layer指的是一組轉(zhuǎn)換輸入的激活函數(shù)。如下圖所示,神經(jīng)網(wǎng)絡(luò)通常會使用多個隱藏層來創(chuàng)建輸出,常見的有輸入層、隱藏層和輸出層。
Learning Rate Decay(學(xué)習(xí)率衰減)
學(xué)習(xí)率衰減指的是在訓(xùn)練期間改變神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率,它反映了學(xué)習(xí)的靈活性。在深度學(xué)習(xí)實踐中,隨著訓(xùn)練進行,學(xué)習(xí)率一般是逐漸衰減的。
Maximum Pooling(最大池化)
最大池化表示只選擇特定輸入?yún)^(qū)域的最大值,它通常用于CNN。以減小輸入的大小。
Long Short-Term Memory(LSTM)
LSTM是一種特殊的RNN,能夠?qū)W習(xí)輸入的上下文。當(dāng)相應(yīng)的輸入遠離彼此時,常規(guī)RNN會存在梯度消失問題,而LSTM可以學(xué)習(xí)這些長期依賴性。相關(guān)論文:LONG SHORT-TERM MEMORY。
Mini-Batch Gradient Descent
Mini-Batch Gradient Descent是一種優(yōu)化算法,它先把訓(xùn)練數(shù)據(jù)分成一系列子集,再在上面進行梯度下降。由于這個過程是可以并行的,各個worker可以同時分別迭代不同的mini batch,因此它計算效率更高、收斂更穩(wěn)健,是batch和SGD的一種有效組合。
Momentum(動量)
Momentum也是一種梯度下降優(yōu)化算法,用于平滑隨機梯度下降法的振蕩。它先計算先前采取的步驟的方向的平均方向,并在此方向上調(diào)整參數(shù)更新。這一術(shù)語來自經(jīng)典物理學(xué)中的動量概念,當(dāng)我們沿著一座小山坡向下扔球時,球在沿著山坡向下滾動的過程中收集動量,速度不斷增加。參數(shù)更新也是如此。
Neural Network(神經(jīng)網(wǎng)絡(luò))
神經(jīng)網(wǎng)絡(luò)是一種轉(zhuǎn)換輸入的機器學(xué)習(xí)模型,最基礎(chǔ)的NN具有輸入層、隱藏層和輸出層,隨著技術(shù)的不斷發(fā)展,它現(xiàn)在已經(jīng)成為查找數(shù)據(jù)中復(fù)雜模式的首選工具。
Non-Max Suppression(非極大抑制)
非極大抑制是物體檢測領(lǐng)域的一種常用算法,它也是YOLO的一部分。它能消除多余的框,找到最佳的物體檢測的位置。相關(guān)論文:Learning non-maximum suppression。
Recurrent Neural Networks?(RNN)
RNN允許神經(jīng)網(wǎng)絡(luò)“理解”語音、文本和音樂的上下文。它通過讓信息循環(huán)通過網(wǎng)絡(luò),從而在較早和較晚的層之間保持輸入的重要特征。
ReLU
ReLU是一個簡單的線性變換單元,如果輸入小于零,則輸出為零,否則輸出等于輸入。它通常是現(xiàn)在首選的激活函數(shù),可以幫助更快地訓(xùn)練。
Regression(回歸)
和分類相對應(yīng),回歸也是統(tǒng)計學(xué)習(xí)的一種形式,只不過它的輸出是連續(xù)的變量,而不是分類值。分類為輸入變量分配了一個類,但回歸為輸入變量分配的是無限多個可能的值,而且它通常是一個數(shù)字。常見的回歸任務(wù)有房價預(yù)測和客戶年齡預(yù)測。
Root Mean Squared Propagation(RMSProp)
RMSProp隨機梯度下降優(yōu)化方法的擴展,它以每個參數(shù)的學(xué)習(xí)率為特征,根據(jù)參數(shù)在先前迭代中的變化速度來調(diào)整學(xué)習(xí)率。
Parameters?(參數(shù))
參數(shù)即在應(yīng)用激活函數(shù)之前轉(zhuǎn)換輸入的DNN的權(quán)重。神經(jīng)網(wǎng)絡(luò)的每一層都有自己的一組參數(shù)。利用反向傳播算法,我們可以通過調(diào)整參數(shù)最小化損失函數(shù)。
Softmax
Softmax函數(shù),或稱歸一化指數(shù)函數(shù),是邏輯函數(shù)的一種推廣,常用于DNN的最后一層。它的本質(zhì)就是將一個K維的任意實數(shù)向量壓縮(映射)成另一個K維的實數(shù)向量,其中向量中的每個元素取值都介于(0,1)之間。它非常適合有兩個以上輸出的分類任務(wù)。
Stochastic Gradient Descent?(隨機梯度下降)
隨機梯度下降法是梯度下降法在機器學(xué)習(xí)領(lǐng)域的一個變種,它通過抽樣的梯度來近似表示真實的梯度,從而避免大量的計算。
Supervised Learning(監(jiān)督學(xué)習(xí))
監(jiān)督學(xué)習(xí)是機器學(xué)習(xí)的一種形式,其中每個輸入樣本都包含經(jīng)注釋的標(biāo)簽。這些標(biāo)簽的作用是將DNN的輸出和真實結(jié)果做對比,并最小化損失函數(shù)。
Transfer Learning?(遷移學(xué)習(xí))
遷移學(xué)習(xí)是一種將一個神經(jīng)網(wǎng)絡(luò)的參數(shù)用于不同任務(wù)而無需重新訓(xùn)練整個網(wǎng)絡(luò)的技術(shù)。它的具體方法是使用先前訓(xùn)練過的網(wǎng)絡(luò)中的權(quán)重并刪除輸出層,然后用你自己的softmax或logistic圖層替換最后一層,再次訓(xùn)練網(wǎng)絡(luò)。之所以有效,是因為較低的層通常會檢測到類似的邊緣,這些邊緣對其他圖像分類任務(wù)也是有效的。
Unsupervised Learning(無監(jiān)督學(xué)習(xí))
無監(jiān)督學(xué)習(xí)也是機器學(xué)習(xí)的一種形式,但是它的輸出類是未知的。常見的無監(jiān)督學(xué)習(xí)方法有GAN和VAE。
Validation Set(驗證集)
驗證集通常被用于尋找深度神經(jīng)網(wǎng)絡(luò)的最佳超參數(shù)。訓(xùn)練好DNN后,我們可以在驗證集上測試不同的超參數(shù)組合,然后選擇性能最好的組合在測試集上做最終預(yù)測。在使用過程中,注意平衡各集的數(shù)據(jù)占比,比如在有大量數(shù)據(jù)可用的情況下,訓(xùn)練集的數(shù)據(jù)占比應(yīng)該高達99%,而驗證集合測試集應(yīng)該各占0.5%。
Vanishing Gradients(梯度消失)
梯度消失是神經(jīng)網(wǎng)絡(luò)到達一定深度后會出現(xiàn)的問題。在反向傳播中,權(quán)重根據(jù)其梯度或衍生物進行調(diào)整,但在深度神經(jīng)網(wǎng)絡(luò)中,較早層的梯度可能會變得非常小,以至于權(quán)重根本不會更新。避免這個問題的一種做法是使用ReLU激活函數(shù)。
Variance(方差)
當(dāng)DNN過擬合訓(xùn)練數(shù)據(jù)時,我們稱這之中存在方差。DNN無法將噪聲與模式區(qū)分開來,并對訓(xùn)練數(shù)據(jù)中的每個方差進行建模,具有高方差的模型通常無法準確推廣到新數(shù)據(jù)。
VGG-16
VGG-16是一種CNN流行網(wǎng)絡(luò)架構(gòu),它簡化了AlexNet,總共有16層。一些研究已經(jīng)證實,許多經(jīng)預(yù)訓(xùn)練的VGG模型可以通過遷移學(xué)習(xí)被用于其他新任務(wù)。
Xavier Initialization?(Xavier初始化)
Xavier初始化是我們在自編碼器中會使用到一種參數(shù)初始化方法,它在第一個隱藏層中分配起始權(quán)重,以便輸入信號深入神經(jīng)網(wǎng)絡(luò)。之后,它再根據(jù)節(jié)點和輸出的數(shù)量來衡量權(quán)重,從而防止信號在網(wǎng)絡(luò)中變得太小或太大。
YOLO
YOLO是是目前比較流行的對象檢測算法,它把物體檢測問題處理成回歸問題,用一個卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)就可以從輸入圖像直接預(yù)測bounding box和類別概率。相關(guān)論文:YOLO9000: Better, Faster, Stronger。
希望本文能幫助你更深入地理解深度學(xué)習(xí)世界中使用的術(shù)語,在學(xué)習(xí)Coursera課程時,有需要的讀者不妨把這篇文章放在一旁,更專業(yè)、更高效地掌握老師教授的內(nèi)容。
-
算法
+關(guān)注
關(guān)注
23文章
4580瀏覽量
92369 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1199瀏覽量
24595 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5442瀏覽量
120805
原文標(biāo)題:什么是Adam/ReLU/YOLO?這里有一份深度學(xué)習(xí)(.ai)詞典
文章出處:【微信號:jqr_AI,微信公眾號:論智】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論