卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)科普

卷積神經(jīng)網(wǎng)絡(luò)是一種深度學(xué)習(xí)網(wǎng)絡(luò)，主要用于識(shí)別圖像和對(duì)其進(jìn)行分類，以及識(shí)別圖像中的對(duì)象。

什么是卷積神經(jīng)網(wǎng)絡(luò)?

人工神經(jīng)網(wǎng)絡(luò)是一個(gè)硬件和/或軟件系統(tǒng)，模仿神經(jīng)元在人類大腦中的運(yùn)轉(zhuǎn)方式。卷積神經(jīng)網(wǎng)絡(luò) (CNN) 通常會(huì)在多個(gè)全連接或池化的卷積層中應(yīng)用多層感知器(對(duì)視覺輸入內(nèi)容進(jìn)行分類的算法)的變體。

CNN 的學(xué)習(xí)方式與人類相同。人類出生時(shí)并不知道貓或鳥長(zhǎng)什么樣。隨著我們長(zhǎng)大成熟，我們學(xué)到了某些形狀和顏色對(duì)應(yīng)某些元素，而這些元素共同構(gòu)成了一種元素。學(xué)習(xí)了爪子和喙的樣子后，我們就能更好地區(qū)分貓和鳥。

神經(jīng)網(wǎng)絡(luò)的工作原理基本也是這樣。通過處理標(biāo)記圖像的訓(xùn)練集，機(jī)器能夠?qū)W習(xí)識(shí)別元素，即圖像中對(duì)象的特征。

CNN 是頗受歡迎的深度學(xué)習(xí)算法類型之一。卷積是將濾波器應(yīng)用于輸入內(nèi)容的簡(jiǎn)單過程，會(huì)帶來以數(shù)值形式表示的激活。通過對(duì)圖像反復(fù)應(yīng)用同一濾波器，會(huì)生成名為特征圖的激活圖。這表示檢測(cè)到的特征的位置和強(qiáng)度。

卷積是一種線性運(yùn)算，需要將一組權(quán)重與輸入相乘，以生成稱為濾波器的二維權(quán)重?cái)?shù)組。如果調(diào)整濾波器以檢測(cè)輸入中的特定特征類型，則在整個(gè)輸入圖像中重復(fù)使用該濾波器可以發(fā)現(xiàn)圖像中任意位置的特征。

例如，一個(gè)濾波器用于檢測(cè)特定形狀的曲線，另一個(gè)濾波器用于檢測(cè)垂直線，第三個(gè)濾波器用于檢測(cè)水平線。其他濾波器可以檢測(cè)顏色、邊緣和光線強(qiáng)度。連接多個(gè)濾波器的輸出，即可以表示與訓(xùn)練數(shù)據(jù)中的已知元素匹配的復(fù)雜形狀。

CNN 通常由三層組成：1) 輸入層、2) 輸出層和 3) 包含多個(gè)卷積層的隱藏層，其中隱藏層為池化層、全連接層和標(biāo)準(zhǔn)化層。

第一層通常用于捕捉邊緣、顏色、梯度方向和基本幾何形狀等基本特征。添加層后，此模型會(huì)填充高級(jí)特征，這些特征會(huì)逐漸確定一個(gè)大型棕色圖塊，首先是車輛，然后是汽車，然后是別克。

池化層會(huì)逐漸縮小表示的空間的大小，提高計(jì)算效率。池化層會(huì)單獨(dú)對(duì)每個(gè)特征圖進(jìn)行運(yùn)算。池化層中常用的方法是最大池化，即捕捉數(shù)組的最大值，從而減少計(jì)算所需的值的數(shù)量。堆疊卷積層允許將輸入分解為其基本元素。

標(biāo)準(zhǔn)化層會(huì)對(duì)數(shù)據(jù)進(jìn)行正則化處理，以改善神經(jīng)網(wǎng)絡(luò)的性能和穩(wěn)定性。標(biāo)準(zhǔn)化層通過將所有輸入都轉(zhuǎn)換為均值為 0 且方差為 1，從而使每個(gè)層的輸入更便于管理。

全連接層用于將一層中的各個(gè)神經(jīng)元與另一層中的所有神經(jīng)元相連。

為什么選擇卷積神經(jīng)網(wǎng)絡(luò)?

神經(jīng)網(wǎng)絡(luò)有三種基本類型：

多層感知器擅長(zhǎng)使用標(biāo)記輸入處理分類預(yù)測(cè)問題。它們是可應(yīng)用于各種場(chǎng)景(包括圖像識(shí)別)的靈活網(wǎng)絡(luò)。

時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)使用一個(gè)或多個(gè)步長(zhǎng)作為輸入，并以多個(gè)步長(zhǎng)作為輸出，針對(duì)序列預(yù)測(cè)問題進(jìn)行了優(yōu)化。它們擅長(zhǎng)解讀時(shí)間序列數(shù)據(jù)，但對(duì)圖像分析無效。

卷積神經(jīng)網(wǎng)絡(luò)專為將圖像數(shù)據(jù)映射到輸出變量而設(shè)計(jì)。它們特別擅長(zhǎng)發(fā)掘二維圖像的內(nèi)部表征，可用于學(xué)習(xí)位置和尺寸不變的結(jié)構(gòu)。這使得它們特別擅長(zhǎng)處理具有空間關(guān)系組件的數(shù)據(jù)。

CNN 已成為許多先進(jìn)深度學(xué)習(xí)(例如面部識(shí)別、手寫識(shí)別和文本數(shù)字化)方面的計(jì)算機(jī)視覺應(yīng)用程序的首選模型。此外，它還可應(yīng)用于推薦系統(tǒng)。2012 年 CNN 迎來了轉(zhuǎn)折點(diǎn)，當(dāng)時(shí)多倫多大學(xué)研究生 Alex Krizhevsky 使用 CNN 模型將分類錯(cuò)誤記錄從 26% 降低至 15%，在當(dāng)年的 ImageNet 競(jìng)賽中獲勝，這一成績(jī)?cè)诋?dāng)時(shí)令人震驚。

事實(shí)證明，在涉及圖像處理的應(yīng)用場(chǎng)合，CNN 模型能夠帶來出色結(jié)果和超高計(jì)算效率。雖然 CNN 模型并不是適合此領(lǐng)域的唯一深度學(xué)習(xí)模型，但這是大家共同的選擇，并且將成為未來持續(xù)創(chuàng)新的焦點(diǎn)。

關(guān)鍵用例

CNN 是目前機(jī)器用來識(shí)別物體的圖像處理器。CNN 已成為當(dāng)今自動(dòng)駕駛汽車、石油勘探和聚變能研究領(lǐng)域的眼睛。在醫(yī)學(xué)成像方面，它們可以幫助更快速發(fā)現(xiàn)疾病并挽救生命。

得益于 CNN 和遞歸神經(jīng)網(wǎng)絡(luò) (RNN)，各種 AI 驅(qū)動(dòng)型機(jī)器都具備了像我們眼睛一樣的能力。經(jīng)過在深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域數(shù)十年的發(fā)展以及在處理海量數(shù)據(jù)的 GPU 高性能計(jì)算方面的長(zhǎng)足進(jìn)步，大部分 AI 應(yīng)用都已成為可能。

卷積神經(jīng)網(wǎng)絡(luò)的重要意義

數(shù)據(jù)科學(xué)團(tuán)隊(duì)

圖像識(shí)別應(yīng)用范圍廣，是許多數(shù)據(jù)科學(xué)團(tuán)隊(duì)必備的核心能力。CNN 是一項(xiàng)成熟的標(biāo)準(zhǔn)，可為數(shù)據(jù)科學(xué)團(tuán)隊(duì)提供技能基準(zhǔn)，讓他們可以學(xué)習(xí)并掌握這些技能，以滿足當(dāng)前和未來的圖像處理需求。

數(shù)據(jù)工程團(tuán)隊(duì)

了解 CNN 處理所需訓(xùn)練數(shù)據(jù)的工程師可以提前一步滿足組織需求。數(shù)據(jù)集采用規(guī)定的格式，并且工程師可以通過大量公開的數(shù)據(jù)集進(jìn)行學(xué)習(xí)。這簡(jiǎn)化了將深度學(xué)習(xí)算法投入生產(chǎn)的過程。

借助 GPU 加速卷積神經(jīng)網(wǎng)絡(luò)

先進(jìn)的神經(jīng)網(wǎng)絡(luò)可能有數(shù)百萬乃至十億以上的參數(shù)需要通過反向傳播進(jìn)行調(diào)整。此外，它們需要大量的訓(xùn)練數(shù)據(jù)才能實(shí)現(xiàn)較高的準(zhǔn)確度，這意味著成千上萬乃至數(shù)百萬的輸入樣本必須同時(shí)進(jìn)行向前和向后傳輸。由于神經(jīng)網(wǎng)絡(luò)由大量相同的神經(jīng)元構(gòu)建而成，因此本質(zhì)上具有高度并行性。這種并行性會(huì)自然映射到 GPU，因此相比僅依賴 CPU 的訓(xùn)練，計(jì)算速度會(huì)大幅提高。

通過深度學(xué)習(xí)框架，研究人員能輕松創(chuàng)建和探索卷積神經(jīng)網(wǎng)絡(luò) (CNN) 和其他深度神經(jīng)網(wǎng)絡(luò) (DNN)，同時(shí)達(dá)到實(shí)驗(yàn)和工業(yè)部署所需的較高速度。NVIDIA 深度學(xué)習(xí) SDK 可加快 Caffe、CNTK、TensorFlow、Theano 和 Torch 等廣泛使用的深度學(xué)習(xí)框架以及眾多其他機(jī)器學(xué)習(xí)應(yīng)用程序的運(yùn)行速度。

深度學(xué)習(xí)框架在 GPU 上的運(yùn)行速度更快，并可以在單個(gè)節(jié)點(diǎn)內(nèi)的多個(gè) GPU 間擴(kuò)展。為了將框架與 GPU 結(jié)合使用以進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理過程，NVIDIA 分別提供了 cuDNN 和 TensorRT。cuDNN 和 TensorRT 可大幅優(yōu)化卷積層、池化層、標(biāo)準(zhǔn)化層和激活層等標(biāo)準(zhǔn)例程的實(shí)施。

為快速開發(fā)和部署視覺模型，NVIDIA 面向視覺 AI 開發(fā)者提供了 DeepStream SDK，同時(shí)面向計(jì)算機(jī)視覺領(lǐng)域提供了 TAO 工具套件，用于創(chuàng)建準(zhǔn)確且高效的 AI 模型。

原文標(biāo)題：NVIDIA 大講堂 | 什么是卷積神經(jīng)網(wǎng)絡(luò)?

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅