主要語義分割網(wǎng)絡(luò)：FCN,SegNet,U-Net以及一些半監(jiān)督方法

圖像的語義分割是將輸入圖像中的每個像素分配一個語義類別，以得到像素化的密集分類。雖然自2007年以來，語義分割/場景解析一直是計算機視覺社區(qū)的一部分，但與計算機視覺中的其他領(lǐng)域很相似，自 2014 年 Long 等人首次使用全卷積神經(jīng)網(wǎng)絡(luò)對自然圖像進行端到端分割，語義分割才有了重大突破。

圖1：輸入圖像（左），F(xiàn)CN-8s 網(wǎng)絡(luò)生成的語義分割圖（右）（使用pytorch-semseg訓練）

FCN-8s 架構(gòu)在 Pascal VOC 2012 數(shù)據(jù)集上的性能相比以前的方法提升了 20%，達到了 62.2% 的 mIOU。這種架構(gòu)是語義分割的基礎(chǔ)，此后一些新的和更好的體系結(jié)構(gòu)都基于此。

全卷積網(wǎng)絡(luò)（FCNs）可以用于自然圖像的語義分割、多模態(tài)醫(yī)學圖像分析和多光譜衛(wèi)星圖像分割。與 AlexNet、VGG、ResNet 等深度分類網(wǎng)絡(luò)類似，F(xiàn)CNs 也有大量進行語義分割的深層架構(gòu)。

本文作者總結(jié)了 FCN、SegNet、U-Net、FC-Densenet E-Net 和 Link-Net、RefineNet、PSPNet、Mask-RCNN 以及一些半監(jiān)督方法，例如 DecoupledNet 和 GAN-SS，并為其中的一些網(wǎng)絡(luò)提供了 PyTorch 實現(xiàn)。在文章的最后一部分，作者總結(jié)了一些流行的數(shù)據(jù)集，并展示了一些網(wǎng)絡(luò)訓練的結(jié)果。

▌網(wǎng)絡(luò)架構(gòu)

一般的語義分割架構(gòu)可以被認為是一個編碼器——解碼器網(wǎng)絡(luò)。編碼器通常是一個預訓練的分類網(wǎng)絡(luò)，像 VGG、ResNet，然后是一個解碼器網(wǎng)絡(luò)。這些架構(gòu)之間的不同主要在于解碼器網(wǎng)絡(luò)。解碼器的任務(wù)是將編碼器學習到的可判別特征（較低分辨率）從語義上映射到像素空間（較高分辨率），以獲得密集分類。

不同于分類任務(wù)中深度網(wǎng)絡(luò)的最終結(jié)果（即類存在的概率）被視為唯一重要的事，語義分割不僅需要在像素級有判別能力，還需要有能將編碼器在不同階段學到的可判別特征映射到像素空間的機制。不同的架構(gòu)采用不同的機制（跳遠連接、金字塔池化等）作為解碼機制的一部分。

一些上述架構(gòu)和加載數(shù)據(jù)的代碼可在以下鏈接獲得：

Pytorch：https://github.com/meetshah1995/pytorch-semseg

這篇論文對語義分割（包括 Recurrent Style Networks）作了一個更正式的總結(jié)。

▌Fully Convolution Networks (FCNs) 全卷積網(wǎng)絡(luò)

我們將當前分類網(wǎng)絡(luò)（AlexNet, VGG net 和 GoogLeNet）修改為全卷積網(wǎng)絡(luò)，通過對分割任務(wù)進行微調(diào)，將它們學習的表征轉(zhuǎn)移到網(wǎng)絡(luò)中。然后，我們定義了一種新架構(gòu)，它將深的、粗糙的網(wǎng)絡(luò)層語義信息和淺的、精細的網(wǎng)絡(luò)層的表層信息結(jié)合起來，來生成精確的分割。我們的全卷積網(wǎng)絡(luò)在 PASCAL VOC（在 2012 年相對以前有 20% 的提升，達到了62.2% 的平均 IU），NYUDv2 和 SIFT Flow 上實現(xiàn)了最優(yōu)的分割結(jié)果，對于一個典型的圖像，推斷只需要三分之一秒的時間。

圖2：FCN 端到端密集預測流程

關(guān)鍵特點：

特征是由編碼器中的不同階段合并而成的，它們在語義信息的粗糙程度上有所不同。

低分辨率語義特征圖的上采樣使用通過雙線性插值濾波器初始化的反卷積操作完成。

從 VGG16、Alexnet 等現(xiàn)代分類器網(wǎng)絡(luò)進行知識轉(zhuǎn)移的優(yōu)秀樣本來實現(xiàn)語義細分。

圖3：將全連接層轉(zhuǎn)換成卷積層，使得分類網(wǎng)絡(luò)可以輸出一個類的熱圖。

如上圖所示，像 VGG16 分類網(wǎng)絡(luò)的全連接層（fc6，fc7）被轉(zhuǎn)換為全卷積層。它生成了一個低分辨率的類的熱圖，然后用雙線性初始化的反卷積，并在上采樣的每一個階段通過融合（簡單地相加）VGG16 中的低層（conv4和conv3）的更加粗糙但是分辨率更高的特征圖進一步細化特征。在這里可以找到更加詳細的 netscope 風格的網(wǎng)絡(luò)可視化。

在傳統(tǒng)的分類 CNNs 中，池化操作用來增加視野，同時減少特征圖的分辨率。這對于分類任務(wù)來說非常有用，因為分類的最終目標是找到某個特定類的存在，而對象的空間位置無關(guān)緊要。因此，在每個卷積塊之后引入池化操作，以使后續(xù)塊能夠從已池化的特征中提取更多抽象、突出類的特征。

圖4：FCN-8s 網(wǎng)絡(luò)架構(gòu)

另一方面，池化和帶步長的卷積對語義分割是不利的，因為這些操作造成了空間信息的丟失。下面列出的大多數(shù)架構(gòu)主要在解碼器中使用了不同的機制，但目的都在于恢復在編碼器中降低分辨率時丟失的信息。如上圖所示，F(xiàn)CN-8s 融合了不同粗糙度（conv3、conv4和fc7）的特征，利用編碼器不同階段不同分辨率的空間信息來細化分割結(jié)果。

圖5：訓練 FCNs 時卷積層的梯度

第一個卷積層捕捉低層次的幾何信息，因為這完全依賴數(shù)據(jù)集，你可以注意到梯度調(diào)整了第一層的權(quán)重以使模型適應(yīng)數(shù)據(jù)集。VGG 中更深層的卷積層有非常小的梯度流，因為這里捕獲的高層次的語義概念足夠用于分割。

圖6：反卷積（卷積轉(zhuǎn)置）

空洞卷積

語義分割架構(gòu)的另一個重要方面是，對特征圖使用反卷積，將低分辨率分割圖上采樣至輸入圖像分辨率機制，或者花費大量計算成本，使用空洞卷積在編碼器上部分避免分辨率下降。即使在現(xiàn)代 GPUs 上，空洞卷積的計算成本也很高。

論文鏈接：https://arxiv.org/abs/1411.4038

▌SegNet

SegNet 的新穎之處在于解碼器對其較低分辨率的輸入特征圖進行上采樣的方式。具體地說，解碼器使用了在相應(yīng)編碼器的最大池化步驟中計算的池化索引來執(zhí)行非線性上采樣。這種方法消除了學習上采樣的需要。經(jīng)上采樣后的特征圖是稀疏的，因此隨后使用可訓練的卷積核進行卷積操作，生成密集的特征圖。我們提出的架構(gòu)與廣泛采用的 FCN 以及眾所周知的 DeepLab-LargeFOV，DeconvNet 架構(gòu)進行比較。比較的結(jié)果揭示了在實現(xiàn)良好的分割性能時所涉及的內(nèi)存與精度之間的權(quán)衡。

圖7：SegNet 架構(gòu)

關(guān)鍵特點：

SegNet 在解碼器中使用去池化對特征圖進行上采樣，并在分割中保持高頻細節(jié)的完整性。

編碼器不使用全連接層（和 FCN 一樣進行卷積），因此是擁有較少參數(shù)的輕量級網(wǎng)絡(luò)。

圖8：去池化

如上圖所示，編碼器中的每一個最大池化層的索引都存儲了起來，用于之后在解碼器中使用那些存儲的索引來對相應(yīng)特征圖進行去池化操作。這有助于保持高頻信息的完整性，但當對低分辨率的特征圖進行去池化時，它也會忽略鄰近的信息。

論文鏈接：https://arxiv.org/abs/1511.00561

▌U-Net

U-Net 架構(gòu)包括一個捕獲上下文信息的收縮路徑和一個支持精確本地化的對稱擴展路徑。我們證明了這樣一個網(wǎng)絡(luò)可以使用非常少的圖像進行端到端的訓練，并且在 ISBI 神經(jīng)元結(jié)構(gòu)分割挑戰(zhàn)賽中取得了比以前最好的方法（一個滑動窗口的卷積網(wǎng)絡(luò)）更加優(yōu)異的性能。我們使用相同的網(wǎng)絡(luò)，在透射光顯微鏡圖像（相位對比度和 DIC）上進行訓練，以很大的優(yōu)勢獲得了 2015 年 ISBI 細胞追蹤挑戰(zhàn)賽。此外，網(wǎng)絡(luò)推斷速度很快。一個 512x512 的圖像分割在最新的 GPU 上花費了不到一秒。

圖9：U-Net 架構(gòu)

關(guān)鍵特點：

U-Net 簡單地將編碼器的特征圖拼接至每個階段解碼器的上采樣特征圖，從而形成一個梯形結(jié)構(gòu)。該網(wǎng)絡(luò)非常類似于Ladder Network類型的架構(gòu)。

通過跳遠拼接連接的架構(gòu)，在每個階段都允許解碼器學習在編碼器池化中丟失的相關(guān)特性。

U-Net 在 EM 數(shù)據(jù)集上取得了最優(yōu)異的結(jié)果，該數(shù)據(jù)集只有 30 個密集標注的醫(yī)學圖像和其他醫(yī)學圖像數(shù)據(jù)集，U-Net 后來擴展到 3D 版的3D-U-Net。雖然 U-Net 的發(fā)表是因為在生物醫(yī)學領(lǐng)域的分割、網(wǎng)絡(luò)實用性以及從非常少的數(shù)據(jù)中學習的能力，但現(xiàn)在已經(jīng)成功應(yīng)用在其他幾個領(lǐng)域，例如衛(wèi)星圖像分割，同時也成為許多kaggle 競賽中關(guān)于醫(yī)學圖像分割獲勝的解決方案中的一部分。

論文鏈接：https://arxiv.org/abs/1505.04597

▌Fully Convolutional DenseNet

在文中我們擴充了 DenseNets，以解決語義分割的問題。我們在城市場景基準數(shù)據(jù)集（如 CamVid 和 Gatech ）上獲得了最優(yōu)異的結(jié)果，沒有使用進一步的后處理模塊和預訓練模型。此外，由于模型的優(yōu)異結(jié)構(gòu)，我們的方法比當前發(fā)布的在這些數(shù)據(jù)集上取得最佳的網(wǎng)絡(luò)參數(shù)要少得多。

圖10：全卷積 DenseNet 架構(gòu)

全卷積 DenseNet 使用DenseNet作為它的基礎(chǔ)編碼器，并且也以類似于 U-Net 的方式，在每一層級上將編碼器和解碼器進行拼接。

論文鏈接：https://arxiv.org/abs/1611.09326

▌E-Net 和 Link-Net

在這篇文章中，我們提出了一種新的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，稱為 ENet（efficient neural network），專門為需要低延遲操作的任務(wù)創(chuàng)建。ENet 比當前網(wǎng)絡(luò)模型快 18 倍，少了 75 倍的 FLOPs，參數(shù)數(shù)量降低了 79 倍，并且提供相似甚至更好的準確率。我們在 CamVid、Cityscapes 和 SUN 數(shù)據(jù)集上進行了測試，展示了與現(xiàn)有的最優(yōu)方法進行比較的結(jié)果，以及網(wǎng)絡(luò)準確率和處理時間之間的權(quán)衡。

LinkNet 可以在 TX1 和 Titan X 上，分別以 2fps 和 19fps 的速率處理分辨率為 1280x720 的圖像。

圖11：（左）LinkNet 架構(gòu)，（右）LinkNet 中使用的編碼器和解碼器模塊

LinkNet 架構(gòu)類似于一個梯形網(wǎng)絡(luò)架構(gòu)，編碼器的特征圖（橫向）和解碼器的上采樣特征圖（縱向）相加。還需要注意的是，由于它的通道約減方案（channel reduction scheme），解碼器模塊包含了相當少的參數(shù)。大小為 [H, W, n_channels] 的特征圖先通過 1*1 卷積核得到大小為 [H, W, n_channels / 4] 的特征圖，然后使用反卷積將其變?yōu)?[2*H, 2*W, n_channels / 4]，最后使用 1*1 卷積使其大小變?yōu)?[2*H, 2*W, n_channels / 2]，因此解碼器有著更少的參數(shù)。這些網(wǎng)絡(luò)在實現(xiàn)相當接近于最優(yōu)準確率的同時，可以實時地在嵌入式 GPU 上進行分割。

相關(guān)鏈接：https://arxiv.org/abs/1606.02147；

https://codeac29.github.io/projects/linknet/

▌Mask R-CNN

該方法被稱為 Mask R-CNN，以 Faster R-CNN 為基礎(chǔ)，在現(xiàn)有邊界框識別分支基礎(chǔ)上添加一個并行的預測目標掩碼的分支。Mask R-CNN 很容易訓練，僅僅在 Faster R-CNN 上增加了一點小開銷，運行速度為 5fps。此外，Mask R-CNN 很容易泛化至其他任務(wù)。例如，可以使用相同的框架進行姿態(tài)估計。我們在 COCO 所有的挑戰(zhàn)賽中都獲得了最優(yōu)結(jié)果，包括實例分割，邊界框目標檢測，和人關(guān)鍵點檢測。在沒有使用任何技巧的情況下，Mask R-CNN 在每項任務(wù)上都優(yōu)于所有現(xiàn)有的單模型網(wǎng)絡(luò)，包括 COCO 2016 挑戰(zhàn)賽的獲勝者。

圖12：Mask R-CNN 分割流程

原始 Faster-RCNN 架構(gòu)和輔助分割分支

Mask R-CNN 架構(gòu)相當簡單，它是流行的 Faster R-CNN 架構(gòu)的擴展，在其基礎(chǔ)上進行必要的修改，以執(zhí)行語義分割。

關(guān)鍵特點：

在 Faster R-CNN 上添加輔助分支以執(zhí)行語義分割。

對每個實例進行的RoIPool操作已經(jīng)被修改為RoIAlign，它避免了特征提取的空間量化，因為在最高分辨率中保持空間特征不變對于語義分割很重要。

Mask R-CNN 與Feature Pyramid Networks（類似 于PSPNet，它對特征使用了金字塔池化）相結(jié)合，在MS COCO數(shù)據(jù)集上取得了最優(yōu)結(jié)果。

在 2017-06-01 的時候，在網(wǎng)絡(luò)上還沒有 Mask R-CNN 的工作實現(xiàn)，而且也沒有在 Pascal VOC 上進行基準測試，但是它的分割掩碼顯示了它與真實標注非常接近。

論文鏈接：https://arxiv.org/abs/1703.06870

▌PSPNet

在文中我們利用基于不同區(qū)域的上下文信息集合，通過我們的金字塔池化模塊，使用金字塔場景解析網(wǎng)絡(luò)（PSPNet）來發(fā)揮全局上下文信息的能力。我們的全局先驗表征在場景解析任務(wù)中產(chǎn)生了良好的質(zhì)量結(jié)果，而 PSPNet 為像素級的預測提供了一個更好的框架，該方法在不同的數(shù)據(jù)集上達到了最優(yōu)性能。它首次在 2016 ImageNet 場景解析挑戰(zhàn)賽 PASCAL VOC 2012 基準和 Cityscapes 基準中出現(xiàn)。

圖13：PSPNet 架構(gòu)

使用 netscope 實現(xiàn)的可視化的空間金字塔池化

關(guān)鍵特點：

PSPNet 通過引入空洞卷積來修改基礎(chǔ)的 ResNet 架構(gòu)，特征經(jīng)過最初的池化，在整個編碼器網(wǎng)絡(luò)中以相同的分辨率進行處理（原始圖像輸入的 1/4），直到它到達空間池化模塊。

在 ResNet 的中間層中引入輔助損失，以優(yōu)化整體學習。

在修改后的 ResNet 編碼器頂部的空間金字塔池化聚合全局上下文。

圖 14：圖片展示了全局空間上下文對語義分割的重要性。它顯示了層之間感受野和大小的關(guān)系。在這個例子中，更大、更加可判別的感受野（藍）相比于前一層（橙）可能在細化表征中更加重要，這有助于解決歧義。

PSPNet 架構(gòu)目前在CityScapes、ADE20K和Pascal VOC 2012中有最優(yōu)結(jié)果。

論文鏈接：https://arxiv.org/abs/1612.01105

▌RefineNet

在文中提出了 RefineNet，一個通用的多路徑優(yōu)化網(wǎng)絡(luò)，它明確利用了整個下采樣過程中可用的所有信息，使用遠程殘差連接實現(xiàn)高分辨率的預測。通過這種方式，可以使用早期卷積中的細粒度特征來直接細化捕捉高級語義特征的更深的網(wǎng)絡(luò)層。RefineNet 的各個組件使用遵循恒等映射思想的殘差連接，這允許網(wǎng)絡(luò)進行有效的端到端訓練。

圖15：RefineNet 架構(gòu)

建立 RefineNet 的塊 - 殘差卷積單元，多分辨率融合和鏈式殘差池化

RefineNet 解決了傳統(tǒng)卷積網(wǎng)絡(luò)中空間分辨率減少的問題，與 PSPNet（使用計算成本高的空洞卷積）使用的方法非常不同。提出的架構(gòu)迭代地池化特征，利用特殊的 RefineNet 模塊增加不同的分辨率，并最終生成高分辨率的分割圖。

關(guān)鍵特點：

使用多分辨率作為輸入，將提取的特征融合在一起，并將其傳遞到下一個階段。

引入鏈式殘差池化，可以從一個大的圖像區(qū)域獲取背景信息。它通過多窗口尺寸有效地池化特性，利用殘差連接和學習權(quán)重方式融合這些特征。

所有的特征融合都是使用 sum（ResNet 方式）來進行端到端訓練。

使用普通 ResNet 的殘差層，沒有計算成本高的空洞卷積。

論文鏈接：https://arxiv.org/abs/1611.06612

▌G-FRNet

在文中提出了 Gated Feedback Refinement Network (G-FRNet)，這是一種用于密集標記任務(wù)的端到端深度學習框架，解決了現(xiàn)有方法的局限性。最初，GFRNet 進行粗略地預測，然后通過在細化階段有效地集成局部和全局上下文信息，逐步細化細節(jié)。我們引入了控制信息前向傳遞的門控單元，以過濾歧義。

圖16：G-FRNet 架構(gòu)

門控細化單元

上述大多數(shù)架構(gòu)都依賴于從編碼器到解碼器的簡單特征，使用拼接、去池化或簡單的加和。然而，在編碼器中，從高分辨率（較難判別）層到對應(yīng)的解碼器中相應(yīng)的上采樣特征圖的信息，不確定是否對分割有用。在每個階段，通過使用門控細化反饋單元，控制從編碼器傳送到解碼器的信息流，這樣可以幫助解碼器解決歧義，并形成更相關(guān)的門控空間上下文。

另一方面，本文的實驗表明，在語義分割任務(wù)中，ResNet 是一個遠優(yōu)于 VGG16 的編碼器。這是我在以前的論文中找不到的。

論文鏈接：http://www.cs.umanitoba.ca/~ywang/papers/cvpr17.pdf

▌半監(jiān)督語義分割

DecoupledNet

與現(xiàn)有的將語義分割作為基于區(qū)域分類的單一任務(wù)的方法相反，我們的算法將分類和分割分離，并為每個任務(wù)學習一個單獨的網(wǎng)絡(luò)。在這個架構(gòu)中，通過分類網(wǎng)絡(luò)識別與圖像相關(guān)的標簽，然后在分割網(wǎng)絡(luò)中對每個識別的標簽執(zhí)行二進制分割。它通過利用從橋接層獲得的特定類的激活圖來有效地減少用于分割的搜索空間。

圖17：DecoupledNet 架構(gòu)

這也許是第一個使用全卷積網(wǎng)絡(luò)進行語義分割的半監(jiān)督方法。

關(guān)鍵特點：

分離分類和分割任務(wù)，從而使預訓練的分類網(wǎng)絡(luò)能夠即插即用（plug and play）。

分類和分割網(wǎng)絡(luò)之間的橋接層生成突出類的特征圖（k 類），然后輸入分割網(wǎng)絡(luò)，生成一個二進制分割圖（k 類）

但是，這個方法在一張圖像中分割 k 類需要傳遞 k 次。

論文鏈接：https://arxiv.org/abs/1506.04924

基于 GAN 的方法

基于生成對抗網(wǎng)絡(luò)（GANs），我們提出了一種半監(jiān)督框架，它包含一個生成器網(wǎng)絡(luò)以提供用于多類別分類器的額外訓練樣本，以此作為 GAN 框架中的判別器，從 K 個可能的類中為樣本分配一個標簽 y 或者將其標記為一個假樣本（額外的類）。為了確保 GANs 生成的圖像質(zhì)量更高，并改進像素分類，我們通過添加弱標注數(shù)據(jù)來擴展上述框架，即我們向生成器提供類級別的信息。

論文鏈接：https://arxiv.org/abs/1703.09695

圖18：弱監(jiān)督（類級別標簽） GAN

圖19：半監(jiān)督GAN

▌數(shù)據(jù)集

▌結(jié)果

圖20：FCN-8s 生成的樣本語義分割圖（使用pytorch-semseg訓練）來自 Pascal VOC 驗證集