動態(tài)蛇形卷積（Dynamic Snake Convolution）用于管狀結(jié)構(gòu)分割

簡介

管狀結(jié)構(gòu)（例如血管、道路）是臨床、自然界等各領(lǐng)域場景中十分重要的一種結(jié)構(gòu)，其的精確分割可以保證下游任務(wù)的準(zhǔn)確性與效率。然而這并不是一個簡單的任務(wù)，主要的挑戰(zhàn)源于細(xì)長微弱的局部結(jié)構(gòu)特征與復(fù)雜多變的全局形態(tài)特征。

本文關(guān)注到管狀結(jié)構(gòu)細(xì)長連續(xù)的特點，并利用這一信息在神經(jīng)網(wǎng)絡(luò)以下三個階段同時增強感知：特征提取、特征融合和損失約束。分別設(shè)計了動態(tài)蛇形卷積（Dynamic Snake Convolution），多視角特征融合策略與連續(xù)性拓?fù)浼s束損失。我們同時給出了基于 2D 和 3D 的方法設(shè)計，通過實驗證明了本文所提出的 DSCNet 在管狀結(jié)構(gòu)分割任務(wù)上提供了更好的精度和連續(xù)性。

思考

在開始介紹工作之前，我想和讀者討論下在大模型時代下，專用分割方法的價值。

隨著 SAM（Segment Anything）[1]、Universal Model [2]等一眾非常優(yōu)秀的分割基礎(chǔ)模型的提出，越來越多的分割目標(biāo)只需要在大模型的基礎(chǔ)上，直接測試或簡單微調(diào)，就能夠得到讓人十分滿意的結(jié)果。這不免讓人感到迷茫，繼續(xù)做專用分割工作是否還有價值？后續(xù)的研究方向是否是要去拼大模型？或者站在前人的肩膀上去研究如何將大模型微調(diào)到專用領(lǐng)域？

值得注意的是，仍存在一些復(fù)雜的領(lǐng)域，大模型還未能夠很好的覆蓋（也許只是時間問題）。例如偽裝目標(biāo)、非顯著性目標(biāo)，以及本文所關(guān)注的特殊管狀結(jié)構(gòu)（占比小、特征弱且分布廣）等等。同時，當(dāng)分割的對象上升到 3D 乃至 4D 的數(shù)據(jù)時，一些復(fù)雜的結(jié)構(gòu)（3D 的血管、氣管等）也困擾著大模型。當(dāng)然，一些特殊的場景，需要非常高的精度，例如臨床，1% 的誤差對于診斷都有著非常大的危險。

因此，將專用模型與大模型相結(jié)合，會促進研究發(fā)展地更快、更好。大模型關(guān)注更多的是普適性，通用性和便捷性，在此基礎(chǔ)上，大模型針對性地補充領(lǐng)域?qū)Ｓ械奶卣餍畔?，能夠更加快捷地獲得更高的精度。

挑戰(zhàn)

管狀結(jié)構(gòu)的精確提取仍然具有挑戰(zhàn)：

細(xì)長且脆弱的局部結(jié)構(gòu)。如圖 1 所示，細(xì)長的結(jié)構(gòu)僅占整個圖像的一小部分，像素的組成有限。此外，這些結(jié)構(gòu)容易受到復(fù)雜背景的干擾，因此模型很難精確分辨目標(biāo)的細(xì)微變化，從而導(dǎo)致分割出現(xiàn)破碎與斷裂。

復(fù)雜且多變的全局形態(tài)。圖 1 顯示了細(xì)長管狀結(jié)構(gòu)復(fù)雜多變的形態(tài)，即使在同一張圖像中也是如此。位于不同區(qū)域的目標(biāo)的形態(tài)變化取決于分支的數(shù)量、分叉的位置，路徑長度以及其在圖像中的位置。因此當(dāng)數(shù)據(jù)表現(xiàn)出未曾見過的形態(tài)特征時，模型傾向于過擬合到已見過的特征，無法識別未見過的特征形態(tài)，從而導(dǎo)致泛化性較弱。

動機

受到 Deformable Convolution [3] 的啟發(fā)，我們希望模型在學(xué)習(xí)特征的過程中，改變卷積核的形狀，從而關(guān)注管狀結(jié)構(gòu)的核心結(jié)構(gòu)特點。由此衍生出很多工作[4][5]，并在視網(wǎng)膜血管的分割工作中得到了應(yīng)用。然而在我們的初期實驗中發(fā)現(xiàn)，由于管狀結(jié)構(gòu)所占比例較小，模型不可避免地失去對相應(yīng)結(jié)構(gòu)的感知，卷積核完全游離在目標(biāo)以外。因此我們希望根據(jù)管狀結(jié)構(gòu)的特點來設(shè)計特定的網(wǎng)絡(luò)結(jié)構(gòu)，從而指導(dǎo)模型關(guān)注關(guān)鍵特征。

動態(tài)蛇形卷積核（DynamicSnakeConvolution,DSConv）

我們希望卷積核一方面能夠自由地貼合結(jié)構(gòu)學(xué)習(xí)特征，另一方面能夠在約束條件下不偏離目標(biāo)結(jié)構(gòu)太遠(yuǎn)。在觀察管狀結(jié)構(gòu)的細(xì)長連續(xù)的特征后，腦海里想到了一個動物——蛇。我們希望卷積核能夠像蛇一樣動態(tài)地扭動，來貼合目標(biāo)的結(jié)構(gòu)。

我們觀察一下形變卷積的操作核心 [3]：

▲ 圖3. 可形變卷積中的偏置學(xué)習(xí)

我們會發(fā)現(xiàn)，操控單個卷積核形變的所有偏置（offset），是在網(wǎng)絡(luò)中一次性全部學(xué)到的，并且閱讀其核心代碼會發(fā)現(xiàn)，對于這一個偏置只有一個范圍的約束，即感受野范圍（extend）?？刂扑械木矸e發(fā)生形變，是依賴于整個網(wǎng)絡(luò)最終的損失約束回傳，這個變化過程是相當(dāng)自由的。

完全的自由，容易讓模型丟失占比小的細(xì)小結(jié)構(gòu)特征，這對于細(xì)長管狀結(jié)構(gòu)分割任務(wù)來說，是一個巨大挑戰(zhàn)。因此，如圖 4 所示，我們以蛇來舉例，蛇的連續(xù)移動，是其頭帶動身體，一節(jié)一節(jié)如同波浪一般。因此，我們將連續(xù)性約束加入卷積核的設(shè)計中。每一個卷積位置都由其前一個位置作為基準(zhǔn)，自由選擇擺動方向，從而在自由選擇的同時確保感受的連續(xù)性。（具體的公式可以參考論文與代碼）

這樣的設(shè)計是否真的有用？我們進行了可視化驗證：

以 2D 的視網(wǎng)膜數(shù)據(jù)為例，無論血管的走向、粗細(xì)等，我們的蛇形卷積核確實能夠更好地自適應(yīng)到管狀結(jié)構(gòu)的細(xì)長結(jié)構(gòu)，并且關(guān)注到核心特征。

多視角特征融合

我們考慮到管狀結(jié)構(gòu)的走向與視角從來不是單一的，因此在設(shè)計中融合多視角特征也是必然的選擇。然而，融合更多的特征帶來的必然結(jié)果，就是更大的網(wǎng)絡(luò)負(fù)載，且如此多的特征難免會出現(xiàn)冗余，因此我們在特征融合的訓(xùn)練過程中加入了分組與隨機丟棄的策略，一定程度上緩解了網(wǎng)絡(luò)內(nèi)內(nèi)存的壓力并避免模型陷入過擬合。

基于持續(xù)同調(diào)的拓?fù)溥B續(xù)損失（TCLoss）

▲ 圖7. 基于持續(xù)同調(diào)的連續(xù)性拓?fù)浼s束

我們的目標(biāo)是構(gòu)建數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu)，并提取復(fù)雜管狀結(jié)構(gòu)中的高維關(guān)系，也就是持續(xù)同源性（Persistence Homology, PH）?；?PH 所設(shè)計的拓?fù)鋼p失函數(shù)也有很多優(yōu)秀的工作 [6][7] 已經(jīng)采用，拓?fù)浼s束確實針對這類細(xì)長且占比小的結(jié)構(gòu)非常有效，設(shè)計中所采用的推土機距離（Wasserstein Distance, WD）用來衡量點集的差異。簡單描述，WD 用來衡量的是從一種離散分布，轉(zhuǎn)變?yōu)榱硪环N離散分布需要的代價。在 [6][7] 的方法中，利用這一算法來計算點與點的最佳匹配，點集中的離散點會被匹配到對角線（剛出現(xiàn)就消失的點聚集在對角線上），因此這些離散的點不會參與損失函數(shù)的計算與約束。

假設(shè) PO 的上端存在著一個異常的離散點（橫坐標(biāo)表示出現(xiàn)的時間，縱坐標(biāo)表示消失的時間），這表明存在一個構(gòu)件直到最后才與其他構(gòu)件獲得連接從而消失。因此我們在本文中采用的是豪斯多夫距離（Hausdorff Distance, HD），HD 也是用于衡量點集相似度的一個重要算法，對離散點也非常敏感。

實驗

文中，我們使用了三個數(shù)據(jù)集，包含兩個公共數(shù)據(jù)集和一個內(nèi)部數(shù)據(jù)來驗證我們的方法。在 2D 中，我們評估了 DRIVE 視網(wǎng)膜數(shù)據(jù)集和 Massachusetts Roads 數(shù)據(jù)集。在 3D 中，我們使用了一個名為心臟 CCTA 數(shù)據(jù)的數(shù)據(jù)集（私有數(shù)據(jù)）。后續(xù)，我們也在 3D KIPA 公開數(shù)據(jù)上做了驗證，并且正在致力于用該方法測試多組公開挑戰(zhàn)賽數(shù)據(jù)集，實驗結(jié)果會在后續(xù)逐步公布。

▲圖8. 可視化結(jié)果

從可視化結(jié)果可以發(fā)現(xiàn)，我們的方法確實對管狀結(jié)構(gòu)數(shù)據(jù)有著很好的分割效果，尤其是在遙感道路數(shù)據(jù)以及冠脈血管數(shù)據(jù)上。

▲ 圖9. 量化結(jié)果

總結(jié)

我們提出的框架針對細(xì)長管狀結(jié)構(gòu)進行了相應(yīng)設(shè)計，并成功地將形態(tài)學(xué)特征與拓?fù)鋵W(xué)知識融為一體，以共同指導(dǎo)模型自適應(yīng)的分割。然而，其他形態(tài)學(xué)結(jié)構(gòu)的目標(biāo)是否也有類似的范式，并能夠通過這一方法獲得更好的性能仍然是一個有趣的話題。同時，我們也正在嘗試將其進一步優(yōu)化，能夠作為基礎(chǔ)大模型中的一個通用框架，為這類特征難以鑒別的結(jié)構(gòu)提供一種可行的范式。