第一篇綜述！分割一切模型(SAM)的全面調(diào)研

作為首個全面介紹基于 SAM 基礎模型進展的研究，本文聚焦于 SAM 在各種任務和數(shù)據(jù)類型上的應用，并討論了其歷史發(fā)展、近期進展，以及對廣泛應用的深遠影響。

人工智能（AI）正在向 AGI 方向發(fā)展，這是指人工智能系統(tǒng)能夠執(zhí)行廣泛的任務，并可以表現(xiàn)出類似于人類的智能水平，狹義上的 AI 就與之形成了對比，因為專業(yè)化的 AI 旨在高效執(zhí)行特定任務?？梢?，設計通用的基礎模型迫在眉睫?；A模型在廣泛的數(shù)據(jù)上訓練，因而能夠適應各種下游任務。最近 Meta 提出的分割一切模型（Segment Anything Model，SAM）突破了分割界限，極大地促進了計算機視覺基礎模型的發(fā)展。

SAM 是一個提示型模型，其在 1100 萬張圖像上訓練了超過 10 億個掩碼，實現(xiàn)了強大的零樣本泛化。許多研究人員認為「這是 CV 的 GPT-3 時刻，因為 SAM 已經(jīng)學會了物體是什么的一般概念，甚至是未知的物體、不熟悉的場景（如水下、細胞顯微鏡）和模糊的情況」，并展示了作為 CV 基本模型的巨大潛力。

為了充分了解 SAM，來自香港科技大學（廣州）、上海交大等機構的研究者對其進行了深入研究并聯(lián)合發(fā)表論文《 A Comprehensive Survey on Segment Anything Model for Vision and Beyond 》。

論文：https://arxiv.org/abs/2305.08196

作為首個全面介紹基于 SAM 基礎模型進展的研究，該論文聚焦于 SAM 在各種任務和數(shù)據(jù)類型上的應用，并討論了其歷史發(fā)展、近期進展，以及對廣泛應用的深遠影響。

本文首先介紹了包括 SAM 在內(nèi)的基礎模型的背景和術語，以及對分割任務有重要意義的最新方法；

然后，該研究分析并總結了 SAM 在各種圖像處理應用中的優(yōu)勢和限制，包括軟件場景、真實世界場景和復雜場景，重要的是，該研究得出了一些洞察，以指導未來的研究發(fā)展更多用途廣泛的基礎模型并改進 SAM 的架構；

最后該研究還總結了 SAM 在視覺及其他領域的應用。

下面我們看看論文具體內(nèi)容。

SAM 模型概覽

SAM 源自于 2023 年 Meta 的 Segment Anything (SA) 項目。該項目發(fā)現(xiàn)在 NLP 和 CV 領域中出現(xiàn)的基礎模型表現(xiàn)出較強的性能，研究人員試圖建立一個類似的模型來統(tǒng)一整個圖像分割任務。然而，在分割領域的可用數(shù)據(jù)較為缺乏，這與他們的設計目的不同。因此，如圖 1 所示，研究者將路徑分為任務、模型和數(shù)據(jù)三個步驟。

SAM 架構如下所示，主要包含三個部分：圖像編碼器；提示編碼器；以及掩碼解碼器。

在對 SAM 有了初步認知后，接下來該研究介紹了 SAM 用于圖像處理。

SAM 用于圖像處理

這部分主要分場景進行介紹，包括：軟件場景、真實場景以及復雜場景。

軟件場景

軟件場景需要對圖像編輯和修復進行操作，例如移除對象、填充對象和替換對象。然而，現(xiàn)有的修復工作，如 [99]、[100]、[101]、[102]，需要對每個掩碼進行精細的注釋以達到良好的性能，這是一項勞動密集型的工作。SAM [20] 可以通過簡單的提示如點或框來生成準確的掩碼，可以幫助輔助圖像編輯場景。

Inpaint Anything (IA) [39] 設計了一個流程，通過結合 SAM 的優(yōu)勢、最先進的圖像修復器 [99]，以及 AI 生成的內(nèi)容模型 [103]，來解決與修復相關的問題。這個流程如圖 3 所示。對于對象移除，該流程由 SAM 和最先進的修復器組成，如 LaMa [99]。用戶的點擊操作被用作 SAM 的提示，以生成對象區(qū)域的掩碼，然后 LaMa 使用 corrosion 和 dilation 操作進行填充。對于對象的填充和替換，第二步使用像 Stable Diffusion (SD) [103] 這樣的 AI 生成的內(nèi)容模型，通過文本提示用新生成的對象填充選定的對象。

一個類似的想法也可以在 Edit Everything [40] 中看到，如圖 4 所示，該方法允許用戶使用簡單的文本指令編輯圖像。

真實場景

研究者表示 SAM 具有協(xié)助處理許多真實世界場景的能力，例如真實世界的物體檢測、物體計數(shù)以及移動物體檢測場景。最近，[108] 對 SAM 在多種真實世界分割場景（例如，自然圖像、農(nóng)業(yè)、制造業(yè)、遙感和醫(yī)療健康場景）中的性能進行了評估。該論文發(fā)現(xiàn)，在像自然圖像這樣的常見場景中，它具有優(yōu)秀的泛化能力，而在低對比度的場景中，它的效果較差，而且在復雜場景中需要強大的先驗知識。

例如，在民用基礎設施缺陷評估的應用中，[42] 利用 SAM 來檢測混凝土結構中的裂縫，并將其性能與基線 U-Net [109] 進行比較。裂縫檢測過程如圖 6 所示。結果顯示，SAM 在檢測縱向裂縫方面表現(xiàn)優(yōu)于 UNet，這些裂縫更可能在正常場景中找到類似的訓練圖像，而在不常見的場景，即剝落裂縫方面，SAM 的表現(xiàn)不如 U-Net。

使用 SAM 和 U-Net 進行裂紋檢測的過程。圖摘自原論文 [42]。

與裂縫檢測中的復雜圖像案例不同，由于隕石坑的形狀主要集中在圓形或橢圓形，所以使用 SAM 作為檢測工具來進行隕石坑檢測更為合適。隕石坑是行星探索中最重要的形態(tài)特征之一，檢測和計數(shù)它們是行星科學中一個重要但耗時的任務。盡管現(xiàn)有的機器學習和計算機視覺工作成功地解決了隕石坑檢測中的一些特定問題，但它們依賴于特定類型的數(shù)據(jù)，因此在不同的數(shù)據(jù)源中無法很好地工作。

在 [110] 中，研究者提出了一種使用 SAM 對不熟悉對象進行零樣本泛化的通用隕石坑檢測方案。這個流程使用 SAM 來分割輸入圖像，對數(shù)據(jù)類型和分辨率沒有限制。然后，它使用圓形 - 橢圓形指數(shù)來過濾不是圓形 - 橢圓形的分割掩碼。最后，使用一個后處理過濾器來去除重復的、人為的和假陽性的部分。這個流程在當前領域顯示出其作為通用工具的巨大潛力，并且作者還討論了只能識別特定形狀的缺點。

復雜場景

除了上述的常規(guī)場景，SAM 是否能解決復雜場景（如低對比度場景）中的分割問題，也是一個有意義的問題，可以擴大其應用范圍。為了探索 SAM 在更復雜場景中的泛化能力，Ji 等人 [22] 在三種場景，即偽裝動物、工業(yè)缺陷和醫(yī)學病變中，定量地將其與尖端模型進行比較。他們在三個偽裝物體分割（COS）數(shù)據(jù)集上進行實驗，即擁有 250 個樣本的 CAMO [116]，擁有 2026 個樣本的 COD10K [117]，以及擁有 4121 個樣本的 NC4K [118]。并將其與基于 Transformer 的模型 CamoFormer-P/S [119] 和 HitNet [120] 進行比較。結果表明，SAM 在隱蔽場景中的技巧不足，并指出，潛在的解決方案可能依賴于在特定領域的先驗知識的支持。在 [29] 中也可以得出同樣的結論，作者在上述同樣的三個數(shù)據(jù)集上，將 SAM 與 22 個最先進的方法在偽裝物體檢測上進行比較。

Cao 等人 [115] 提出了一個新的框架，名為 Segment Any Anomaly + (SAA+)，用于零樣本異常分割，如圖 7 所示。該框架利用混合提示規(guī)范化來提高現(xiàn)代基礎模型的適應性，從而無需領域特定的微調(diào)就能進行更精確的異常分割。作者在四個異常分割基準上進行了詳細的實驗，即 VisA [122]，MVTecAD [123]，MTD [124] 和 KSDD2 [125]，并取得了最先進的性能。

He 等人 [126] 提出了第一種方法（WSSAM），利用 SAM 進行弱監(jiān)督隱蔽物體分割，解決了使用稀疏注釋數(shù)據(jù)分割與周圍環(huán)境融為一體的物體的挑戰(zhàn)（參見圖 8）。所提出的 WSSAM 包括基于 SAM 的偽標記和多尺度特征分組，以提高模型學習和區(qū)分隱蔽物體和背景。作者發(fā)現(xiàn)，僅使用 scribble 監(jiān)督 [127]，SAM 就可以生成足夠好的分割掩碼，以訓練分割器。

更多模型和應用：視覺及其他

視覺相關

首先是醫(yī)療成像。醫(yī)療圖像分割的目的是展示相應組織的解剖或病理結構，可以用于計算機輔助診斷和智能臨床手術。

下圖 10 為醫(yī)療圖像 SAM 概覽，包括了計算機斷層掃描（CT）圖像、磁共振成像（MRI）圖像、結腸鏡檢查圖像、多格式圖像、H&E 染色組織切片圖像等。

其次是視頻。在計算機視覺領域，視頻目標跟蹤（VOT）和視頻分割被認為是至關重要且不可或缺的任務。VOT 涉及在視頻幀中定位特定目標，然后在整個視頻的其余部分對其進行跟蹤。因此，VOT 具有各種實際應用，例如監(jiān)視和機器人技術。

SAM 在 VOT 領域做出了杰出貢獻。參考文獻 [46] 中引入了跟蹤一切模型（Track Anything Model, TAM），高效地在視頻中實現(xiàn)了出色的交互式跟蹤和分割。下圖 11 為 TAM pipeline。

此外另一個跟蹤模型為 SAMTrack，詳見參考文獻 [172]。SAMTrack 是一種視頻分割框架，可通過交互和自動的方法實現(xiàn)目標跟蹤和分割。下圖 12 為 SAMTrack 的 pipeline。

下圖 13 為一個輕量級 SAM 指導的優(yōu)化模塊（SAM-guided refinement module, SEEM），用于提升現(xiàn)有方法的性能。

接著是數(shù)據(jù)注釋。SAMText [180] 是一種用于視頻中場景文本掩碼注釋的可擴展 pipeline。它利用 SAM 在大型數(shù)據(jù)集 SAMText-9M 上生成掩碼注釋，該數(shù)據(jù)集包含超過 2,400 個視頻片段和超過 900 萬個掩碼注釋。

此外參考文獻 [143] 利用現(xiàn)有遙感目標檢測數(shù)據(jù)集和以數(shù)據(jù)為中心的機器學習模型 SAM，構建了一個大規(guī)模遙感圖像分割數(shù)據(jù)集 SAMRS，包含目標分類、位置和實例信息，可以用于語義分割、實例分割和目標檢測研究。

視覺之外

首先是 3D 重建。除了實現(xiàn)細粒度的 3D 分割，SA3D [183] 可以用于 3D 重建。利用 3D 掩碼網(wǎng)格，研究者可以確定物體在 3D 中的占用空間，并以各種方式重建。下圖 14 為 SA3D 的整體 pipeline。

參考文獻 [186] 提出了一種新的對象移除 pipeline ORNeRF，它使用單個視圖上的點或文本 prompt 從 3D 場景中移除對象。通過使用點投影策略將用戶注釋快速傳播給所有視圖，該方法使用比以往工作更少的時間實現(xiàn)了更好的性能。下圖 15 為 ORNeRF 的框架。

其次是非歐式域。為了為不同任務處理不同特征維度，下圖 16 中所示的 SNA 方法引入了一個專門的可精簡圖卷積層。該層可以根據(jù)輸入的特征維度進行通道的動態(tài)激活或停用。

然后是機器人。下圖 17 展示了 Instruct2Act [190] 的整體流程。在感知部分，預定義的 API 用于訪問多個基礎模型。SAM [20] 準確定位候選對象，CLIP [13] 對它們進行分類。該框架利用基礎模型的專業(yè)知識和機器人能力將復雜的高級指令轉換為精確的策略代碼。

接著是視頻文本定位。下圖 18 展示了一種為視頻文本定位任務生成掩碼注釋的可擴展高效解決方案 SAMText [180]。通過將 SAM 模型應用于邊界框注釋，它可以為大規(guī)模視頻文本數(shù)據(jù)集生成掩碼注釋。

此外還有圖像字幕。Wang et al. [44] 提出了一種用于可控圖像字幕的方法 Caption Anything（CAT），如下圖 20 所示，CAT 的框架將多模態(tài)控制引入圖像字幕，呈現(xiàn)符合人類意圖的各種視覺焦點和語言風格。

視聽也有涉及。參考文獻 [45] 的視聽定位和分割方法用于學習可以對齊音頻和視覺信息的跨模態(tài)表示，具體如下圖 21 所示。AV-SAM 利用預訓練音頻編碼器和圖像編碼器中跨音頻和視覺特征的像素級視聽融合來聚合跨模態(tài)表示。然后將聚合的跨模態(tài)特征輸入 prompt 編碼器和掩碼解碼器，生成最終的視聽分割掩碼。

最后是多模態(tài)視覺和開放詞匯交互分割。參考文獻 [44] 的方法如下圖 22 所示，旨在使用僅文本輸入的 CLIP 策略來完全取代手動點（manual point）。這種方法提供來自文本輸入的像素級結果，可以很容易地轉換為 SAM 模型的點 prompt。

結語

本文首次全面回顧了計算機視覺及其他領域 SAM 基礎模型的研究進展。首先總結了基礎模型（大語言模型、大型視覺模型和多模態(tài)大模型）的發(fā)展歷史以及 SAM 的基本術語，并著重于 SAM 在各種任務和數(shù)據(jù)類型中的應用，總結和比較了 SAM 的并行工作及其后續(xù)工作。研究者還討論 SAM 在廣泛的圖像處理應用中的巨大潛力，包括軟件場景、真實世界場景和復雜場景。

此外，研究者分析和總結了 SAM 在各種應用程序中的優(yōu)點和局限性。這些觀察結果可以為未來開發(fā)更強大的基礎模型和進一步提升 SAM 的穩(wěn)健性和泛化性提供一些洞見。文章最后總結了 SAM 在視覺和其他領域的大量其他令人驚嘆的應用。

審核編輯 ：李倩