哈工大提出Myriad：利用視覺專家進(jìn)行工業(yè)異常檢測的大型多模態(tài)模型

一句話總結(jié)

通過應(yīng)用視覺專家進(jìn)行工業(yè)異常檢測，以實現(xiàn)明確的異常檢測和高質(zhì)量的異常描述，還可進(jìn)行多輪對話，性能表現(xiàn)出色！優(yōu)于AnomalyGPT等網(wǎng)絡(luò)，代碼即將開源！

Myriad

Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection

單位：哈工大(左旺孟團(tuán)隊), 琶洲實驗室

論文：https://arxiv.org/abs/2310.19070

代碼：https://github.com/tzjtatata/Myriad

現(xiàn)有的工業(yè)異常檢測（IAD）方法可以預(yù)測異常檢測和定位的異常分?jǐn)?shù)。然而，它們很難對異常區(qū)域進(jìn)行多輪對話和詳細(xì)描述，例如工業(yè)異常的顏色、形狀和類別。

最近，大型多模態(tài)（即視覺和語言）模型（LMM）在圖像描述、視覺理解、視覺推理等多種視覺任務(wù)上表現(xiàn)出了卓越的感知能力，使其成為更易于理解的異常檢測的有競爭力的潛在選擇。然而，現(xiàn)有的通用 LMM 中缺乏有關(guān)異常檢測的知識，而訓(xùn)練特定的 LMM 進(jìn)行異常檢測需要大量的注釋數(shù)據(jù)和大量的計算資源。

本文提出了一種新穎的大型多模態(tài)模型，通過應(yīng)用視覺專家進(jìn)行工業(yè)異常檢測（稱為Myriad），從而實現(xiàn)明確的異常檢測和高質(zhì)量的異常描述。

具體來說，采用 MiniGPT-4 作為基礎(chǔ) LMM，并設(shè)計一個專家感知模塊，將視覺專家的先驗知識嵌入到大型語言模型（LLM）可以理解的標(biāo)記中。

為了彌補(bǔ)視覺專家的錯誤和困惑，引入了域適配器來彌合通用圖像和工業(yè)圖像之間的視覺表示差距。此外，提出了一個視覺專家講師，它使 Q-Former 能夠根據(jù)視覺專家先驗生成 IAD 領(lǐng)域視覺語言標(biāo)記。

實驗結(jié)果

在MVTec-AD 和 VisA 基準(zhǔn)上的大量實驗表明，本文提出的方法不僅在 1-class 和少樣本設(shè)置下比最先進(jìn)的方法表現(xiàn)更好，而且還提供了明確的異常預(yù)測以及 IAD 中的詳細(xì)描述領(lǐng)域。