智能遙感：AI賦能遙感技術(shù)

隨著人工智能的發(fā)展和落地應(yīng)用，以地理空間大數(shù)據(jù)為基礎(chǔ)，利用人工智能技術(shù)對(duì)遙感數(shù)據(jù)智能分析與解譯成為未來(lái)發(fā)展趨勢(shì)。本文以遙感數(shù)據(jù)轉(zhuǎn)化過(guò)程中對(duì)觀測(cè)對(duì)象的整體觀測(cè)、分析解譯與規(guī)律挖掘?yàn)橹骶€，通過(guò)綜合國(guó)內(nèi)外文獻(xiàn)和相關(guān)報(bào)道，梳理了該領(lǐng)域在遙感數(shù)據(jù)精準(zhǔn)處理、遙感數(shù)據(jù)時(shí)空處理與分析、遙感目標(biāo)要素分類識(shí)別、遙感數(shù)據(jù)關(guān)聯(lián)挖掘以及遙感開源數(shù)據(jù)集和共享平臺(tái)等方面的研究現(xiàn)狀和進(jìn)展。首先，針對(duì)遙感數(shù)據(jù)精準(zhǔn)處理任務(wù)，從光學(xué)、SAR等遙感數(shù)據(jù)成像質(zhì)量提升和低質(zhì)圖像重建兩個(gè)方面對(duì)精細(xì)化處理研究進(jìn)展進(jìn)行了回顧，并從遙感圖像的局部特征匹配和區(qū)域特征匹配兩個(gè)方面對(duì)定量化提升研究進(jìn)展進(jìn)行了回顧。其次，針對(duì)遙感數(shù)據(jù)時(shí)空處理與分析任務(wù)，從遙感影像時(shí)間序列修復(fù)和多源遙感時(shí)空融合兩個(gè)方面對(duì)其研究進(jìn)展進(jìn)行了回顧。再次，針對(duì)遙感目標(biāo)要素分類識(shí)別任務(wù)，從典型地物要素提取和多要素并行提取兩個(gè)方面對(duì)其研究進(jìn)展進(jìn)行了回顧。最后，針對(duì)遙感數(shù)據(jù)關(guān)聯(lián)挖掘任務(wù)，從數(shù)據(jù)組織關(guān)聯(lián)、專業(yè)知識(shí)圖譜構(gòu)建兩個(gè)方面對(duì)其研究進(jìn)展進(jìn)行了回顧。

除此之外，面向大智能分析技術(shù)發(fā)展需求，本文還對(duì)遙感開源數(shù)據(jù)集和共享平臺(tái)方面的研究進(jìn)展進(jìn)行了回顧。在此基礎(chǔ)上，對(duì)遙感數(shù)據(jù)智能分析與解譯的研究情況進(jìn)行梳理、總結(jié)，給出了該領(lǐng)域的未來(lái)發(fā)展趨勢(shì)與展望。

引言

近幾年來(lái)，國(guó)內(nèi)外人工智能的發(fā)展和落地應(yīng)用如火如荼，促成這種現(xiàn)象的原因可以歸納為兩個(gè)關(guān)鍵詞，即“大數(shù)據(jù)”與“高算力”。在地理空間數(shù)據(jù)分析與應(yīng)用領(lǐng)域，這種變化也正在發(fā)生著，比如在國(guó)家高分辨率對(duì)地觀測(cè)重大科技專項(xiàng)（簡(jiǎn)稱“高分專項(xiàng)”）等國(guó)家重大任務(wù)的推動(dòng)下，我們可獲取的地理空間數(shù)據(jù)越來(lái)越多，另外，以“云+端”架構(gòu)為代表的高性能計(jì)算框架也在不斷發(fā)展，促進(jìn)了算力的提升。在此背景下，以地理空間大數(shù)據(jù)為基礎(chǔ)，利用人工智能技術(shù)挖掘其深層信息、賦予其更多的應(yīng)用模式，將成為未來(lái)地理空間數(shù)據(jù)分析應(yīng)用領(lǐng)域發(fā)展的長(zhǎng)期主題。

發(fā)展遙感數(shù)據(jù)智能分析技術(shù)的目的是將長(zhǎng)期積累的遙感數(shù)據(jù)轉(zhuǎn)化為對(duì)觀測(cè)對(duì)象的整體觀測(cè)、分析、解譯，獲取豐富準(zhǔn)確的屬性信息，挖掘目標(biāo)區(qū)域的演化規(guī)律，主要包括遙感數(shù)據(jù)精準(zhǔn)處理、遙感數(shù)據(jù)時(shí)空處理與分析、遙感目標(biāo)要素分類識(shí)別、遙感數(shù)據(jù)關(guān)聯(lián)挖掘等。此外，面向大智能分析技術(shù)發(fā)展需求，遙感開源數(shù)據(jù)集和共享平臺(tái)方面也取得了顯著進(jìn)展（陳述彭等， 2000; 宮輝力等， 2005）。

遙感數(shù)據(jù)精準(zhǔn)處理方面，遙感數(shù)據(jù)精準(zhǔn)處理的目的是對(duì)傳感器獲取的光譜反射或雷達(dá)散射數(shù)據(jù)進(jìn)行成像處理和定標(biāo)校正，恢復(fù)為與地物觀測(cè)對(duì)象某些信息維度精確關(guān)聯(lián)的圖像產(chǎn)品。傳統(tǒng)方法需要根據(jù)衛(wèi)星、傳感器、傳輸環(huán)境、地形地表等先驗(yàn)?zāi)Ｐ?，以及外?chǎng)定標(biāo)試驗(yàn)獲取定標(biāo)參數(shù)，建立精確的成像模型將觀測(cè)數(shù)據(jù)映射為圖像產(chǎn)品。隨著傳感器新技術(shù)的發(fā)展和分辨率等性能的提升，先驗(yàn)?zāi)Ｐ偷慕⒃絹?lái)越困難，外場(chǎng)定標(biāo)的難度和消耗也越來(lái)越大，并且成像處理和定標(biāo)校正獲取的模型和參數(shù)與傳感器的耦合，只能以一星一議的方式實(shí)現(xiàn)，無(wú)法多星一體化實(shí)現(xiàn)。如何在傳統(tǒng)方法的基礎(chǔ)上，構(gòu)建觀測(cè)數(shù)據(jù)到精準(zhǔn)圖像產(chǎn)品的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)置面向不同應(yīng)用的圖像優(yōu)化指標(biāo)體系，以大量歷史數(shù)據(jù)和標(biāo)注結(jié)果作為輸入，實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)傳感器物理模型和參數(shù)的精確重構(gòu)和逼近，形成基于人工智能技術(shù)的多星一體化遙感圖像精準(zhǔn)處理能力。

遙感數(shù)據(jù)時(shí)空處理與分析方面，多時(shí)相影像相比單一時(shí)相的遙感影像，能夠進(jìn)一步展示地表的動(dòng)態(tài)變化和揭示地物的演化規(guī)律。然而，一方面受限于遙感自身的時(shí)間分辨率與空間分辨率之間的不可兼得；另一方面受氣象、地形等成像條件的影響，光學(xué)傳感器獲取的遙感影像往往被云層及其陰影覆蓋（特別是在多云多雨地區(qū)，如我國(guó)西南地區(qū)），而難以獲取真實(shí)的地面信息。這樣的數(shù)據(jù)缺失，嚴(yán)重限制了遙感影像的應(yīng)用；特別是對(duì)于多時(shí)相影像的遙感應(yīng)用（如森林退化、作物生長(zhǎng)、城市擴(kuò)張和濕地流失等監(jiān)測(cè)），云層及其陰影所導(dǎo)致的數(shù)據(jù)缺失將延長(zhǎng)影像獲取的時(shí)間間隔、造成時(shí)序間隔不規(guī)則的問(wèn)題，加大后續(xù)時(shí)間序列處理與分析的難度。因此，進(jìn)行遙感影像的時(shí)間與空間維度的處理與分析對(duì)提高遙感影像數(shù)據(jù)的可用性、時(shí)間序列分析水平和遙感應(yīng)用的深度廣度具有重要意義。

遙感目標(biāo)要素分類識(shí)別方面，遙感數(shù)據(jù)中一般包含大量噪聲，大多數(shù)現(xiàn)有的處理分析方法并未充分利用計(jì)算機(jī)強(qiáng)大的自主學(xué)習(xí)能力，依賴的信息獲取和計(jì)算手段較為有限，很難滿足準(zhǔn)確率、虛警率等性能要求。如何在傳統(tǒng)的基于人工數(shù)學(xué)分析的方法基礎(chǔ)上，結(jié)合人工智能方法，定量描述并分析遙感數(shù)據(jù)中目標(biāo)模型失真和背景噪聲干擾對(duì)于解譯精度的影響機(jī)理，是遙感智能分析面臨的另一項(xiàng)關(guān)鍵科學(xué)問(wèn)題。通過(guò)該問(wèn)題的分析與發(fā)展，有望實(shí)現(xiàn)構(gòu)建一個(gè)基于深度學(xué)習(xí)的多源遙感數(shù)據(jù)自動(dòng)化分析框架，在統(tǒng)一框架下有機(jī)融合模型、算法和知識(shí)，提升遙感數(shù)據(jù)中目標(biāo)要素提取和識(shí)別的智能化水平。

遙感數(shù)據(jù)關(guān)聯(lián)挖掘方面，隨著遙感大數(shù)據(jù)時(shí)代的到來(lái)，我們可以更方便地獲取高分辨率和高時(shí)間采集頻率的遙感數(shù)據(jù)，對(duì)于目標(biāo)信息的需求，也由目標(biāo)靜態(tài)解譯信息，拓展到全維度的綜合認(rèn)知與預(yù)測(cè)分析。為了滿足上述需求，基于海量多源異構(gòu)遙感數(shù)據(jù)，實(shí)現(xiàn)時(shí)間、空間等多維度的信息快速關(guān)聯(lián)組織與分析，是未來(lái)遙感解譯技術(shù)發(fā)展的重要方向。

遙感開源數(shù)據(jù)集和共享平臺(tái)方面，大多數(shù)現(xiàn)有數(shù)據(jù)集仍然存在數(shù)據(jù)規(guī)模較小、缺乏遙感特性的問(wèn)題，并且現(xiàn)有深度學(xué)習(xí)平臺(tái)難以有效支撐遙感特性及應(yīng)用，領(lǐng)域內(nèi)數(shù)據(jù)集算法模型的準(zhǔn)確性、實(shí)用性、智能化程度也待進(jìn)一步提高。如何結(jié)合遙感數(shù)據(jù)特性，建設(shè)更具遙感特色的開源數(shù)據(jù)集和共享平臺(tái)，是遙感智能生態(tài)建設(shè)的一項(xiàng)重要研究?jī)?nèi)容。本文主要圍繞上述五個(gè)方面的研究，論述遙感智能分析技術(shù)的發(fā)展現(xiàn)狀、前沿動(dòng)態(tài)、熱點(diǎn)問(wèn)題和未來(lái)趨勢(shì)。

01國(guó)際研究現(xiàn)狀

1.1遙感數(shù)據(jù)精準(zhǔn)處理

利用智能手段開展數(shù)據(jù)預(yù)處理技術(shù)，國(guó)外將智能技術(shù)用于遙感數(shù)據(jù)（光學(xué)、SAR、光譜）配準(zhǔn)、校正等的工作。

1.1.1光學(xué)/SAR 精細(xì)化處理

遙感圖像為遙感應(yīng)用分析提供了數(shù)據(jù)基礎(chǔ)，可廣泛應(yīng)用于農(nóng)林監(jiān)測(cè)、城市規(guī)劃、軍事偵察等領(lǐng)域，遙感數(shù)據(jù)質(zhì)量是決定其應(yīng)用性能的關(guān)鍵。評(píng)價(jià)遙感數(shù)據(jù)質(zhì)量的指標(biāo)包括圖像時(shí)間/空間分辨率、圖像幅寬、空間特征、光譜特征、輻射幾何精度等。高質(zhì)量遙感影像具有高分辨率、高信噪比等特點(diǎn)。提升遙感影像質(zhì)量的方法可大致分為兩類，一是改進(jìn)傳統(tǒng)成像算法聚焦得到高質(zhì)量圖像；二是將已有的低質(zhì)量的圖像通過(guò)去噪去云以及超分辨率重建等技術(shù)得到高分辨率高質(zhì)量圖像。與傳統(tǒng)的 SAR成像算法比較，基于深度學(xué)習(xí)的SAR 成像算法可以簡(jiǎn)化成像過(guò)程。Rittenbach等人（2020）提出 RDAnet 神經(jīng)網(wǎng)絡(luò)從原始雷達(dá)回波數(shù)據(jù)訓(xùn)練聚焦得到SAR圖像，網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練可以匹配距離多普勒算法的性能，算法將SAR成像問(wèn)題處理為監(jiān)督學(xué)習(xí)問(wèn)題，RDAnet是第一個(gè)基于深度學(xué)習(xí)的SAR 成像算法。Gao等人（2019）提出了一種基于深度網(wǎng)絡(luò)的線譜估計(jì)方法，并將其應(yīng)用于三維 SAR成像，大大加快了成像過(guò)程。Pu（2021）提出了一種深度 SAR 成像算法，減少了 SAR 的采樣量，并且提出了一種基于深度學(xué)習(xí)的 SAR 運(yùn)動(dòng)補(bǔ)償方法，可以有效地消除運(yùn)動(dòng)誤差的影響。僅依賴遙感衛(wèi)星載荷能力推動(dòng)圖像分辨率提升，使得高分辨率圖像成本大幅提高，給遙感圖像大規(guī)模應(yīng)用力帶來(lái)困難。以超分辨、圖像重構(gòu)等為代表的圖像級(jí)和信號(hào)級(jí)處理方法為遙感圖像分辨率和質(zhì)量提升提供了另一種可行的技術(shù)途徑。Wei 等人（2021）提出了基于 MC-ADM 和基于 PSRI-Net 的兩種參數(shù)化超分辨率 SAR 圖像重建方法，根據(jù)預(yù)先設(shè)計(jì)的損耗，深度網(wǎng)絡(luò)通過(guò)端到端訓(xùn)練來(lái)學(xué)習(xí)，可應(yīng)用于得到高質(zhì)量 SAR 超分辨率圖像的參數(shù)估計(jì)。Luo 等人（2019）提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的SAR 圖像超分辨率重建的方法，針對(duì)浮點(diǎn)圖像數(shù)據(jù)采用深度學(xué)習(xí)對(duì) SAR 圖像進(jìn)行重建，可以更好地重建SAR圖像。針對(duì)非生成對(duì)抗網(wǎng)絡(luò)在光學(xué)遙感圖像超分辨重建以及噪聲去除中出現(xiàn)的信息損失和對(duì)比度降低的問(wèn)題，F(xiàn)eng（2020）提出了利用生成對(duì)抗網(wǎng)絡(luò)對(duì)小波變換域光學(xué)遙感圖像進(jìn)行超分辨重建以及噪聲去除的方法。Xiong（2021）提出了一種適應(yīng)于遙感圖像超分辨的改進(jìn)超分辨率生成對(duì)抗網(wǎng)絡(luò)（Super-resolution GAN， SRGAN），增強(qiáng)了模型在跨區(qū)域和傳感器的遷移能力。Bai 等人（2021）提出一種改進(jìn)的密集連接網(wǎng)絡(luò)遙感圖像超分辨重建算法。Dong等（2020）提出了一種改進(jìn)的反投影網(wǎng)絡(luò)實(shí)現(xiàn)遙感圖像的超分辨率重建。Tao（2020）提出了一種以 DPSRResNet 作為其超級(jí)解析器的 DPSR 框架的遙感圖像超分辨重建算法。Yang 等（2020）提出了一種多尺度深度殘差網(wǎng)絡(luò)（MDRN）用于從遙感圖像中去除云。Wang 等（2021）構(gòu)建了 SAR 輔助下光學(xué)圖像去云數(shù)據(jù)庫(kù)，建立了基于條件生成對(duì)抗網(wǎng)絡(luò)的 SAR 輔助下的光學(xué)遙感圖像去云模型，實(shí)現(xiàn)了SAR輔助下光學(xué)圖像薄云、霧、厚云等覆蓋下地物信息的有效復(fù)原與重建。

目前，人工智能在遙感數(shù)據(jù)處理和圖像質(zhì)量提升方面的應(yīng)用主要得益于機(jī)器學(xué)習(xí)技術(shù)的引入。基于GAN 網(wǎng)絡(luò)的方法試圖利用生成器克服原始高分辨率遙感圖像難以獲取的問(wèn)題，另一些無(wú)監(jiān)督的學(xué)習(xí)方法則通過(guò)學(xué)習(xí)圖像質(zhì)量退化前后關(guān)系試圖獲取原始的高分辨率遙感圖像。由于遷移學(xué)習(xí)可以從其它域樣本中獲得先驗(yàn)信息，并且在目標(biāo)域中進(jìn)一步優(yōu)化，借鑒遷移學(xué)習(xí)和零樣本學(xué)習(xí)的思路可以嘗試解決遙感圖像質(zhì)量提升的問(wèn)題。由于作用距離遠(yuǎn)，遙感圖像分辨率和清晰度相對(duì)于自然圖像仍有一定的差距，這導(dǎo)致遙感圖像細(xì)節(jié)丟失相對(duì)較為嚴(yán)重。

為了從遙感圖像中獲取更為豐富的信息，需要對(duì)遙感圖像空間特征進(jìn)行提?。ㄗ⒁饬C(jī)制、局部-全局聯(lián)合特征提取等），需要對(duì)遙感圖像目視效果進(jìn)行可視化增強(qiáng)（邊緣增強(qiáng)、小波變換等）。此外，面向圖像細(xì)節(jié)特征解譯的需求，還需要對(duì)遙感圖像中的弱小目標(biāo)和細(xì)微結(jié)構(gòu)進(jìn)行檢測(cè)、提取和增強(qiáng)（弱小目標(biāo)檢測(cè)等），提升遙感圖像中細(xì)節(jié)缺失造成的信息損失。

1.1.2光學(xué)/SAR 定量化提升

可見光、SAR、高光譜等遙感圖像的定量化提升主要體現(xiàn)在幾何、輻射、光譜、極化等幾個(gè)方面，通過(guò)尋找穩(wěn)定點(diǎn)來(lái)消除成像過(guò)程中產(chǎn)生的畸變，改善圖像質(zhì)量，使數(shù)據(jù)產(chǎn)品能夠定量化反映地物的真實(shí)信息，以達(dá)到定量化提升的效果。在國(guó)際主流研究中，神經(jīng)網(wǎng)絡(luò)技術(shù)主要被應(yīng)用在提升圖像匹配精度方面，并以此帶動(dòng)幾何定位精度定量化提升。得益于機(jī)器學(xué)習(xí)方法的引進(jìn)，遙感圖像匹配技術(shù)獲得了系統(tǒng)性發(fā)展，匹配精度獲得了顯著進(jìn)步。典型的兩種方法為局部特征點(diǎn)匹配方法和區(qū)域匹配方法。與全局特征相比，局部特征點(diǎn)與遙感圖像獲取的大場(chǎng)景松耦合，對(duì)大場(chǎng)景的仿射變化、輻射/亮度變化噪聲水平不敏感。目前，基于特征點(diǎn)匹配的遙感圖像質(zhì)量提升技術(shù)取得了一系列研究成果。典型的特征點(diǎn)匹配包括關(guān)鍵點(diǎn)檢測(cè)和描述子提取兩個(gè)部分。深度學(xué)習(xí)應(yīng)用于局部特征點(diǎn)匹配可以分成三個(gè)階段，形成了三類代表性方法。第一類方法重點(diǎn)關(guān)注和解決關(guān)鍵點(diǎn)檢測(cè)問(wèn)題，即如何檢測(cè)得到特征點(diǎn)的方向、位置、以及尺度信息。關(guān)鍵點(diǎn)檢測(cè)中響應(yīng)圖的構(gòu)建是重點(diǎn)，關(guān)鍵點(diǎn)檢測(cè)的數(shù)量和準(zhǔn)確性依賴于特征準(zhǔn)確、信息豐富的響應(yīng)圖。Savinov 等人（2017）提出了無(wú)監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，該方法首先將遙感圖像目標(biāo)像素點(diǎn)映射為實(shí)值響應(yīng)圖，進(jìn)而排列得到響應(yīng)值序列，響應(yīng)序列的頂部/底部像素點(diǎn)即可以視為關(guān)鍵點(diǎn)。Ma 等人（2019b）采用由粗到細(xì)的策略，先用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)計(jì)算近似空間關(guān)系，然后在基于局部特征的匹配方法中引入考慮空間關(guān)系的匹配策略，同時(shí)保證了精度和魯棒性。第二類方法重點(diǎn)關(guān)注和解決描述子提取問(wèn)題，即用一組特征向量表示描述子，描述子代表了特征點(diǎn)的信息，可以通過(guò)端到端訓(xùn)練獲得描述子。描述子訓(xùn)練是獲得高精度匹配結(jié)果的關(guān)鍵。Simo-Serra 等人（2015）提出了 Deep-Desc 特征點(diǎn)描述子提取方法，該方法中神經(jīng)網(wǎng)絡(luò)采用了 Siamese 結(jié)構(gòu)（Chopra等， 2005），構(gòu)造了一種 128 維的描述子，應(yīng)用于具有一定差異性的圖像對(duì)匹配問(wèn)題，通過(guò)比較描述子歐氏距離對(duì)圖像間描述子的相似性進(jìn)行衡量。第三類方法關(guān)注于聯(lián)合訓(xùn)練關(guān)鍵點(diǎn)檢測(cè)模塊和描述子提取模塊。關(guān)鍵點(diǎn)檢測(cè)和描述子提取兩個(gè)模塊的協(xié)同工作和聯(lián)合訓(xùn)練是該方法重點(diǎn)解決的難點(diǎn)。Yi 等人（2016）提出了基于 LIFT 網(wǎng)絡(luò)的聯(lián)合訓(xùn)練，是最早解決關(guān)鍵點(diǎn)檢測(cè)和描述子提取的聯(lián)合訓(xùn)練的網(wǎng)絡(luò)之一。LIFT 網(wǎng)絡(luò)的輸入是以 SIFT 特征點(diǎn)（Lowe， 2004）所在圖像塊，LIFT 網(wǎng)絡(luò)的關(guān)鍵點(diǎn)檢測(cè)效果也與 SIFT算法類似，魯棒性較好。Ono 等人（2018）提出的LF-Net，采用 Siamese 結(jié)構(gòu)訓(xùn)練整個(gè)網(wǎng)絡(luò)，通過(guò)深層特征提取網(wǎng)絡(luò)產(chǎn)生特征圖。Shen 等人（2019）以LF-Net 為的基礎(chǔ)，提出了基于感受野的 RF-Net 匹配網(wǎng)絡(luò)，該網(wǎng)絡(luò)實(shí)現(xiàn)關(guān)鍵點(diǎn)檢測(cè)時(shí)保留了遙感圖像低層特征、部分保留了遙感圖像高層特征，在描述子提取中采用了與 Hard-Net（Mishchuk 等， 2017）一致的網(wǎng)絡(luò)結(jié)構(gòu)。與局部特征點(diǎn)相比，區(qū)域特征對(duì)整體性表征更加完整，對(duì)區(qū)域形變、區(qū)域變化等的穩(wěn)定性更好。傳統(tǒng)區(qū)域特征匹配技術(shù)的代表為模板匹配方法。深度學(xué)習(xí)應(yīng)用于區(qū)域特征匹配形成了兩類代表性方法。第一類方法的核心思想是用分類技術(shù)解決匹配問(wèn)題。Han 等人（2015）利用 MatchNet 提取圖像區(qū)域特征，將三個(gè)全連接層得到特征的相似性作為輸出，對(duì)輸出采用概率歸一化處理（Softmax）進(jìn)行分類匹配。Zagoruko 等人（2015）重點(diǎn)解決了對(duì)光照變化、觀測(cè)角度具有很好適應(yīng)性的區(qū)域特征提取問(wèn)題，提出了基于DeepCompare 網(wǎng)絡(luò)的區(qū)域特征提取方法，該方法的匹配性能對(duì)于不同時(shí)間空間獲取的遙感圖像具有極佳的穩(wěn)定性。第二類方法的核心思想是構(gòu)建合適的描述子解決區(qū)域特征匹配問(wèn)題。Tian 等人（2017）提出了一種 L2-Net網(wǎng)絡(luò)的區(qū)域匹配方，該網(wǎng)絡(luò)生成了128 維的描述子，在迭代次數(shù)較少的約束下，利用遞進(jìn)采樣策略，對(duì)百萬(wàn)量級(jí)的訓(xùn)練樣本進(jìn)行遍歷學(xué)習(xí)，并通過(guò)額外引入監(jiān)督提高學(xué)習(xí)效率，該網(wǎng)絡(luò)泛化能力較好。

可見，深度學(xué)習(xí)網(wǎng)絡(luò)的引入在特征提取、關(guān)鍵點(diǎn)檢測(cè)和描述子提取等多方面優(yōu)化了遙感圖像匹配能力?？紤]到深度學(xué)習(xí)網(wǎng)絡(luò)的持續(xù)研究，網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練方式的更新和進(jìn)步有望進(jìn)一步提升遙感圖像匹配精度，基于深度學(xué)習(xí)的遙感圖像匹配算法仍然具有相當(dāng)?shù)难芯績(jī)r(jià)值和應(yīng)用前景。

除了幾何質(zhì)量定量化提升外，還有少數(shù)研究學(xué)者開展了利用神經(jīng)網(wǎng)絡(luò)技術(shù)在輻射、光譜、極化定量化提升方面的研究工作。楊進(jìn)濤等人（2019）提出了一種基于海量 SAR 數(shù)據(jù)進(jìn)行地物散射穩(wěn)定特性的分析與挖掘，并成功在普通地物中找到一種統(tǒng)計(jì)意義下穩(wěn)定的散射特征量用作定標(biāo)參考，從而為SAR 系統(tǒng)的常態(tài)化輻射定標(biāo)奠定初步的技術(shù)基礎(chǔ)。Jiang 等人（2018）考慮到極化觀測(cè)過(guò)程中會(huì)受到多種誤差的影響，造成極化測(cè)量失真，影響數(shù)據(jù)的極化應(yīng)用性能，提出一種利用普遍分布的地物進(jìn)行串?dāng)_和幅相不平衡的定量評(píng)價(jià)方法，該方法不受時(shí)間和空間限制，能夠?qū)崿F(xiàn)大量數(shù)據(jù)極化校正性能的實(shí)時(shí)、便捷評(píng)估，對(duì)極化數(shù)據(jù)質(zhì)量進(jìn)行長(zhǎng)期監(jiān)測(cè)。和幾何定量化提升不同，神經(jīng)網(wǎng)絡(luò)技術(shù)在這些領(lǐng)域還沒有大量的、深入的應(yīng)用，為后續(xù)進(jìn)一步進(jìn)行系統(tǒng)性、規(guī)模化研究提供了指導(dǎo)方向。

1.2遙感數(shù)據(jù)時(shí)空處理與分析

近年來(lái)，陸續(xù)開展多源遙感時(shí)間與空間協(xié)同處理與分析方面開展研究工作，力求實(shí)現(xiàn)多源數(shù)據(jù)間互補(bǔ)協(xié)同、融合重建，提高遙感時(shí)空分析的能力

1.2.1遙感影像時(shí)間序列修復(fù)

研究人員構(gòu)建了大量的時(shí)間序列遙感影像修復(fù)和重建的方法。根據(jù)修復(fù)所用參考數(shù)據(jù)的不同，這些方法大致可以分為三類：基于影像本身的修補(bǔ)方法（self-complementation-based）、基于參考影像的修補(bǔ)方法（reference-complementation-based）和基于多時(shí)相影像的修補(bǔ)方法（multi-temporal-complementation-based）?；谟跋癖旧淼男迯?fù)方法利用同一影像上無(wú)云/影覆蓋區(qū)域的數(shù)據(jù)來(lái)修補(bǔ)被云/影覆蓋區(qū)域的缺失數(shù)據(jù)；假設(shè)影像中數(shù)據(jù)缺失區(qū)域與剩余區(qū)域具有相似或相同的統(tǒng)計(jì)與幾何紋理結(jié)構(gòu)，通過(guò)傳播局部或非局部無(wú)云區(qū)域的幾何結(jié)構(gòu)來(lái)重建云/影區(qū)域的缺失數(shù)據(jù)。依據(jù)空間插值與誤差傳播理論，缺失像素插值（missingpixel interpolation）、影像修補(bǔ)（image inpainting）和模型擬合（model fitting）等多種方法被廣泛應(yīng)用于云影區(qū)域的數(shù)據(jù)重建。雖然能夠重建出貌似真實(shí)的影像區(qū)域，但這些方法對(duì)云/影覆蓋下地物的類型非常敏感，其修補(bǔ)數(shù)據(jù)也不適用于進(jìn)一步的數(shù)據(jù)分析；并且由于不確定性和誤差隨著傳播而積累，這些方法很難修復(fù)大區(qū)域或異質(zhì)缺失數(shù)據(jù)。為了克服基于影像本身修補(bǔ)方法的瓶頸，Chen 等人（2016）提出了通過(guò)模擬參考影像與云/影覆蓋影像之間映射與轉(zhuǎn)換關(guān)系的基于參考影像修補(bǔ)方法；這類方法依賴于不同光譜數(shù)據(jù)之間的強(qiáng)相關(guān)性，利用多光譜或高光譜影像中對(duì)云不敏感的光譜波段來(lái)重建被云/影覆蓋區(qū)域其他波段的缺失數(shù)據(jù)。比如利用 MODIS數(shù)據(jù)的第七波段來(lái)修復(fù)第六波段的數(shù)據(jù)缺失、利用Landsat 近紅外波段來(lái)估算水面區(qū)域的可見光波段、利用MODIS數(shù)據(jù)預(yù)測(cè) Landsat 影像的缺失數(shù)據(jù)和利用不受云雨干擾的合成空間雷達(dá)數(shù)據(jù)來(lái)重建被云影覆蓋的光學(xué)數(shù)據(jù)等。盡管參考影像能夠提供云影覆蓋區(qū)域的缺失信息，但這類方法仍然受到光譜一致性、空間分辨率和成像時(shí)間相關(guān)性等限制，而難以重建出高質(zhì)量的用于模擬地表變化的時(shí)間序列數(shù)據(jù)。前兩種方法受限于其對(duì)重建影像沒有漸進(jìn)變化的假設(shè)，這種平穩(wěn)性假設(shè)將成為土地覆蓋變化和作物生長(zhǎng)監(jiān)測(cè)等時(shí)間序列應(yīng)用中的明顯弱點(diǎn)。遙感衛(wèi)星以固定的重復(fù)周期來(lái)觀測(cè)地表，同一區(qū)域又不可能總是被云影覆蓋，因此很容易獲得同一區(qū)域的多時(shí)相影像。這些同一區(qū)域的多時(shí)相影像（有云/影覆蓋的和無(wú)云/影覆蓋的）提供了利用多時(shí)相影像修復(fù)云/影覆蓋區(qū)域缺失影像的可能（Chen 等， 2011）?；诙鄷r(shí)相影像的修補(bǔ)方法包括兩個(gè)主要步驟：查找有云/影覆蓋區(qū)域和無(wú)云/影覆蓋區(qū)域相似的像元（pixel）或區(qū)域（patch）和利用相似的像元（區(qū)域）預(yù)測(cè)云/影覆蓋區(qū)域的缺失數(shù)據(jù)。在查找相似像元中，Roy 等人（2008）深入研究并集成空間、光譜和時(shí)相等信息來(lái)度量有云/影覆蓋區(qū)域和無(wú)云/影覆蓋區(qū)域像元的相似性。在重建云/影覆蓋像元中，Gao等（2017）提出和發(fā)展了諸如多時(shí)相直接替換、基于泊松方程的復(fù)制、時(shí)空加權(quán)插值等方法；同時(shí)也吸納用于修復(fù)傳感器條帶修復(fù)的方法，如近鄰相似像元插值（neighborhood similar pixel interpolator，NSPI）（Zhu 等， 2011）和加權(quán)線性回歸（weightedlinear regression，WLR）等。近年來(lái)，深度學(xué)習(xí)方法也被運(yùn)用于云影覆蓋影像的修復(fù)和重建；Grohnfeldt 等人（2018）利用生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks）來(lái)融合合成空間雷達(dá)數(shù)據(jù)和光學(xué)影像生成無(wú)云影像；Malek等人（2017）利用自動(dòng)編碼網(wǎng)絡(luò)（autoencoder neuralnetwork）來(lái)構(gòu)建有云影覆蓋區(qū)域和無(wú)云影覆蓋區(qū)域影像的映射函數(shù)；Zhang 等人（2018a）利用深度卷積網(wǎng)絡(luò)（deep convolutional neural networks）集成光譜、空間和時(shí)相信息來(lái)修復(fù)缺失數(shù)據(jù)。

雖然現(xiàn)有研究取得了不錯(cuò)的重建效果，但仍存在一些局限性：（1）相對(duì)于光譜和空間相似性，多時(shí)相影像中的時(shí)間趨勢(shì)能更詳細(xì)地反映地表覆蓋變化，而以往方法（尤其是傳統(tǒng)方法）中的簡(jiǎn)單線性回歸或光譜、空間度量很難捕捉復(fù)雜的非線性時(shí)間趨勢(shì)；（2）現(xiàn)有的利用深度學(xué)習(xí)的重建方法多集中運(yùn)用空間卷積網(wǎng)絡(luò) CNN 獲取光譜和空間紋理信息（且需要大量的訓(xùn)練樣本），少有研究使用循環(huán)神經(jīng)網(wǎng)絡(luò) RNN學(xué)習(xí)跨影像的時(shí)間趨勢(shì)；（3）由于云/影總在不確定的影像區(qū)域和不確定的時(shí)間上出現(xiàn)，像元級(jí)的時(shí)間序列難以保證多時(shí)相影像的時(shí)間間隔相等與時(shí)相對(duì)齊，加大了現(xiàn)有方法進(jìn)行時(shí)間序列重建的難度。

1.2.2多源遙感時(shí)空融合

遙感圖像融合研究可大致分為兩個(gè)階段。第一階段主要集中于全色增強(qiáng)算法研究，即通過(guò)融合來(lái)自同一傳感器的全色波段和多光譜波段進(jìn)而生成高分辨率的多光譜圖像。這類算法研究較多，已形成較為成熟的系列算法。第二階段則是多源多分辨的時(shí)空融合算法研究，即通過(guò)融合高空間分辨率遙感數(shù)據(jù)的空間分辨率特征和高時(shí)間分辨率遙感數(shù)據(jù)的時(shí)間分辨率特征，進(jìn)而生成兼具高時(shí)間和高空間分辨率的遙感數(shù)據(jù)。這類研究從最近十幾年才發(fā)展起來(lái)，仍處于快速發(fā)展階段，研究成果相對(duì)較少，但是對(duì)遙感數(shù)據(jù)的應(yīng)用具有重要意義。時(shí)空融合算法研究最早出現(xiàn)在 2006 年美國(guó)農(nóng)業(yè)部 Gao（2006）的研究中。其在 Landsat ETM+和MODIS 數(shù)據(jù)地表反射率的融合中提出一種時(shí)空自適應(yīng)反射率融合模型（Spatial and Temporal AdaptiveReflectance Fusion Model，STARFM），可融合生成具有和 Landsat ETM+數(shù)據(jù)一樣空間分辨率的逐日（和 MODIS 數(shù)據(jù)時(shí)間分辨率一樣）地表反射率數(shù)據(jù)。此后，系列基于 STARFM 或其他理論框架的融合算法相繼被提出。當(dāng)前的時(shí)空融合算法根據(jù)其融合原理可大致分為三種：基于解混、基于濾波和基于學(xué)習(xí)的方法?；诮饣斓姆椒?，通過(guò)光譜替換的方式生成融合圖像?；跒V波的方法，待預(yù)測(cè)像元值通過(guò)對(duì)其一定鄰域內(nèi)光譜相似像元的加權(quán)求和獲得。而基于學(xué)習(xí)的方法（Huang 等， 2012; Song 等，2012），首先通過(guò)學(xué)習(xí)待融合傳感器圖像之間的映射關(guān)系，然后將先驗(yàn)圖像的信息融入融合模型最終生成融合圖像?；趯W(xué)習(xí)的時(shí)空融合研究起初多在 MODIS 和Landsat 這兩類遙感圖像上。如針對(duì)這兩類數(shù)據(jù)的融合，Song 等人（2012）提出基于稀疏表示的時(shí)空反射融合模型。該模型在已知兩對(duì) MODIS 和 Landsat圖像對(duì)差分域中學(xué)習(xí)它們的映射關(guān)系，形成字典對(duì)信息。而因?yàn)閮烧邎D像的空間分辨率存在較大差異，作者設(shè)計(jì)了兩層融合框架，使得基于稀疏表示的方法大大提高了融合精度，但字典對(duì)中存在擾動(dòng)的問(wèn)題一直不可忽視。Wu 等人（2015）通過(guò)引入誤差邊界正則化的方法到字段對(duì)學(xué)習(xí)中解決了擾動(dòng)問(wèn)題。近年來(lái)，因深度卷積神經(jīng)網(wǎng)絡(luò)在各類圖像領(lǐng)域表現(xiàn)出良好性能，Song 等人（2018）提出基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像時(shí)空融合算法（SpatiotemporalSatellite Image Fusion Using Deep ConvolutionalNeural Networks，STFDCNN）。他們的模型分兩階段進(jìn)行學(xué)習(xí)，首先學(xué)習(xí)降采樣 Landsat 圖像（lowspatial resolution，LSR）與 MODIS 圖像之間的非線性映射關(guān)系；其次學(xué)習(xí) LSR Landsat 圖像與原始Landsat 圖像之間的超分辨率映射關(guān)系。通過(guò)這兩階段學(xué)習(xí)模型實(shí)現(xiàn)對(duì)遙感圖像中豐富細(xì)節(jié)信息的利用。盡管 STFDCNN 模型在時(shí)空融合性能上大幅度超過(guò)其他融合算法，但因其神經(jīng)網(wǎng)絡(luò)層數(shù)較少（僅有 3 個(gè)隱藏層），如此淺層的卷積神經(jīng)網(wǎng)絡(luò)對(duì)存在較大空間尺度差異的不同衛(wèi)星傳感器數(shù)據(jù)（MODIS-Landsat）間的非線性映射關(guān)系的學(xué)習(xí)仍是有難度的。因此，當(dāng)前如何處理兩類傳感器數(shù)據(jù)（MODIS-Landsat）之間的空間差異變化，以及如何確定深度卷積網(wǎng)絡(luò)的最優(yōu)層數(shù)和卷積核數(shù)目仍舊是卷積神經(jīng)網(wǎng)絡(luò)時(shí)空融合算法研究中亟待解決的問(wèn)題。此外，Kim 等人（2016）在超分辨重建研究中，通過(guò)利用殘差網(wǎng)絡(luò)結(jié)構(gòu)得以訓(xùn)練一個(gè)深度的卷積神經(jīng)網(wǎng)絡(luò)模型，這對(duì)后續(xù)遙感圖像融合研究具有一定啟發(fā)。

1.3遙感目標(biāo)要素分類識(shí)別

經(jīng)典遙感要素分類與識(shí)別方法一般為“單輸入單輸出”的模型架構(gòu)，面向不同目標(biāo)要素、不同模態(tài)數(shù)據(jù)或不同分類識(shí)別任務(wù)時(shí)，通常設(shè)計(jì)不同的專用網(wǎng)絡(luò)模型。而我們實(shí)際面臨的應(yīng)用場(chǎng)景中，常會(huì)有不同模態(tài)的數(shù)據(jù)供我們使用，并給出多種類型的決策結(jié)果，例如，人類的感知系統(tǒng)會(huì)結(jié)合聽、說(shuō)、看等多種輸入，并給出目標(biāo)的位置、屬性等多種信息。而傳統(tǒng)的模型架構(gòu)難以實(shí)現(xiàn)這種“多輸入多輸出”的能力，主要問(wèn)題在于，一是傳統(tǒng)模型對(duì)新場(chǎng)景、新任務(wù)的適應(yīng)能力不足；二是模型對(duì)各類數(shù)據(jù)的特征提取過(guò)程相對(duì)獨(dú)立，難以實(shí)現(xiàn)不同數(shù)據(jù)的特征共享從而實(shí)現(xiàn)性能增益；三是在多輸入多輸出情況下，傳統(tǒng)模型的簡(jiǎn)單疊加會(huì)導(dǎo)致計(jì)算和空間復(fù)雜度的顯著上升，限制其實(shí)用能力。為了解決上述問(wèn)題，當(dāng)前的主流發(fā)展方向是多要素目標(biāo)信息并行提取，通過(guò)在網(wǎng)絡(luò)模型中探索多模態(tài)數(shù)據(jù)、多任務(wù)多要素特征的共享學(xué)習(xí)，在降低模型復(fù)雜度的同時(shí)提升其泛化能力。

1.3.1典型遙感目標(biāo)要素提取

傳統(tǒng)的遙感目標(biāo)要素提取方法面向不同目標(biāo)要素時(shí)，通常設(shè)計(jì)不同的專用的方法流程。這種流程設(shè)計(jì)主要解決兩類問(wèn)題，一是針對(duì)遙感數(shù)據(jù)本身的特征/特性分析，為構(gòu)建適合數(shù)據(jù)特征/特性的模型提供依據(jù)；二是適合遙感數(shù)據(jù)特點(diǎn)的專用網(wǎng)絡(luò)模型構(gòu)建，即以通用的網(wǎng)絡(luò)模型為基礎(chǔ)，構(gòu)建符合遙感數(shù)據(jù)特點(diǎn)的模型，改進(jìn)通用模型在遙感數(shù)據(jù)中的應(yīng)用能力。遙感數(shù)據(jù)的獲取過(guò)程中存在諸多與自然場(chǎng)景圖像不同的影響因素，如電磁波散射特性、大氣輻射特性、目標(biāo)反射特性等，因此對(duì)于數(shù)據(jù)的上述特性的分析和表達(dá)是構(gòu)建有效模型的基礎(chǔ)。Kusk 等人（2016）和 Hansen 等人（2017）通過(guò)對(duì) SAR 成像時(shí)地形、回波噪聲等要素進(jìn)行建模，實(shí)現(xiàn)基于 3DCAD 對(duì)不同類型地物要素的 SAR 圖像仿真。Yan等（2019）通過(guò)對(duì)艦船等目標(biāo)進(jìn)行三維模型構(gòu)建，從而生成仿真的目標(biāo)點(diǎn)云數(shù)據(jù)。Ma 等（2019a）提出了一種包含生成和判別結(jié)構(gòu)的網(wǎng)絡(luò)模型，通過(guò)對(duì)抗學(xué)習(xí)實(shí)現(xiàn)樣本表觀真實(shí)性的增強(qiáng)。Zhan 等（2017）和 Zhu 等（2018）提出了一種針對(duì)高光譜影像分類的生成對(duì)抗網(wǎng)絡(luò)模型。Zhang 等（2018b）設(shè)計(jì)出一種基于條件模型的生成對(duì)抗網(wǎng)絡(luò)，用于遙感圖像中飛機(jī)目標(biāo)的精細(xì)仿真。Yan 等人（2019）則基于點(diǎn)云數(shù)據(jù)在三維空間上進(jìn)行船舶模型構(gòu)建，并利用正射投影變換將模型從模型空間投影至海岸遙感圖像上進(jìn)行仿真數(shù)據(jù)生成。為了進(jìn)一步提升仿真對(duì)象和遙感背景間的適配性，Wang 等人（2020b）則進(jìn)一步提出利用 CycleGAN 對(duì)仿真的飛機(jī)目標(biāo)和背景進(jìn)行自適應(yīng)調(diào)整，設(shè)計(jì)了一種用于目標(biāo)檢測(cè)任務(wù)的建模仿真數(shù)據(jù)生成框架。在地物要素分類任務(wù)上，Kong 等人（2020）則利用 CityEngine 仿真平臺(tái)的批量建模特性，首次探索在廣域范圍內(nèi)進(jìn)行城市級(jí)別的場(chǎng)景建模，并發(fā)布了一套用于建筑物分割的遙感仿真數(shù)據(jù)集 Synthinel-1。面向遙感數(shù)據(jù)特點(diǎn)的專用網(wǎng)絡(luò)模型設(shè)計(jì)方面，主要結(jié)合遙感圖像中目標(biāo)旋轉(zhuǎn)、多尺度、目標(biāo)分布特性等特點(diǎn)，針對(duì)性設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提升專用模型性能。Zhou 等（2018）設(shè)計(jì)了一種源域到目標(biāo)域數(shù)據(jù)共現(xiàn)特征聚焦結(jié)構(gòu)，提升高光譜圖像的語(yǔ)義分割效果。Luo 等（2018）針對(duì)高光譜圖像語(yǔ)義分割中存在的類內(nèi)特征分布差異，提出了一種均值差異最大化約束模型。Rao 等（2019）設(shè)計(jì)了一種自適應(yīng)距離度量模型，提升高光譜圖像地物要素的分類精度。Kampffmeyer 等（2016）針對(duì)地物要素?cái)?shù)量、空間分布差異大的問(wèn)題，提出了一種結(jié)合區(qū)域分組與像素分組的模型訓(xùn)練策略，用于國(guó)土資源監(jiān)測(cè)任務(wù)。Liu 等（2017）針對(duì)遙感目標(biāo)尺度差異大的特點(diǎn)，提出基于沙漏網(wǎng)絡(luò)的多尺度特征增強(qiáng)模型，提升光學(xué)遙感圖像的分類精度。Marcos 等人（2018）提出了基于旋轉(zhuǎn)卷積構(gòu)建的多源數(shù)據(jù)提取網(wǎng)絡(luò)，通過(guò)編碼圖像的旋轉(zhuǎn)不變性特征在多個(gè)數(shù)據(jù)集取得了先進(jìn)的結(jié)果。Peng 等人（2020）基于注意機(jī)制和密集連接網(wǎng)絡(luò)有效融合 DSM 數(shù)據(jù)和光譜圖像并獲得了更好的分割效果。Hua 等人（2021）提出了特征和空間關(guān)系調(diào)節(jié)網(wǎng)絡(luò)，利用稀疏注釋，基于無(wú)監(jiān)督的學(xué)習(xí)信號(hào)來(lái)補(bǔ)充監(jiān)督任務(wù)，顯著提升了語(yǔ)義分割的性能。隨著遙感圖像分辨率的提升、網(wǎng)絡(luò)深度的增加、參數(shù)的堆疊帶來(lái)性能的提升，與之相伴的是龐大的模型、巨量的參數(shù)和緩慢的算法效率?？紤]到星上遙感數(shù)據(jù)實(shí)時(shí)處理對(duì)計(jì)算資源、存儲(chǔ)資源的限制，一些工作嘗試在保留算法高性能前提下，減少模型參數(shù)，提高算法運(yùn)算速度。Valada 等人（2019）利用分組卷積的設(shè)計(jì)思想提出了一種高效的帶孔空間金字塔池化結(jié)構(gòu)，用于高分辨遙感圖像地物要素提取。提出的方法能夠減少 87.87%的參數(shù)量，減少89.88%每秒浮點(diǎn)運(yùn)算次數(shù)（floating-point operationsper second， FLOPS）。Zhang 等人（2019b）基于深度可分卷積設(shè)計(jì)了一種面向合成孔徑雷達(dá)圖像的船舶檢測(cè)算法的特征提取網(wǎng)絡(luò)，大大提升了檢測(cè)速度，相比于輕量化前的網(wǎng)絡(luò)檢測(cè)速度提高了 2.7 倍。Cao等人（2019）利用深度可分卷積設(shè)計(jì)了一種用于提取數(shù)字表面模型數(shù)據(jù)的結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)無(wú)需預(yù)訓(xùn)練模型仍可以快速收斂，將網(wǎng)絡(luò)訓(xùn)練時(shí)間降低 50%以上。Wang 等人（2019b）提出一種輕量級(jí)網(wǎng)絡(luò)MFNet，實(shí)現(xiàn)對(duì)高分辨率航拍數(shù)據(jù)的地物要素分類任務(wù)的高效推理，相比于輕量級(jí)網(wǎng)絡(luò) ResNet-18，提出的網(wǎng)絡(luò)在分類精度提升的同時(shí)，將參數(shù)量減少了40%，推理速度提高了 27%。Ma 等人（2020）針對(duì)災(zāi)后損毀評(píng)估任務(wù)，以 ShuffleNet v2 模型為基礎(chǔ)，設(shè)計(jì)了一種輕量化建筑物提取模型，相比傳統(tǒng)模型，在精度提升 5.24%的同時(shí)，速度提高 5.21f/s。上述方法通過(guò)結(jié)合遙感目標(biāo)要素特點(diǎn)，通過(guò)提出專用網(wǎng)絡(luò)結(jié)構(gòu)或特征提取方法，提升傳統(tǒng)模型針對(duì)遙感數(shù)據(jù)的應(yīng)用能力。然而，對(duì)于不同類型數(shù)據(jù)、不同特征/特性，仍缺乏統(tǒng)一的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行表征，因此多要素信息多任務(wù)并行網(wǎng)絡(luò)和模型仍需進(jìn)一步研究。

1.3.2多要素信息并行提取

多要素信息并行提取方法的研究，主要集中于探索如何在一個(gè)統(tǒng)一模型中實(shí)現(xiàn)多類遙感地物要素目標(biāo)的類別、位置等屬性信息的高精度獲取。如前所述，針對(duì)這種典型的“多輸入多輸出”場(chǎng)景，現(xiàn)有方法重點(diǎn)針對(duì)多模態(tài)輸入數(shù)據(jù)的特征表示和多任務(wù)輸出特征的共享融合兩方面問(wèn)題開展研究。特征共享研究方面，根據(jù)模型共享參數(shù)實(shí)現(xiàn)方式的區(qū)別，現(xiàn)有方法可大致分為硬參數(shù)共享（ hard-parameter sharing ） 和軟參數(shù)共享（soft-parameter sharing）兩種。硬參數(shù)共享方法利用同一個(gè)模型實(shí)現(xiàn)在輸入和輸出端的多任務(wù)分支模型特征共享融合。Liebel 等（2020）面向城市建設(shè)狀況分析任務(wù)，將多個(gè)任務(wù)共享同一編碼器，并分別解碼輸出，實(shí)現(xiàn)同時(shí)輸出建筑物位置和深度信息。Papadomanolaki 等（2019）將地物要素重建模型融合到分類模型中，并約束分類模型訓(xùn)練，來(lái)提升分類效果。Khalel 等（2019）則在同一個(gè)網(wǎng)絡(luò)模型中同時(shí)嵌入圖像銳化與地物要素分類兩類任務(wù)的模型。Rosa 等（2020）設(shè)計(jì)了一種面向農(nóng)業(yè)生產(chǎn)狀況監(jiān)控的多任務(wù)全卷積回歸網(wǎng)絡(luò)。軟參數(shù)共享方法直接將針對(duì)不同任務(wù)的多個(gè)獨(dú)立網(wǎng)絡(luò)通過(guò)參數(shù)加權(quán)連接，實(shí)現(xiàn)多類任務(wù)的共享輸出。Volpi 等（2018）將條件隨機(jī)場(chǎng)擬合結(jié)果與圖像同時(shí)作為數(shù)據(jù)，構(gòu)建類內(nèi)相似度和邊界值預(yù)測(cè)的兩個(gè)分支模型，改善地物要素分類結(jié)果。Zhang 等（2019a）提出了面向極化 SAR 多通道數(shù)據(jù)的地物要素分類方法，利用獨(dú)立的特征提取網(wǎng)絡(luò)對(duì)幅值和相位信息分別建模，利用分類器進(jìn)行聯(lián)合約束訓(xùn)練，來(lái)提升精度。Shi 等（2020）針對(duì)高光譜圖像的多類要素分類任務(wù)，利用多任務(wù)集成學(xué)習(xí)實(shí)現(xiàn)通道選擇，獲取最優(yōu)通道組合。針對(duì)多模態(tài)數(shù)據(jù)的聯(lián)合特征表示，如圖像紋理特征、三維高程特征、目標(biāo)要素矢量拓?fù)涮卣鞯?，能有效提升各類任?wù)的性能。Chen 等（2019）針對(duì)洪災(zāi)區(qū)域檢測(cè)任務(wù)，提出融合多時(shí)相的多模態(tài)圖像的模型，來(lái)提升其檢測(cè)精度。Fernandez 等（2018）將SAR 圖像和多光譜圖像作為輸入，進(jìn)行無(wú)監(jiān)督的地物要素分類。Benson 等（2017）在森林冠層三維高度估計(jì)任務(wù)中，提出利用光譜特性數(shù)據(jù)的方法，能有效改善傳統(tǒng)三維估計(jì)方法的精度。

審核編輯 黃昊宇