深度學(xué)習(xí)神器DYnet++：輕松駕馭復(fù)雜自由曲面，3D測(cè)量無(wú)難度！

1、導(dǎo)讀

傳統(tǒng)的相位測(cè)量偏折測(cè)量技術(shù)在測(cè)量低反射率的表面和復(fù)雜曲面時(shí)存在一些問(wèn)題。低反射率表面的捕獲的條紋圖案質(zhì)量很差，無(wú)法正確提取相位。而復(fù)雜曲面會(huì)產(chǎn)生包含閉環(huán)和開(kāi)環(huán)特征的復(fù)雜反射條紋圖案，使得傳統(tǒng)的單次拍攝相位測(cè)量方法難以獲取相位。因此，本研究旨在利用深度學(xué)習(xí)技術(shù)解決這些問(wèn)題，提出一種基于深度學(xué)習(xí)的單次拍攝相位測(cè)量偏折測(cè)量方法，以實(shí)現(xiàn)對(duì)復(fù)雜自由曲面的三維測(cè)量。

2、研究?jī)?nèi)容

一種基于深度學(xué)習(xí)的單次拍攝相位測(cè)量偏折測(cè)量法用于復(fù)雜自由曲面的三維測(cè)量。文章介紹了目前單次拍攝偏折測(cè)量法存在的兩個(gè)主要問(wèn)題：低反射率鏡面表面的測(cè)量和復(fù)雜曲面的測(cè)量。為了解決這些問(wèn)題，研究團(tuán)隊(duì)采用了低頻率的復(fù)合光柵圖案來(lái)提高低反射率表面的光柵可見(jiàn)度，并利用深度學(xué)習(xí)方法處理復(fù)雜曲面的相位測(cè)量。通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練和優(yōu)化，可以實(shí)現(xiàn)單次拍攝下復(fù)雜曲面的三維測(cè)量和缺陷檢測(cè)。

3、方法

利用深度學(xué)習(xí)網(wǎng)絡(luò)模型DYnet++從單個(gè)復(fù)合圖案中獲取相位信息。為了訓(xùn)練深度學(xué)習(xí)模型，作者使用了一個(gè)具有九個(gè)致動(dòng)器的可變形鏡來(lái)生成各種表面形狀的大量數(shù)據(jù)。通過(guò)將測(cè)量結(jié)果與16步相移法的結(jié)果進(jìn)行比較，驗(yàn)證了所提出的基于深度學(xué)習(xí)的單次拍攝偏轉(zhuǎn)測(cè)量方法的可行性。該方法的優(yōu)點(diǎn)是可以在單次拍攝中獲取復(fù)雜表面的相位信息，避免了傳統(tǒng)相移法需要多張圖像的缺點(diǎn)。深度學(xué)習(xí)網(wǎng)絡(luò)模型能夠?qū)W習(xí)并理解復(fù)雜的圖案特征，從而準(zhǔn)確地提取相位信息。這種方法在工業(yè)環(huán)境中具有廣泛的應(yīng)用前景，可以提高測(cè)量效率和準(zhǔn)確性。需要注意的是，該方法目前還處于研究階段，可能還存在一些局限性和改進(jìn)空間。但是，基于深度學(xué)習(xí)的單次拍攝偏轉(zhuǎn)測(cè)量方法在解決復(fù)雜表面測(cè)量問(wèn)題方面具有很大的潛力，并且在實(shí)際應(yīng)用中可能會(huì)得到更多的發(fā)展和改進(jìn)。

3.1、偏轉(zhuǎn)法表面測(cè)量原理

偏轉(zhuǎn)法表面測(cè)量是一種用于測(cè)量光滑自由曲面的斜率測(cè)量技術(shù)。它使用屏幕（LCD屏幕）來(lái)顯示調(diào)制的正弦條紋圖案，該圖案投射到被測(cè)曲面上，然后由相機(jī)接收反射的條紋圖案。通過(guò)這種方式，我們可以獲得曲面的斜率進(jìn)行分析。如果我們可以獲得兩個(gè)正交的曲面斜率，就可以通過(guò)積分來(lái)重建曲面的形狀和尺寸。對(duì)于缺陷檢測(cè)，不僅需要檢測(cè)曲面上的缺陷，還需要確定缺陷的形狀和尺寸。因此，我們需要將兩個(gè)正交的條紋圖案（稱(chēng)為和圖案）投射到被測(cè)曲面上，以獲得曲面的斜率進(jìn)行積分。傳統(tǒng)上，使用相移方法來(lái)獲取和方向上的曲面相位，因?yàn)樗哂邢袼丶?jí)的相位恢復(fù)和高分辨率。捕獲的條紋圖案可以通過(guò)以下數(shù)學(xué)表達(dá)式表示：

其中，和分別是捕獲的和條紋圖案的光強(qiáng)度；是相機(jī)的像素坐標(biāo)；和是背景，和 是條紋調(diào)制；和是和方向上的相位；是相移數(shù)（），是相移的總數(shù)。通過(guò)這些捕獲的條紋圖案，可以通過(guò)以下公式恢復(fù)和方向上的相位：

其中，和是和的包裹相位。它們需要使用空間相位展開(kāi)算法進(jìn)行展開(kāi)。是相移值。通常情況下，如果相移步數(shù)N越大，恢復(fù)的相位精度越高。

3.2、DYnet++

DYnet++是一種基于深度學(xué)習(xí)的單次拍攝相位測(cè)量偏折測(cè)量方法，用于測(cè)量低能見(jiàn)度和復(fù)雜鏡面表面。DYnet++深度學(xué)習(xí)網(wǎng)絡(luò)，用于從單個(gè)低頻復(fù)合條紋圖案中獲取相位進(jìn)行表面測(cè)量。DYnet++網(wǎng)絡(luò)接受一個(gè)輸入，即捕獲的低頻復(fù)合條紋圖案，并輸出每個(gè)解碼器路徑中的兩個(gè)分子和兩個(gè)分母項(xiàng)。通過(guò)訓(xùn)練過(guò)程，每個(gè)解碼器路徑將具有預(yù)測(cè)分子和分母的最佳參數(shù)。然后，通過(guò)這些量的反正切計(jì)算出x和y的包裹相位。DYnet++網(wǎng)絡(luò)的結(jié)構(gòu)受到Y(jié)net和Unet++的啟發(fā)。我們?cè)噲D結(jié)合這些網(wǎng)絡(luò)的優(yōu)點(diǎn)來(lái)進(jìn)行相位檢測(cè)。DYnet++網(wǎng)絡(luò)在Unet++的基礎(chǔ)上添加了一個(gè)解碼器路徑，使其對(duì)稱(chēng)化。

3.3、DM

在這篇論文中，作者使用了可變形鏡面（DM）來(lái)生成訓(xùn)練數(shù)據(jù)集。DM是一個(gè)可以通過(guò)施加力來(lái)改變形狀的金屬板。通過(guò)改變DM的形狀，可以改變捕獲到的條紋圖案。使用DM生成訓(xùn)練數(shù)據(jù)的優(yōu)點(diǎn)是可以快速生成大量的訓(xùn)練數(shù)據(jù)，只需改變鏡面的形狀即可。作者首先在液晶顯示屏上顯示復(fù)合圖案，然后通過(guò)相機(jī)捕獲反射的圖案作為訓(xùn)練數(shù)據(jù)的輸入。然后，作者使用相位移方法在x和y方向上顯示16步的相位移圖像，作為訓(xùn)練數(shù)據(jù)的真值。對(duì)于每個(gè)輸入復(fù)合圖案，相應(yīng)的輸出將是，，和。通過(guò)改變的形狀，可以生成不同的訓(xùn)練數(shù)據(jù)。作者通過(guò)改變每個(gè)致動(dòng)器的位置1000次來(lái)隨機(jī)改變的形狀，從而生成了總共4000個(gè)訓(xùn)練圖像和真值。使用這種方法生成訓(xùn)練數(shù)據(jù)，網(wǎng)絡(luò)可以學(xué)習(xí)如何從單個(gè)復(fù)合圖案中預(yù)測(cè)正確的分子和分母。

4、實(shí)驗(yàn)結(jié)果

使用TensorFlow和Keras 2.8.0深度學(xué)習(xí)庫(kù)實(shí)現(xiàn)了DYnet++。訓(xùn)練過(guò)程在一臺(tái)配備Intel Core i9-12900K CPU、64 GB RAM和Geforce RTX-3090 GPU（NVIDIA）的臺(tái)式計(jì)算機(jī)上進(jìn)行。他們使用了不同形狀的變形鏡（DM）生成了訓(xùn)練數(shù)據(jù)集，總共生成了4000個(gè)訓(xùn)練圖像和對(duì)應(yīng)的地面真值。訓(xùn)練數(shù)據(jù)集的大小為320×240像素。他們使用了均方誤差作為損失函數(shù)，并使用平均絕對(duì)誤差作為評(píng)估指標(biāo)。訓(xùn)練總共耗時(shí)約12小時(shí)。

在測(cè)試中，他們使用了與訓(xùn)練和驗(yàn)證數(shù)據(jù)不同的變形鏡生成的復(fù)合圖案作為輸入。他們展示了一些測(cè)試結(jié)果，并與地面真值進(jìn)行了比較。結(jié)果顯示，DYnet++方法在形狀重建方面與傳統(tǒng)的16步相移方法相比具有相似的性能，而16步相移方法需要32張相移圖像。此外，他們還進(jìn)行了低可見(jiàn)度表面的測(cè)量和缺陷檢測(cè)實(shí)驗(yàn)，結(jié)果表明DYnet++可以從單次復(fù)合圖案中檢測(cè)出小的缺陷。總的來(lái)說(shuō)，DYnet++方法通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)了單次拍攝相位測(cè)量偏折測(cè)量，具有較好的性能和應(yīng)用潛力。

5、總結(jié)

我們的研究提出了一種基于深度學(xué)習(xí)的單次偏轉(zhuǎn)測(cè)量方法DYnet++，能夠測(cè)量和檢測(cè)復(fù)雜自由曲面。這種方法具有廣泛的適用性和高效的性能，可以在實(shí)時(shí)或高速環(huán)境下進(jìn)行復(fù)雜曲面的測(cè)量和檢測(cè)。