具有深度學(xué)習(xí)能力的傳感器融合

具有深度學(xué)習(xí)能力的傳感器融合

【導(dǎo)讀】傳感器被越來越多地應(yīng)用于我們的日常生活中，以幫助收集各種應(yīng)用中有意義的數(shù)據(jù)，例如建筑暖通空調(diào)系統(tǒng)、工業(yè)自動(dòng)化、醫(yī)療保健、門禁控制和安全系統(tǒng)等。傳感器融合網(wǎng)絡(luò)有助于從多個(gè)傳感器獲取數(shù)據(jù)，以提供設(shè)備周圍環(huán)境更全面的感知。換句話說，傳感器融合結(jié)合多個(gè)物理傳感器的數(shù)據(jù)，即使單獨(dú)的傳感器本身不可靠，融合后的結(jié)果會(huì)更加準(zhǔn)確，有助于減少感知過程中的不確定性。

為了進(jìn)一步提高智能化和可靠性，使用深度學(xué)習(xí)進(jìn)行傳感器融合，在工業(yè)和消費(fèi)領(lǐng)域正變得越來越重要。

從數(shù)據(jù)科學(xué)的角度來看，這種模式通過采用智能監(jiān)測(cè)和傳感器融合策略，以及運(yùn)用優(yōu)化的機(jī)器學(xué)習(xí)，從傳感器數(shù)據(jù)中中獲取相關(guān)知識(shí)。主要目標(biāo)之一是有效預(yù)測(cè)工業(yè)運(yùn)行環(huán)境中的異常行為，以避免重大事故帶來的損害。

瑞薩電子提供智能端點(diǎn)傳感設(shè)備和集成了豐富模擬外設(shè)的微控制器。這些微控制器作為傳感設(shè)備的核心，為不同應(yīng)用提供更精確的傳感器融合方案。常用的方式是：

冗余傳感器：提供相同的信息類型。

互補(bǔ)傳感器：提供獨(dú)立（不相干）的信息類型。

協(xié)同傳感器：順序收集外部的信息。

傳感器網(wǎng)絡(luò)中的通信是整個(gè)方案的核心，有以下幾種選擇：

分散式：傳感器節(jié)點(diǎn)之間沒有通信。

集中式：所有傳感器把測(cè)量值提供給中央節(jié)點(diǎn)。

分布式：節(jié)點(diǎn)之間按照一定的頻率交換信息（例如，每采集五次就交換一次數(shù)據(jù)）。

集中式方案也可以被看作是分布式方案的一個(gè)特例。傳感器的每一次采集都會(huì)發(fā)送給融合節(jié)點(diǎn)，如下圖示。

深度學(xué)習(xí)

一個(gè)有效的傳感器融合方案，先決條件是精確校準(zhǔn)和同步傳感器。瑞薩提供了一系列解決方案，使用集中式方案，在端點(diǎn)設(shè)備上運(yùn)行先進(jìn)的傳感器融合算法，實(shí)現(xiàn)決策推斷。

晚期融合可以實(shí)現(xiàn)互操作，而早期融合可以為人工智能提供豐富的數(shù)據(jù)做預(yù)測(cè)。我們借用不同策略的長(zhǎng)處?，F(xiàn)代方法通常會(huì)對(duì)設(shè)備上的傳感器，在時(shí)間和空間上做融合，然后將融合后的數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)執(zhí)行預(yù)測(cè)。這些數(shù)據(jù)用于AI訓(xùn)練或?qū)崟r(shí)算法的軟件閉環(huán)（SIL）測(cè)試。由于前期的數(shù)據(jù)融合，在此階段這些算法只需要接收有限的信息量。

深度學(xué)習(xí)使用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)先進(jìn)的機(jī)器學(xué)習(xí)，可以利用高性能計(jì)算平臺(tái)，如瑞薩的RA MCU和RZ MPU來做訓(xùn)練和執(zhí)行。深度神經(jīng)網(wǎng)絡(luò)由若干處理層組成，這些處理層從傳感器融合中學(xué)習(xí)，對(duì)數(shù)據(jù)進(jìn)行不同程度的抽象化。深度神經(jīng)網(wǎng)絡(luò)的層數(shù)越多，學(xué)到的表征就越抽象。

深度學(xué)習(xí)提供了一種表征學(xué)習(xí)的形式，通過使用簡(jiǎn)單的表征來表示數(shù)據(jù)。深度學(xué)習(xí)技術(shù)可以使用幾個(gè)層的組合來理解特征，每個(gè)層都有獨(dú)特的數(shù)學(xué)轉(zhuǎn)換，以產(chǎn)生抽象的表征，更好地區(qū)分?jǐn)?shù)據(jù)中的高級(jí)特征，以加強(qiáng)對(duì)真實(shí)形式的分離和理解。

多流神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于從多模態(tài)數(shù)據(jù)中生成有效的預(yù)測(cè)，其中每個(gè)流對(duì)網(wǎng)絡(luò)產(chǎn)生整體聯(lián)合推斷都很重要。多流方法已在多模態(tài)數(shù)據(jù)融合方面取得成功，深度神經(jīng)網(wǎng)絡(luò)已被成功應(yīng)用于多個(gè)應(yīng)用中，如機(jī)器翻譯和時(shí)序數(shù)據(jù)融合。

允許深度神經(jīng)網(wǎng)絡(luò)在基于MCU的端點(diǎn)應(yīng)用上進(jìn)行訓(xùn)練和部署，是一個(gè)巨大的突破，有助于加快行業(yè)應(yīng)用。瑞薩的RA MCU平臺(tái)和相關(guān)的靈活軟件包與人工智能建模工具相結(jié)合，提供了多層結(jié)構(gòu)化神經(jīng)網(wǎng)絡(luò)應(yīng)用能力。通常，更多的層能讓網(wǎng)絡(luò)學(xué)到更多的抽象特征。在異質(zhì)混合中堆疊多種類型的層，可以勝過同質(zhì)混合的層。瑞薩的傳感解決方案可以通過多個(gè)傳感器的反饋來彌補(bǔ)系統(tǒng)在處理相關(guān)類型的信息時(shí)單個(gè)傳感器的不足。

靈活的瑞薩高級(jí)（RA）微控制器（MCU）是業(yè)界領(lǐng)先的32位MCU，是構(gòu)建智能傳感器的絕佳選擇。由于RA系列的MCU種類繁多，您可以根據(jù)您的應(yīng)用需求選擇最佳產(chǎn)品。RA MCU平臺(tái)與強(qiáng)大的支持和軟件生態(tài)系統(tǒng)相結(jié)合，將有助于加快傳感器融合和深度學(xué)習(xí)模塊的工業(yè)4.0應(yīng)用開發(fā)。

作為瑞薩廣泛的解決方案和設(shè)計(jì)支持的一部分，瑞薩為多功能人工智能物聯(lián)網(wǎng)（AIoT）傳感器解決方案提供了參考設(shè)計(jì)。它針對(duì)工業(yè)預(yù)測(cè)維護(hù)、支持手勢(shì)識(shí)別的智能家居/物聯(lián)網(wǎng)設(shè)備、可穿戴設(shè)備（主動(dòng)跟蹤）以及創(chuàng)新性的人機(jī)界面或（HMI）（手指感知）等移動(dòng)應(yīng)用提供了解決方案。作為該解決方案的一部分，瑞薩可以提供豐富的硬件，包括物聯(lián)網(wǎng)專用RA微控制器、空氣質(zhì)量傳感器、光傳感器、溫度和濕度傳感器、6軸加速度傳感器以及蜂窩、藍(lán)牙通信芯片等。

隨著工業(yè)4.0系統(tǒng)中傳感器數(shù)量的不斷增加，對(duì)傳感器融合的需求也在不斷增長(zhǎng)，以理解這些傳感器產(chǎn)生的海量數(shù)據(jù)。市面上也出現(xiàn)越來越多集成傳感器融合的設(shè)備。例如，融合了振動(dòng)、聲音、溫度和磁場(chǎng)傳感器數(shù)據(jù)的智能狀態(tài)監(jiān)測(cè)盒可用于機(jī)器狀態(tài)監(jiān)測(cè)。還可以選配用于監(jiān)測(cè)加速度、角速度、沖擊和振動(dòng)的其他傳感器配件。

該系統(tǒng)通過人工智能算法實(shí)現(xiàn)傳感器融合，以更好地對(duì)異常運(yùn)行狀況進(jìn)行分類，從而產(chǎn)生更準(zhǔn)確的推斷決策。這種邊緣人工智能架構(gòu)簡(jiǎn)化了對(duì)傳感器融合所產(chǎn)生的大數(shù)據(jù)的處理，確保只有最相關(guān)的數(shù)據(jù)被發(fā)送到邊緣人工智能處理器或云端，以便進(jìn)一步分析并可能用于訓(xùn)練ML算法。

使用基于AI的深度學(xué)習(xí)有幾個(gè)好處

● AI算法可以采用傳感器融合，利用多個(gè)傳感器的數(shù)據(jù)來彌補(bǔ)單個(gè)傳感器數(shù)據(jù)的不足。

● AI算法可以先根據(jù)傳感器數(shù)據(jù)的相關(guān)性對(duì)傳感器分類，再把數(shù)據(jù)送給與之對(duì)應(yīng)的任務(wù)。

● 通過在邊緣設(shè)備或云上的持續(xù)訓(xùn)練，AI/ML算法可以讓設(shè)備通過不斷學(xué)習(xí)來識(shí)別以前未識(shí)別的系統(tǒng)行為變化。

● AI算法可以預(yù)測(cè)可能的故障源，實(shí)現(xiàn)預(yù)測(cè)性維護(hù)，提高生產(chǎn)效率。

傳感器融合與人工智能深度學(xué)習(xí)相結(jié)合，可以發(fā)揮傳感器數(shù)據(jù)的最大作用?；贏I/ML的增強(qiáng)型傳感器融合可用于系統(tǒng)的多個(gè)層級(jí)，包括數(shù)據(jù)層、融合層和決策層。傳感器融合的基本功能包括實(shí)現(xiàn)數(shù)據(jù)的平滑和過濾以及預(yù)測(cè)傳感器和系統(tǒng)狀態(tài)。

瑞薩電子邀請(qǐng)您使用我們的高性能MCU和A&P產(chǎn)品組合。結(jié)合完整的軟件平臺(tái)，它能為您提供有針對(duì)性的深度學(xué)習(xí)模型和工具，用以構(gòu)建下一代傳感器融合解決方案。

來源：瑞薩電子，作者：Suad Jusuf

審核編輯：湯梓紅