具有深度學習能力的傳感器融合

【導讀】傳感器被越來越多地應用于我們的日常生活中，以幫助收集各種應用中有意義的數據，例如建筑暖通空調系統、工業自動化、醫療保健、門禁控制和安全系統等。傳感器融合網絡有助于從多個傳感器獲取數據，以提供設備周圍環境更全面的感知。換句話說，傳感器融合結合多個物理傳感器的數據，即使單獨的傳感器本身不可靠，融合后的結果會更加準確，有助于減少感知過程中的不確定性。

為了進一步提高智能化和可靠性，使用深度學習進行傳感器融合，在工業和消費領域正變得越來越重要。

從數據科學的角度來看，這種模式通過采用智能監測和傳感器融合策略，以及運用優化的機器學習，從傳感器數據中中獲取相關知識。主要目標之一是有效預測工業運行環境中的異常行為，以避免重大事故帶來的損害。

瑞薩電子提供智能端點傳感設備和集成了豐富模擬外設的微控制器。這些微控制器作為傳感設備的核心，為不同應用提供更精確的傳感器融合方案。常用的方式是：

冗余傳感器：提供相同的信息類型。

互補傳感器：提供獨立（不相干）的信息類型。

協同傳感器：順序收集外部的信息。

傳感器網絡中的通信是整個方案的核心，有以下幾種選擇：

分散式：傳感器節點之間沒有通信。

集中式：所有傳感器把測量值提供給中央節點。

分布式：節點之間按照一定的頻率交換信息（例如，每采集五次就交換一次數據）。

集中式方案也可以被看作是分布式方案的一個特例。傳感器的每一次采集都會發送給融合節點，如下圖示。

深度學習

一個有效的傳感器融合方案，先決條件是精確校準和同步傳感器。瑞薩提供了一系列解決方案，使用集中式方案，在端點設備上運行先進的傳感器融合算法，實現決策推斷。

晚期融合可以實現互操作，而早期融合可以為人工智能提供豐富的數據做預測。我們借用不同策略的長處。現代方法通常會對設備上的傳感器，在時間和空間上做融合，然后將融合后的數據輸入神經網絡執行預測。這些數據用于AI訓練或實時算法的軟件閉環（SIL）測試。由于前期的數據融合，在此階段這些算法只需要接收有限的信息量。

深度學習使用神經網絡來實現先進的機器學習，可以利用高性能計算平臺，如瑞薩的RA MCU和RZ MPU來做訓練和執行。深度神經網絡由若干處理層組成，這些處理層從傳感器融合中學習，對數據進行不同程度的抽象化。深度神經網絡的層數越多，學到的表征就越抽象。

深度學習提供了一種表征學習的形式，通過使用簡單的表征來表示數據。深度學習技術可以使用幾個層的組合來理解特征，每個層都有獨特的數學轉換，以產生抽象的表征，更好地區分數據中的高級特征，以加強對真實形式的分離和理解。

多流神經網絡的優勢在于從多模態數據中生成有效的預測，其中每個流對網絡產生整體聯合推斷都很重要。多流方法已在多模態數據融合方面取得成功，深度神經網絡已被成功應用于多個應用中，如機器翻譯和時序數據融合。

允許深度神經網絡在基于MCU的端點應用上進行訓練和部署，是一個巨大的突破，有助于加快行業應用。瑞薩的RA MCU平臺和相關的靈活軟件包與人工智能建模工具相結合，提供了多層結構化神經網絡應用能力。通常，更多的層能讓網絡學到更多的抽象特征。在異質混合中堆疊多種類型的層，可以勝過同質混合的層。瑞薩的傳感解決方案可以通過多個傳感器的反饋來彌補系統在處理相關類型的信息時單個傳感器的不足。

靈活的瑞薩高級（RA）微控制器（MCU）是業界領先的32位MCU，是構建智能傳感器的絕佳選擇。由于RA系列的MCU種類繁多，您可以根據您的應用需求選擇最佳產品。RA MCU平臺與強大的支持和軟件生態系統相結合，將有助于加快傳感器融合和深度學習模塊的工業4.0應用開發。

作為瑞薩廣泛的解決方案和設計支持的一部分，瑞薩為多功能人工智能物聯網（AIoT）傳感器解決方案提供了參考設計。它針對工業預測維護、支持手勢識別的智能家居/物聯網設備、可穿戴設備（主動跟蹤）以及創新性的人機界面或（HMI）（手指感知）等移動應用提供了解決方案。作為該解決方案的一部分，瑞薩可以提供豐富的硬件，包括物聯網專用RA微控制器、空氣質量傳感器、光傳感器、溫度和濕度傳感器、6軸加速度傳感器以及蜂窩、藍牙通信芯片等。

隨著工業4.0系統中傳感器數量的不斷增加，對傳感器融合的需求也在不斷增長，以理解這些傳感器產生的海量數據。市面上也出現越來越多集成傳感器融合的設備。例如，融合了振動、聲音、溫度和磁場傳感器數據的智能狀態監測盒可用于機器狀態監測。還可以選配用于監測加速度、角速度、沖擊和振動的其他傳感器配件。

該系統通過人工智能算法實現傳感器融合，以更好地對異常運行狀況進行分類，從而產生更準確的推斷決策。這種邊緣人工智能架構簡化了對傳感器融合所產生的大數據的處理，確保只有最相關的數據被發送到邊緣人工智能處理器或云端，以便進一步分析并可能用于訓練ML算法。

使用基于AI的深度學習有幾個好處

● AI算法可以采用傳感器融合，利用多個傳感器的數據來彌補單個傳感器數據的不足。

● AI算法可以先根據傳感器數據的相關性對傳感器分類，再把數據送給與之對應的任務。

● 通過在邊緣設備或云上的持續訓練，AI/ML算法可以讓設備通過不斷學習來識別以前未識別的系統行為變化。

● AI算法可以預測可能的故障源，實現預測性維護，提高生產效率。

傳感器融合與人工智能深度學習相結合，可以發揮傳感器數據的最大作用。基于AI/ML的增強型傳感器融合可用于系統的多個層級，包括數據層、融合層和決策層。傳感器融合的基本功能包括實現數據的平滑和過濾以及預測傳感器和系統狀態。

瑞薩電子邀請您使用我們的高性能MCU和A&P產品組合。結合完整的軟件平臺，它能為您提供有針對性的深度學習模型和工具，用以構建下一代傳感器融合解決方案。

來源：瑞薩電子，作者：Suad Jusuf

審核編輯：湯梓紅