電子發(fā)燒友網(wǎng)報道（文/李寧遠）從可穿戴設備到虛擬助手，再到汽車雷達/激光雷達，各種傳感器在邊緣設備中的使用越來越多，這不僅要求SoC在DSP性能和低功耗/面積之間取得最佳平衡，還要求SoC開發(fā)人員能夠輕松擴展其硬件架構以處理不同數(shù)量的數(shù)據(jù)流。

Sensor Fusion傳感器融合

傳感器融合的目的簡單來說，就是結合大量傳感設備的數(shù)據(jù)得出更精準的結果。因為各類傳感器都有自己的優(yōu)劣勢，不可能從單一傳感獲得我們所需要的所有功能，因此sensor fusion傳感器融合這一概念應運而生。得益于MEMS技術的發(fā)展以及傳感器成本在逐漸下降，很多傳感設備都能應用到這一概念中來。

其中在日常生活中，已經(jīng)有很多sensor fusion的應用，一個大家都會用到的例子就是計步器。要達到比較精準的步伐計算，通常會融合加速度計、陀螺儀、磁力儀等等。有的計步器為了感知周圍環(huán)境還會加上壓力傳感器、溫度傳感器。這種簡單的應用不需要太高的運算能力，小型MCU上的幾十個MIPS就足夠。

涉及全屋智能、汽車自動駕駛ADAS這種場景sensor fusion就復雜多了，會涉及很多交互、感知、識別。這種場景計算要求很高，而且需要動態(tài)管理計算資源，并且通常來說，這類應用里功耗都是受限的。

sensor fusion是一個基礎模塊，有了它，便可以實現(xiàn)穩(wěn)定的定位、穩(wěn)定的目標檢測以及穩(wěn)定的單目標多目標跟蹤。sensor fusion并不是簡單的傳感器堆疊，它是傳感器的屬性合一。以現(xiàn)在最火熱的汽車ADAS應用來說，攝像頭、Lidar以及Radar的融合是最常見的。這些傳感器進行融合的先決條件，是傳感器必須在一個共同參考系中，同時傳感器必須能夠以某些方式同步或者能用一個通用的時間參考。

時間同步是很重要的一個環(huán)節(jié)，不同傳感器觸發(fā)方式不相同，原始數(shù)據(jù)幀率也各不相同，從10Hz到幾百Hz不等。有的傳感器自帶時間基準，有的需要外部時間戳。一般由硬件同步板卡來完成很高精度的時間同步。

Sensor Fusion異構處理需求

各式各樣的傳感設備意味著有著各式各樣的數(shù)據(jù)需要處理，不同數(shù)據(jù)的處理可能有著天差地別的處理方式，因此有彈性的處理方式更契合現(xiàn)在的sensor fusion。

（DSP與sensor fusion，Synopsys）

因為這種應用里包含了大量的運算，通用處理器已經(jīng)不太適合，一般采用DSP或特定的硬件加速器。而硬件加速器只適用特定的應用，不太適合可能需要各種運算的傳感器融合系統(tǒng)。而向量DSP有大量的并行處理，包括VLIW，SIMD以及多核，可以很好地滿足PPA的要求。

DSP IP如何助力sensor fusion面臨的挑戰(zhàn)？

在前端處理上，DSP處理與傳感器相關的輸出信息，這些前端處理上往往會涉及包括F相關算術運算，比如FFT，CFAR，以及線性代數(shù)和非線性代數(shù)，以及向量運算等等基礎的資料處理運算。后端處理根據(jù)應用會有很大的變化，像物體偵測、物體識別，物體追蹤等等應用里DSP運算會隨著時間不斷演進，運算的資料形態(tài)也根據(jù)實際情況不盡相同，運算多樣彈性較高。

這里會涉及數(shù)據(jù)的關聯(lián)，Lidar提供3D點云數(shù)據(jù)，圖像提供2D數(shù)據(jù)，毫米波雷達提供雷達點，這些數(shù)據(jù)全部關聯(lián)起來需要進行匹配計算做特征匹配，會有大量的運算需求。DSP除了能提供這些前后端處理的計算能力，也能夠分擔一些融合中和AI相關的計算任務。一個好的DSP IP很適合作為sensor fusion的運算單元，提供運算的彈性，支援多樣的運算。

（ARC VPX DSP IP，Synopsys）

什么樣的DSP IP可以降低sensor fusion在SoC層面面臨的挑戰(zhàn)？首先，從一體式結構來說，DSP IP需要提供豐富的接口集是很有必要的，啟動器接口、目標總線接口以及支持外設和加速器集成的接口都需要支持。高效的數(shù)據(jù)移動能力不必多說，這不僅需要能從內(nèi)存和外設中移動數(shù)據(jù)的高效DMA，還要能提供在高內(nèi)存延遲上的恢復能力。最后，一流的PPA當然也是不能少的，更高的運算能力更少的功耗總是更好的。

小結

各種sensor fusion應用推動了對更高效數(shù)字信號處理的需求，采用經(jīng)過VLIW，SIMD，多核等并行處理器技術優(yōu)化后的DSP IP，可以在遵守單一編程環(huán)境的同時來優(yōu)化處理一系列sensor fusion應用里的工作負載。