作者：Young ?| 來源：?半杯茶的小酒杯

為了實現多傳感器數據的統一表達(Unified Representation)，以前常規的方法：

1）Lidar-To-Camera: 將激光雷達點云投影到圖像上，使用2D CNN算法來完成數據處理。它會造成嚴重的幾何扭曲(如下圖a)，影響3D Object Recognition等Geometric-Oriented任務的效果。

2）Camera-To-Lidar: 用Semantic Labels、CNN特征等信息增強點云，然后使用LiDAR-based Detector來預測3D Bounding Boxes。這種Point-Level Fusion的方法丟失了語義信息，在Semantic-Oriented任務中表現不佳(如下圖b)。

BEV Fusion Method

BEVFusion在BEV空間實現了統一的多模態特征表達，同時保留幾何結構和語義信息。

BEVFusion對不同模態的輸入采取不同的編碼器(Encodes)來提取Features，這種方法既保留了幾何信息，又保留了語義特征信息；然后使用Fully-Convolutional BEV Encoder融合多模態的Features，緩解不用特征之間的局部偏準(Local Misalignment)；最后添加一些特定Head來支持不同的3D場景理解。

BEVFusion優化后的BEV Pooling實現了40x的速度提升；它比Camera-Only的模型實現了6%的mIOU提升，比Lidar-Only的模型實現了13.6%的mIOU的提升。

Camera-to-BEV Transformation

Camera-to-BEV的變換首先要解決每個像素的Depth問題，文中采用了與論文LSS(Lift, Splat, Shoot)的方法來預測每個像素的離散深度分布。

如下圖所示，對每個Feature Pixel沿射線假設D個離散點(每個像素對應D個空間位置)，每個離散點的可能性對應一個歸一化的概率。

所有的Camera特征組合在一起，形成NHWD的Camera Feature點云，N是Camera的個數，HW是每個Camera Feature Map的大小。

沿著x，y兩個方向，按照rxr的BEV網格，使用BEV Pooling對Camera Feature點云進行聚合量化。

最后，沿z軸Flatten這些特征。

這個過程中的BEV Pooling耗時嚴重，作者提出了Precomputation和Interval Reduction解決這個問題。

Precomputation

相機的外參是固定的，內參也是固定的，相機的射線上采樣的D個離散點的采樣間隔也是已知的，因此Camera Feature點云的每個點的x和y坐標是固定的，每個點在哪個BEV Grid中也是不變的。因此可以通過預計算的方式提前計算好，之后直接用即可。

Interval Reduction

LSS使用Prefix Sum計算每個BEV Grid的聚合結果。

如上圖所示，index是網格的編號，BEV Pooling的目標是將相同index的Value加起來，即將同一個網格內的特征聚合在一起。

Pref.sum是一個累加和。1=1，4=1+3，11=1+3+7，10=1+3+7+(-1)，…

Pref.sum只是一個中間結果，用來輔助計算最終的聚合值。在Index變化時，減去前一個index的Pref.sum值，得到聚合結果result。

LSS的Prefix Sum可以看做是單線程的計算過程，本文直接使用Specialized GPU Kernel對多個BEV Grid獨立并發計算，沒有計算和存儲前綴和的開銷，大大加速了計算過程。

優化后的BEV Pooling將Camera-To-BEV Transformation提升了40倍，Latency從500+ms降低到12ms。

Fully-Convolutional Fusion

Lidar和Camera的BEV Features可以簡單的用Elementwise Operator(比如Concatenation)來做Fusion。

由于Depth估計的誤差，Lidar BEV Features和Camera BEV Features可能會存在Spatially Misaligned的問題，因此需要Convolution-based BEV Encoder來解決這類問題。

class ConvFuser(nn.Sequential):
    def __init__(self, in_channels: int, out_channels: int) -> None:
        self.in_channels = in_channels
        self.out_channels = out_channels
        super().__init__(
            nn.Conv2d(sum(in_channels), out_channels, 3, padding=1, bias=False),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(True),
        )

    def forward(self, inputs: List[torch.Tensor]) -> torch.Tensor:
        return super().forward(torch.cat(inputs, dim=1))

效果測試

C是camera模態，L是LiDAR模態，MACs用于評估計算量，Latency是延時，BEVFusion結合了Camera模態和LiDAR模態，達到了SOTA，并且計算量和Latency也比較低。

在nuScenes的BEV Map Segmentation中，BEVFusion達到了SOTA，并且對不同的地圖元素的Segmentation Performance都有提升。

在晴天、雨天、白天、夜晚場景下，BEVFusion都有不錯的表現。

BEVFusion對于大物體、小物體、遠處的物體、近處的物體的Performance都有提升；并且它在稀疏的Lidar波束上仍有不錯的表現。

編輯：黃飛