01 、摘要
大多數先前的工作通過坐標表示點云的形狀。然而,直接利用坐標描述局部幾何是不充分的。在本文中,我們提出了 RepSurf(representative surface),這是一種新穎的點云表示,顯式的描述了非常局部的點云結構。
我們探索了 RepSurf 的兩種變體,Triangular RepSurf 和 Umbrella RepSurf,其靈感來自計算機圖形學中的三角形網格和傘形曲率。我們在表面重建后通過預定義的幾何先驗計算 RepSurf 的表征。RepSurf 可以成為絕大多數點云模型的即插即用模塊,這要歸功于它與無規則點集的自由協作。
基于 PointNet++(SSG 版本)的簡單基線,Umbrella RepSurf 在各種基準上的分類、分割和檢測在性能和效率方面都大大超過了之前的 state-of-the-art。在只有0.008M參數數量、0.04G FLOPs 和 1.12ms推理時間的增的情況下,我們的方法在分類數據集 ModelNet40 上達到 94.7% (+0.5%),在 ScanObjectNN 上達到 84.6% (+1.8%) ;而在分割任務的 S3DIS 6-fold 上達到74.3%(+0.8%) mIoU,在ScanNet 上達到70.0% (+1.6%) mIoU 。
對于檢測任務,我們的 RepSurf 應用于最先進的檢測器,并在 ScanNetV2 上達到71.2% (+2.1%) mAP25、54.8% (+2.0%) mAP50 和在 SUN RGB-D數據集上64.9% (+1.9%) mAP25、47.7% (+ 2.5%) mAP50的性能。我們的輕量級Triangular RepSurf 在這些基準測試中同樣表現出色。
02、 介紹
對原始點云表征(Point Cloud Representation)的處理因其在自動駕駛、增強現實和機器人技術等各種應用中的優勢而引起了相當大的關注。但是,點云局部表征的不穩定性使得這個任務非常有難度。
局部形狀對于點云的學習至關重要。為了從局部結構信息中學習,一些先前的工作從Grid(例如PointCNN)、Relation(例如RS-CNN)或Graph(例如DGCNN)中學習。
然而,這些方法通過加入更多成分(如歐幾里得距離、注意力機制)或應用各種變換(如圖形構造、體素化)隱式地從點云shape中提取局部特征。這些可能導致復雜的預處理或大量計算。我們認為這可能會導致在預定義成分時遺漏信息,或在轉換過程中損失幾何形狀。因此,本文探索了更穩定的顯式點云局部表征。
03、 動機
我們首先受到泰勒級數的啟發。泰勒級數用導數表示局部曲線。為了簡化它,我們只考慮到二階導數。因此,我們可以通過其對應的切線粗略地表示局部曲線,或者我們稱之為 3D 點云中的“surface”。
04、 方法
為了將2D Curve擴展到3D Surface,我們引入了兩種RepSurf變體(Triangular RepSurf和Umbrella RepSurf)來近似的描述點云局部特征:
兩種RepSurf的實現也非常簡潔:
05 、實驗
RepSurf分別在3D分類(ModelNet40,ScanObjectNN)、分割(S3DIS,ScanNet)、檢測(ScanNetV2,SUN RGBD)上達到了不俗的效果:
06 、結論
我們希望我們的工作能夠激發3D社區并喚起對點云的顯示表征的重新思考。我們認為 RepSurf 值得在不同領域(例如自動駕駛)或更大規模的點云上進行進一步探索,因為 RepSurf 有能力去處理真實場景中的大量背景點。RepSurf 還可以通過其對幾何敏感度的能力對點云采樣帶來幫助。
審核編輯:郭婷
-
機器人
+關注
關注
210文章
28214瀏覽量
206570 -
增強現實
+關注
關注
1文章
712瀏覽量
44929 -
自動駕駛
+關注
關注
783文章
13688瀏覽量
166157
原文標題:CVPR 2022 | 增加0.008M參數,顯式局部點云表征實現多項任務SOTA
文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論