自動駕駛難度很大，標記數據不應該那么難。

像素級語義掩碼在2D和3D投影之間完美關聯據麥姆斯咨詢報道，激光雷達（LiDAR）新銳廠商Ouster近日與Playment和Scale.AI一起宣布了一項激光雷達數據標記合作伙伴計劃，以為Ouster快速增長的客戶群（目前已超過300家，并且還在不斷增長中！）簡化并提高激光雷達數據標記的效率。Ouster希望其開發(fā)的數據標記技術不僅可以服務于Ouster的客戶，還能惠及廣闊的機器學習行業(yè)。幾個月來，Ouster與Playment和Scale.AI合作開發(fā)了一種新的數據標記工具，利用Ouster激光雷達數據自身的2D-3D特性，將數據標記成本降低了50%，并能提供更高精度、更快速的標記以及更多的標記選項，還能大大簡化從數據捕獲到開始模型訓練的過程。此外，Ouster還為激光雷達數據開發(fā)了一種開放格式，使客戶的數據記錄、存儲、傳輸、加載和標記變得更加簡單。Ouster開放了這種數據格式，希望產業(yè)其它廠商能夠圍繞Ouster已經開始的工作進行標準化（盡管它只支持結構化激光雷達數據）。這種激光雷達格式將包含在Ouster開源驅動的更新中，使客戶的OS-1傳感器數據能夠直接以這種格式記錄，以便將其轉移到Playment、Scale.AI或其他廠商進行數據標記。結構化激光雷達數據的優(yōu)勢

OS-1傳感器結構化激光雷達數據的可視化

傳統(tǒng)激光雷達通常采用機械旋轉單元或者是光束掃描單元。典型的機械旋轉激光雷達傾向于以非恒定的速度旋轉，導致每幀的點間隔不均勻。同時，MEMS或掃描激光雷達傾向于有部分光束以非線性S形曲線掃描。這些都不利于將激光雷達數據存儲在固定網格中，用于2D深度學習、壓縮數據格式和易于標記。得益于Ouster的多光束flash激光雷達設計，Ouster的OS-1傳感器能夠輸出結構化激光雷達數據，其中水平和垂直角度間距就像相機一樣，始終保持不變。這就能使激光雷達輸出2048 x 64像素尺寸固定的深度圖以及每幀上的強度和環(huán)境光圖像，從而可以使用卷積神經網絡，并大規(guī)模簡化圖像存儲和標記。

雖然RGB-D相機和傳統(tǒng)flash激光雷達也能夠輸出結構化深度數據，但與Ouster OS-1相比，這兩類傳感器在室外環(huán)境中的探測距離、深度分辨率、視場或穩(wěn)定性都不如OS-1。不過，這些短距離結構化3D相機仍然可以從Ouster正在開發(fā)的工作中受益，Ouster鼓勵這些產品的制造商考慮應用Ouster的方案。結構化激光雷達數據的標記工作流Ouster通過與標記合作伙伴合作，在其標記工具中利用Ouster的結構化數據優(yōu)勢，最大限度地降低了標記成本，提高其功能性，并顯著提高了注釋精度。例如：

- 為注釋器提供同步的2D和3D視圖，作為當前任務的直觀視覺確認；

- 在2D激光雷達圖像中注釋像素級掩碼，并使用3D點云檢查掩碼精度，通過添加或移除單個點或選擇點簇并更新2D掩碼，來優(yōu)化3D點云內的掩碼；

- 使用3D邊界框自動生成100%準確的2D掩碼（語義或實例分割）、長方體或2D圖像中的邊界框。一旦親身了解過這種標記流程的運行，就會清楚它有多高效和準確。另一種方法是為2D和3D數據復制這項工作：

從3D邊界框自動生成的完美2D像素級掩碼（左下圖像），以及2D掩碼用于優(yōu)化3D邊界框的精度

這種方案盡可能用最少的工作量和最高的精度，提供了最大的標記族，從2D邊界框、語義和實例掩碼到3D邊界框（2D或3D）、點云語義和實例分割。

頂部圖像中顯示了手工標記的3D邊界框，下圖2D幀圖像中顯示了自動生成的像素級掩碼、邊界框和長方體這些意味著什么？10~50%的成本降低和更快地標記無需單獨標記2D和3D數據集，Ouster將所需的注釋量減少了2倍，最終降低了客戶的成本。更小的文件尺寸Ouster的開源結構化數據格式，可將文件尺寸及其相關的傳輸成本降低97%。目前，隨著激光雷達數據量的不斷增高，以至于一些客戶需要將硬盤驅動器運送給他們的標記合作伙伴。是時候改變這一現狀了！更高的標記精度通過2D和3D格式之間標記的可轉換性，提高了2D和3D標記精度，為注釋提供了更多的視覺輔助，實現了100%準確的2D語義掩碼。語義分割中不再有邊界問題。即使是商店和展廳內的行人和汽車也能輕松準確地進行標記！更準確的標記還意味著Ouster可以在測試算法時生成更準確、可測量和有意義的指標。

注意圖中汽車經銷商展廳的窗框，已經自動從車輛掩碼中去除

盡管圖中零售店的人群中分布著樹木、窗戶和家具，但這些顧客在2D圖像中也被完美地分割出來

動態(tài)遮罩（Rotoscoping）和綠屏摳像這些詞匯是不是看起來有點眼熟，因為它們確實很流行。在另一個大眾產業(yè)，幾十年來一直在投資在大型2D圖像集中生成像素精確掩碼的技術和工具，那就是：電影產業(yè)。動態(tài)遮罩和綠屏摳像技術已經有很長的歷史，通常是高度手動的（對綠屏摳像來說略少），是一種從相機的場景中分割演員和其它感興趣的對象以進行合成的方法。像自動駕駛和機器人產業(yè)一樣，它們最近一直在開發(fā)利用3D相機和深度學習的自動化動態(tài)遮罩技術。