摘要

精確、快速地劃定清晰的邊界和魯棒的語(yǔ)義對(duì)于許多下游機(jī)器人任務(wù)至關(guān)重要，例如機(jī)器人抓取和操作、實(shí)時(shí)語(yǔ)義建圖以及在邊緣計(jì)算單元上執(zhí)行的在線傳感器校準(zhǔn)。雖然邊界檢測(cè)和語(yǔ)義分割是相輔相成的任務(wù)，但大多數(shù)研究都集中在語(yǔ)義分割的輕量級(jí)模型上，而忽略了邊界檢測(cè)的關(guān)鍵作用。在這項(xiàng)工作中，我們引入了一個(gè)輕量級(jí)的雙任務(wù)框架Mobile - Seed，用于同時(shí)進(jìn)行語(yǔ)義分割和邊界檢測(cè)。我們的框架具有雙流編碼器，主動(dòng)融合解碼器( AFD )和雙任務(wù)正則化方法。編碼器分為兩個(gè)通道：一個(gè)通道捕獲類別感知的語(yǔ)義信息，另一個(gè)通道從多尺度特征中辨別邊界。AFD模塊通過(guò)學(xué)習(xí)通道間的關(guān)系來(lái)動(dòng)態(tài)適應(yīng)語(yǔ)義和邊界信息的融合，允許對(duì)每個(gè)通道進(jìn)行精確的權(quán)重分配。此外，我們引入正則化損失來(lái)緩解雙任務(wù)學(xué)習(xí)和深度多樣性監(jiān)督中的沖突。與現(xiàn)有方法相比，提出的Mobile - Seed提供了一個(gè)輕量級(jí)的框架，可以同時(shí)提高語(yǔ)義分割性能和精確定位對(duì)象邊界。在Cityscapes數(shù)據(jù)集上的實(shí)驗(yàn)表明，在1024 × 2048分辨率輸入下，Mobile - Seed在mIoU和mF - score上分別比SOTA基線提升了2.2個(gè)百分點(diǎn)( pp )和4.2個(gè)百分點(diǎn)( pp )，同時(shí)在RTX 2080 Ti GPU上保持了23.9幀每秒( FPS )的在線推理速度。在CamVid和PASCAL Context數(shù)據(jù)集上的額外實(shí)驗(yàn)證實(shí)了我們方法的可推廣性。

效果展示

Mobile - Seed算法能夠?qū)崟r(shí)地同時(shí)推理出2D RGB圖像的邊界圖和語(yǔ)義圖。( a )展示了我們的Mobile - Seed的動(dòng)機(jī)，它可以為下游任務(wù)提供強(qiáng)有力的約束，例如實(shí)例分割，語(yǔ)義SLAM和傳感器校準(zhǔn)。( b )和( c )表明Mobile - Seed的核心思想是將語(yǔ)義分割流和邊界檢測(cè)流集成在一個(gè)共享的框架中，并以相互促進(jìn)的方式進(jìn)行學(xué)習(xí)，同時(shí)保持實(shí)時(shí)效率。

主要貢獻(xiàn)

（1）提出了一個(gè)輕量級(jí)的移動(dòng)機(jī)器人聯(lián)合語(yǔ)義分割和邊界檢測(cè)框架，該框架可以同時(shí)學(xué)習(xí)邊界掩碼和語(yǔ)義掩碼。

（2)提出了AFD用于學(xué)習(xí)語(yǔ)義特征和邊界特征之間的通道關(guān)系。與固定權(quán)重方法(融合權(quán)重與輸入無(wú)關(guān))相比，AFD在為語(yǔ)義特征和邊界特征分配合適的權(quán)重方面更加靈活。

（3）引入雙任務(wù)正則化損失來(lái)有效緩解DDS產(chǎn)生的沖突，使得語(yǔ)義分割和邊界檢測(cè)任務(wù)互相促進(jìn)。

具體原理是什么？

Mobile - Seed的工作流，其中語(yǔ)義流S和邊界流B分別提取語(yǔ)義和邊界特征。AFD估計(jì)每個(gè)通道的語(yǔ)義特征Fs和邊界特征Fb的相對(duì)權(quán)重。在語(yǔ)義流中應(yīng)用一個(gè)輔助分類頭，用于訓(xùn)練過(guò)程中的直接監(jiān)督。分別對(duì)語(yǔ)義預(yù)測(cè)s、融合語(yǔ)義預(yù)測(cè)sf和邊界預(yù)測(cè)b進(jìn)行監(jiān)督，并依此進(jìn)行監(jiān)督。正則化損失Lreg減輕了由雙任務(wù)學(xué)習(xí)引起的分歧。

和其他SOTA方法的對(duì)比

語(yǔ)義分割的定性結(jié)果對(duì)比。

邊緣檢測(cè)的定性結(jié)果對(duì)比。

總結(jié)

這篇文章提出了一種新穎的輕量級(jí)框架Mobile - Seed用于聯(lián)合語(yǔ)義分割和邊界檢測(cè)。該方法由雙流編碼器和主動(dòng)融合解碼器( AFD )組成，其中編碼器分別提取語(yǔ)義和邊界特征，AFD為兩種特征分配動(dòng)態(tài)融合權(quán)重。此外，引入正則化損失來(lái)緩解雙任務(wù)學(xué)習(xí)中的發(fā)散問(wèn)題。Mobile - Seed可以部署在輕量級(jí)機(jī)器人平臺(tái)上，服務(wù)于語(yǔ)義SLAM、機(jī)器人操作等下游任務(wù)。

審核編輯：劉清