作者：paopaoslam? ? 作者：Daniel Yang, Tarik Tosun, Benjamin Eisner, Volkan Isler, and Daniel Lee 來(lái)源：?2021 IEEE International Conference on Robotics and Automation (ICRA) ? ?

摘要

? 我們提出了一種新的機(jī)器人抓取規(guī)劃方法，該方法同時(shí)使用了學(xué)習(xí)的抓取提議網(wǎng)絡(luò)和學(xué)習(xí)的3D形狀重建網(wǎng)絡(luò)。我們的系統(tǒng)從目標(biāo)對(duì)象的單個(gè)RGB-D圖像生成6-DOF抓取，該圖像作為兩個(gè)網(wǎng)絡(luò)的輸入。通過幾何重構(gòu)來(lái)優(yōu)化抓取提議網(wǎng)絡(luò)生成的候選抓取，我們的系統(tǒng)能夠準(zhǔn)確地抓取已知和未知物體，即使在物體上的抓取位置在輸入圖像中不可見 本文介紹了該系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練過程和優(yōu)化方法。實(shí)驗(yàn)證明了我們的系統(tǒng)在抓取已知和未知物體時(shí)的有效性(在物理機(jī)器人環(huán)境中成功率為91%，在模擬環(huán)境中成功率為84%)。我們還進(jìn)行了消融研究，展示了將學(xué)習(xí)抓取提議與幾何重建相結(jié)合的好處，也表明我們的系統(tǒng)在抓取任務(wù)中優(yōu)于多個(gè)參考基線。?

圖1:系統(tǒng)概述。一個(gè)帶有分割掩碼的輸入RGB-D圖像被提供給兩個(gè)神經(jīng)網(wǎng)絡(luò)，分別產(chǎn)生一個(gè)6自由度的抓取姿勢(shì)和一個(gè)物體的3D點(diǎn)云重建。通過將抓取姿勢(shì)投影到點(diǎn)云中最近的點(diǎn)來(lái)優(yōu)化抓取姿勢(shì)，從而產(chǎn)生最終的輸出抓取。

圖2:GPNet的架構(gòu)由并行的ResNet-34模塊組成，這些模塊嵌入了屏蔽的灰度圖像和深度圖像。這些嵌入被連接起來(lái)，并通過兩個(gè)完全連接的層回歸到一個(gè)向量t∈R12，表示齊次變換C TG。

圖3:在我們單獨(dú)的shoe和YCB對(duì)象數(shù)據(jù)集中的示例抓取。從使用3D網(wǎng)格生成的一組候選抓取中，我們?yōu)槊總€(gè)對(duì)象選擇一個(gè)單一的基本事實(shí)示例。

圖4:從前景掩蓋灰度和深度圖像中，我們的3D形狀重建網(wǎng)絡(luò)SRNet學(xué)習(xí)了一個(gè)映射函數(shù)fθ，該函數(shù)將點(diǎn)從標(biāo)準(zhǔn)域(如單位球體)映射到3D對(duì)象。我們的系統(tǒng)利用這種重建所提供的附加幾何信息來(lái)改進(jìn)GPNet提出的抓取。

圖5:將建議的抓取投影到重建點(diǎn)云上提高抓取準(zhǔn)確性。左：灰度鞋圖像。右：覆蓋在可見點(diǎn)云上的SRNet重建。

圖6：可見抓取（左）和隱藏抓取（右）實(shí)驗(yàn)設(shè)置。在可見抓取實(shí)驗(yàn)中，相機(jī)以50度仰角，距離鞋子500mm處，鞋子以90度增量依次放置在4個(gè)位姿（A-D）處。在隱藏式抓取實(shí)驗(yàn)中，相機(jī)距離鞋子500mm并與桌子平行，鞋子分別以45度增量放置在四個(gè)位姿處（E-H）。從這些角度看不到鞋子左側(cè)的抓握點(diǎn)。

表I：可見抓握（VG）和隱藏抓握（HG）設(shè)置的鞋子抓取實(shí)驗(yàn)成功率

表II：從兩個(gè)角度統(tǒng)計(jì)的每只鞋子抓取成功率。

圖7：與物理設(shè)置蕾絲的模擬實(shí)驗(yàn)評(píng)估環(huán)境-Kinova Gen3臂和Robotiq 2F-85 平行顎夾鉗

表III：每個(gè)物體的抓取成功率（%）。糖盒是一個(gè)測(cè)試對(duì)象。對(duì)測(cè)試對(duì)象的600個(gè)視圖和火車對(duì)象的60個(gè)視圖進(jìn)行了評(píng)估，所有這些都使用YCB數(shù)據(jù)集中的RGB-D信息，并將對(duì)象放置在運(yùn)動(dòng)學(xué)可觀的位姿模擬中。

Abstract

We present a novel approach to robotic grasp ?planning using both a learned grasp proposal network and a ?learned 3D shape reconstruction network. ?Our system generates 6-DOF grasps from a single RGB-D image of the target object, ?which is provided as input to both networks. ?By using the ?geometric reconstruction to refine the the candidate grasp ?produced by the grasp proposal network, our system is able to ?accurately grasp both known and unknown objects, even when ?the grasp location on the object is not visible in the input image.? ?

This paper presents the network architectures, training ?procedures, and grasp refinement method that comprise our ?system. ?Experiments demonstrate the efficacy of our system at ?grasping both known and unknown objects (91% success rate in ?a physical robot environment, 84% success rate in a simulated ?environment). ?We additionally perform ablation studies that ?show the benefits of combining a learned grasp proposal with ?geometric reconstruction for grasping, and also show that our ?system outperforms several baselines in a grasping task.

編輯：黃飛

?