前言

視覺伺服是工業上很重要的一個領域，在自動裝配、高精配準上應用非常多。針對近兩年常見的算法模式，在這里進行了簡單的匯總。

1、Predicting Target Feature Configuration of Non-stationary Objects for Grasping with Image-Based Visual Servoing

本文研究了RGB-D相機無法提供有效深度信息時，閉環抓取的最后逼近階段問題，這對于當前機器人抓取控制器失靈的情況下抓取非平穩物體是必要的。

在最后的抓取姿態下，本文預測觀察到的圖像特征像面坐標，并使用基于圖像的視覺伺服來引導機器人達到該姿態。

基于圖像的視覺伺服是一種成熟的控制技術，它可以在三維空間中移動攝像機，從而將圖像平面的特征配置驅動到某種目標狀態。先前的工作中，假設目標特征配置是已知的，但是對于某些應用，這可能是不可行的，例如第一次對場景執行運動。本文提出的方法對抓取最后階段的場景運動以及機器人運動控制中的誤差具有魯棒性。

2、Camera-to-Robot Pose Estimation from a Single Image（卡內基梅隆大學，代碼開源）

本文提出了一種從單個圖像估計攝像機相對于機器人姿態的方法。該方法利用深度神經網絡對攝像機的RGB圖像進行處理，檢測機器人上的二維關鍵點，并利用區域隨機化的方法對網絡進行完全的模擬訓練。假設機器人機械手的關節結構已知，一般使用PnP方式恢復相機外部。與傳統的手眼標定系統不同，本文的方法不需要離線標定步驟，能夠通過單幀計算相機外參，從而打開了在線標定的可能性。本文給出了三種不同攝像機傳感器的實驗結果，證明了該方法能夠在單幀條件下達到比傳統的多幀離線手眼標定更好的精度。通過附加幀，精度進一步提高。

3、Learning Driven Coarse-to-Fine Articulated Robot Tracking（ICRA2019）

本文提出了一種機器人關節跟蹤方法，它只依賴于顏色和深度圖像的視覺線索來估計機器人在與環境交互或被環境遮擋時的狀態。文章假設只有在觀測狀態和估計狀態之間建立亞像素級的精確對應關系時，關節模型擬合方法才能實現精確跟蹤。以前工作只依賴于識別深度信息或彩色邊緣對應作為跟蹤目標，并要求從聯合編碼器初始化。本文提出了一種粗糙到精細的關節狀態估計器，該估計器僅依賴于顏色邊緣和學習到的深度關鍵點的視覺線索，并由深度圖像預測的機器人狀態分布初始化。在四個RGB-D序列上評估了論文的方法，展示了KUKA-LWR臂和 Schunk-SDH2手與環境進行交互，并證明這種組合的關鍵點和邊緣跟蹤目標可以在不使用任何聯合編碼器傳感的情況下進行平均誤差為2.5cm的手掌位置估計。

4、CRAVES: Controlling Robotic Arm with a Vision-based Economic System（CVPR2019）

訓練機器人手臂來完成現實世界的任務已經引起學術界和工業界越來越多的關注。本文討論了計算機視覺算法在這一領域中的作用并專注于沒有傳感器的低成本機械臂，因此所有的決策都是基于視覺識別，例如實時三維姿態估計。然而，這就需要標注大量的訓練數據，不僅費時而且費力。基于該原因，本文提出了一種新的解決方案，即利用三維模型生成大量的合成數據，在該虛擬域中訓練一個視覺模型，并在域自適應后應用于真實圖像。為此，論文設計了一個半監督方法，充分利用了關鍵點之間的幾何約束，并采用迭代算法進行優化。該算法不需要對真實圖像進行任何標注，具有很好的推廣性，在兩個真實數據集上得到了不錯的三維姿態估計結果。本文還構建了一個基于視覺的任務完成控制系統，在虛擬環境中訓練了一個強化學習agent，并將其應用于現實世界。

5、Robot Arm Pose Estimation by Pixel-wise Regression of Joint Angles（ICRA）

為了用機械臂實現基于視覺的精確控制，需要良好的手眼協調。然而，由于來自關節編碼器的噪聲讀數或不準確的手眼校準，了解手臂的當前配置可能非常困難。提出了一種以手臂深度圖像為輸入，直接估計關節角位置的機器人手臂姿態估計方法。這是一種逐幀的方法，它不依賴于前一幀解的良好初始化或來自聯合編碼器的知識。為了進行估計，本文使用了一個隨機回歸森林，它基于綜合生成的數據進行訓練。論文比較了隨機森林的不同訓練目標，并分析了手臂的先驗分割對訓練精度的影響。實驗表明，這種方法提高了先前的工作，無論是在計算復雜性和準確性方面。盡管只對合成數據進行了訓練，但這種估計也適用于真實的深度圖像。