三個(gè)難點(diǎn)

　　與棋類運(yùn)動(dòng)和電腦游戲不同，在機(jī)器人運(yùn)動(dòng)控制領(lǐng)域運(yùn)用增強(qiáng)學(xué)習(xí)方法主要有以下三個(gè)難點(diǎn)：

　　“高”，即狀態(tài)和行為維數(shù)高。比如讓機(jī)器人為我們端杯水，需要增強(qiáng)學(xué)習(xí)算法提供如下的最優(yōu)運(yùn)動(dòng)控制策略：憑借具有深度、魚眼和普通圖像拍攝功能的實(shí)感TM攝像頭獲得圖像，分析出人和杯子的方向、距離、姿態(tài)以及人的表情，并通過聽覺獲得人發(fā)出命令的方位和急促程度，從而控制機(jī)器人（機(jī)械腿或底盤）走到人的面前；借助機(jī)器人手獲得重量、溫度、滑動(dòng)信息，依據(jù)人手的方位控制機(jī)器人手臂和手指各關(guān)節(jié)的實(shí)時(shí)角度。這個(gè)過程所涉及的狀態(tài)和行為的維數(shù)以百萬計(jì)，而對(duì)每個(gè)狀態(tài)行為進(jìn)行價(jià)值（如人的滿意度）計(jì)算也非常困難。

　　“大”，即狀態(tài)信息誤差大。棋類運(yùn)動(dòng)中的狀態(tài)（盤面）信息完全準(zhǔn)確，但機(jī)器人所面對(duì)的狀態(tài)信息，大多存在明顯誤差。如在遞水這個(gè)場(chǎng)景中，我們所獲得的人和杯子的方向、距離、姿態(tài)以及人的表情、動(dòng)作信息都存在誤差。誤差可能是由機(jī)械振動(dòng)或機(jī)器人運(yùn)動(dòng)等因素造成，也可能是因?yàn)?a href='http://www.nxhydt.com/v/tag/117/' target='_blank' class='arckwlink_none'>傳感器精度不夠高，存在噪聲，亦或是由于算法不夠精確。這些誤差都增加了增強(qiáng)學(xué)習(xí)的難度。

　　“少”，即樣本量少。不同于人臉等圖像識(shí)別任務(wù)中動(dòng)輒百萬的訓(xùn)練樣本，機(jī)器人增強(qiáng)學(xué)習(xí)可獲得的樣本數(shù)量少、成本高，主要原因是：機(jī)器人在運(yùn)動(dòng)過程中可能出現(xiàn)疲勞和損壞，還可能會(huì)對(duì)目標(biāo)物或環(huán)境造成破壞；機(jī)器人的參數(shù)在運(yùn)動(dòng)中會(huì)發(fā)生改變；機(jī)器人運(yùn)動(dòng)需要一定的時(shí)間；很多機(jī)器人學(xué)習(xí)任務(wù)需要人的參與配合（如上述遞水場(chǎng)景中需要有人接水）。這些都使得獲得大量訓(xùn)練樣本十分困難。

　　三種解決方法

　　面對(duì)上述困難，我們難道就無計(jì)可施了嗎？當(dāng)然不是，科學(xué)家們提出了一整套解決問題的思路，主要有如下三點(diǎn)：

　　一個(gè)融合了“虛、先、近”三種策略的機(jī)器人運(yùn)動(dòng)控制增強(qiáng)學(xué)習(xí)框架

　　“虛”，即采用虛實(shí)結(jié)合的技術(shù)。我們可以通過程序虛擬出環(huán)境讓機(jī)器人進(jìn)行預(yù)訓(xùn)練，以克服實(shí)際采樣過程中可能出現(xiàn)的種種難題。虛擬軟件不但能模擬機(jī)器人的完整運(yùn)動(dòng)特性，如有幾個(gè)關(guān)節(jié)、每個(gè)關(guān)節(jié)能如何運(yùn)動(dòng)等，還能模擬機(jī)器人和環(huán)境作用的物理模型，如重力、壓力、摩擦力等。機(jī)器人可以在虛擬環(huán)境中先進(jìn)行增強(qiáng)學(xué)習(xí)的訓(xùn)練，直到訓(xùn)練基本成功再在實(shí)際環(huán)境中進(jìn)一步學(xué)習(xí)。虛實(shí)結(jié)合的增強(qiáng)學(xué)習(xí)主要面臨兩個(gè)挑戰(zhàn)。一個(gè)是如何保證虛擬環(huán)境中的學(xué)習(xí)結(jié)果在實(shí)際中仍然有效。面對(duì)這一難題，我們可以對(duì)虛擬環(huán)境與實(shí)際環(huán)境中的差別進(jìn)行隨機(jī)性的建模，在虛擬環(huán)境中訓(xùn)練時(shí)引入一些噪聲。另一個(gè)挑戰(zhàn)是如何實(shí)時(shí)獲得外部環(huán)境和目標(biāo)的虛擬模型，最新的深度攝像頭可以幫助我們解決這個(gè)問題。

　　“先”，即先驗(yàn)知識(shí)。引入先驗(yàn)知識(shí)可以大幅降低增強(qiáng)學(xué)習(xí)優(yōu)化的難度。先驗(yàn)知識(shí)有很多種，但對(duì)于機(jī)器人而言，獲得先驗(yàn)知識(shí)比較有效的途徑是“學(xué)徒學(xué)習(xí)”，即讓機(jī)器人模仿人的示教動(dòng)作，再在應(yīng)用中通過增強(qiáng)學(xué)習(xí)優(yōu)化。由于機(jī)器人運(yùn)動(dòng)所面臨的狀態(tài)維數(shù)極高，通過手工輸入知識(shí)非常困難，而人做示范則較為方便，還降低了先驗(yàn)知識(shí)引入的門檻，不太了解機(jī)器人技術(shù)的人也可以進(jìn)行。示教主要有三類方法：一是由人拖動(dòng)機(jī)器手做動(dòng)作；二是使用專門的運(yùn)動(dòng)捕捉設(shè)備獲得人的動(dòng)作；三是直接使用深度攝像頭獲取人的動(dòng)作。從長(zhǎng)遠(yuǎn)看，第三種方法會(huì)成為以后的發(fā)展趨勢(shì)。

　　“近”，即近似。由于機(jī)器人運(yùn)動(dòng)控制的狀態(tài)維數(shù)高、樣本少且存在誤差，所以將維數(shù)高的狀態(tài)近似為不丟失主要信息又能增加可訓(xùn)練性的函數(shù)就成為一項(xiàng)重要的選擇。使用近似方法提高增強(qiáng)學(xué)習(xí)算法性能的一大熱點(diǎn)就是將深度學(xué)習(xí)技術(shù)與增強(qiáng)學(xué)習(xí)相結(jié)合所形成的深度增強(qiáng)學(xué)習(xí)技術(shù)，此技術(shù)直接將機(jī)器人的狀態(tài)（如傳感器和關(guān)節(jié)狀態(tài)輸入）通過高層的卷積神經(jīng)網(wǎng)絡(luò)映射為機(jī)器人的動(dòng)作輸出，大大提高了機(jī)器人基于增強(qiáng)學(xué)習(xí)進(jìn)行運(yùn)動(dòng)控制的性能。該技術(shù)在近兩年來取得了突破性的進(jìn)展。

　　上述解決方法為增強(qiáng)學(xué)習(xí)在機(jī)器人動(dòng)作控制領(lǐng)域的應(yīng)用打開了大門，成為機(jī)器人研究的重要方向之一，但目前還存在許多實(shí)際難題亟待解決。科研人員正在對(duì)深度增強(qiáng)學(xué)習(xí)、學(xué)徒學(xué)習(xí)（模仿學(xué)習(xí)）和虛實(shí)結(jié)合學(xué)習(xí)方面進(jìn)行一系列探索。