描述

強(qiáng)化學(xué)習(xí)是人工智能的一個(gè)分支，計(jì)算機(jī)通過(guò)與問(wèn)題直接交互來(lái)了解問(wèn)題。該項(xiàng)目使用強(qiáng)化學(xué)習(xí)來(lái)嘗試學(xué)習(xí)在舊 iPhone 上玩 Doodle Jump 游戲。相機(jī)每秒從 iphone 拍攝 30 張圖像。對(duì)這些圖像進(jìn)行分析，然后一個(gè)簡(jiǎn)單的機(jī)器人通過(guò)旋轉(zhuǎn) iPhone 并按下屏幕上的按鈕來(lái)操縱 iPhone。

硬件

該項(xiàng)目的“智能”部分是運(yùn)行機(jī)器人操作系統(tǒng) (ROS) 和 TensorFlow 的 Nvidia Jetson。機(jī)器人包括：

• 用于旋轉(zhuǎn) iPhone 的步進(jìn)電機(jī)。
• 用于按下 iPhone 屏幕上的按鈕的伺服電機(jī)和螺線管。
• Ximea 相機(jī)用于捕捉 iPhone 屏幕的圖片，并通過(guò) USB3 將它們提供給 Jetson。
• EIBot 板驅(qū)動(dòng)步進(jìn)器和伺服系統(tǒng)。
• 復(fù)古外觀的盒子中還有一個(gè)電源，可為 Jetson 提供 12 伏電壓，為 EIBot 板提供 19 伏電壓，為 USB 集線器提供 5 伏電壓。
• 用于運(yùn)行 Linux 和控制事物的鍵盤、鼠標(biāo)和顯示器。

軟件

ROS 是構(gòu)建此類項(xiàng)目的絕佳方式。使用 ROS，我可以將系統(tǒng)構(gòu)建為一組使用標(biāo)準(zhǔn)消息傳遞系統(tǒng)進(jìn)行通信的獨(dú)立進(jìn)程。該項(xiàng)目包括 C++ 和 Python 進(jìn)程。消息編譯器以兩種語(yǔ)言構(gòu)建存根，因此可以輕松傳遞消息。ROS的主要模塊包括：

• 從相機(jī)接收?qǐng)D像的相機(jī)驅(qū)動(dòng)程序。
• 從屏幕上讀取分?jǐn)?shù)的簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)。
• 一個(gè)更大的、基于 TensorFlow 的神經(jīng)網(wǎng)絡(luò)，用于分析從相機(jī)接收到的圖片。這是通過(guò)與機(jī)器人交互訓(xùn)練的網(wǎng)絡(luò)。
• 一個(gè)存檔過(guò)程，負(fù)責(zé)將操作和屏幕圖像保存在 sqlite 數(shù)據(jù)庫(kù)中以供以后訓(xùn)練使用。
• EIBot 板驅(qū)動(dòng)程序。
• 屏幕驅(qū)動(dòng)程序。

強(qiáng)化學(xué)習(xí)

人工智能的強(qiáng)化學(xué)習(xí)分支是最活躍的領(lǐng)域之一。該系統(tǒng)使用一種稱為模仿學(xué)習(xí)的變體。我使用機(jī)器人操縱 iPhone 玩了數(shù)百場(chǎng) Doodle Jump 游戲。系統(tǒng)存檔圖像和我采取的行動(dòng)。這些圖像和動(dòng)作被用作神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集。在系統(tǒng)開始做任何有意義的事情之前，它需要數(shù)千張訓(xùn)練圖像。目前該系統(tǒng)可以玩一個(gè)基本的游戲。它不會(huì)瘋狂??地按下按鈕或隨機(jī)搖動(dòng)屏幕。作為學(xué)習(xí)的一部分，我會(huì)盡可能及時(shí)地糾正錯(cuò)誤的決定。這些游戲和修正，以及隨機(jī)選擇的最后 20K 張圖像，在每次運(yùn)行后用作訓(xùn)練。

這個(gè)過(guò)程比我預(yù)期的要慢得多。我希望通過(guò)采用更復(fù)雜的學(xué)習(xí)模型來(lái)改進(jìn)事情，我希望讓系統(tǒng)松散以自行學(xué)習(xí)。