描述

杰森姐妹

Jetson姐妹是兩款基于Jetson Nano開發系統的輔助機器人。這些機器人被設計為老年人或獨居者的助手機器人。每個機器人都具有彼此不同的特征，因此每個機器人都可以提供可以更好地與用戶交互的技能。大姐姐是專為戶外工作而設計的機器人。它更堅固，非常適合在家外工作。作為專為戶外工作而設計的機器人，大姐姐可以承載更多的重量，這可以讓用戶將其用作去超市購物的工具或作為伴侶（該機器人具有差分運動學）。

另一方面，小姐姐是一種更小、更不堅固的機器人，專為小公寓等室內設計而設計（該機器人具有全向運動學）。由于這些機器人的可能用途，每個機器人都包含人工智能 (AI) 算法，使它們能夠識別人、情緒并識別家中的不同位置。由于 Jetson 姐妹的主要想法是與人互動，因此我們加入了與語音助手 Alexa 的聯系。這樣，用戶可以通過自然語言（語音）控制姐妹們，允許下達諸如“你可以去廚房”之類的命令。

姐姐嵌入了回聲輸入（圖 2）。而妹妹可以通過 Alexa 生態系統中的任何其他設備進行控制。

而妹妹可以通過 Alexa 生態系統中的任何其他設備進行控制。

然而，用如此強大的開發工具構建了一個搶劫并能夠使用語音連接到 Alexa，我想到了......為什么不讓大姐通過低功耗藍牙 (BLE) 進行通信，從而連接可穿戴設備并將這些信息顯示在 LCD 屏幕上？好吧，從這次叛亂中，大姐姐整合了一個BLE通信系統，它允許通過alexa，知道你的每分鐘節拍，步數等。所有這些信息都是從TTGO T-Watch獲得的（雖然這個項目沒有考慮這種可能性使用深度學習分析信號，同時我正在這樣做，但由于時間問題，它們沒有顯示）。

Alexa 技能

為了為 Alexa 創建技能，我們在 Alexa Amazon 中注冊了一個帳戶。

在這一步之后，我們通過單擊“創建技能”按鈕來創建我們的技能：

創建技能后，將向用戶提供調用詞以開始與其交互。例如，如果技能名稱是“robot one”，用戶需要說“Alexa start the robot one”。由于這個項目不是關于如何做一個alexa技能，而是關于實現深度學習、機器人和jetson nano，你可以查看這個教程。

以下是對杰森姐妹各部分的介紹。這兩個系統可以具有相同的視覺硬件，因為分類算法獨立于機器人。出于預算原因，我不得不進行硬件分發，這意味著一個姐妹將擁有一個 360o 相機，另一個姐妹將擁有一個深度相機 :'(。

實感相機

英特爾? 實感? 深度攝像頭 D435 是一種立體跟蹤解決方案，可為各種應用提供優質深度。其廣闊的視野非常適合機器人或增強現實和虛擬現實等應用，在這些應用中，盡可能多地看到場景至關重要。這款相機的范圍可達 10 米，其小巧的尺寸使其可以輕松集成到任何硬件中。它配備了英特爾實感 SDK 2.0 和多平臺支持。

實感相機

英特爾? 實感? 深度攝像頭 D435 是一種立體跟蹤解決方案，可為各種應用提供優質深度。它的寬視野非常適合機器人或增強現實和虛擬現實等應用，在這些應用中，盡可能多地看到場景至關重要。這款小型相機的范圍可達 10 米，可以輕松集成到任何解決方案中，并配備了我們的英特爾實感 SDK 2.0 和跨平臺支持。

理光THETA V

這個機器人有一個單廣角鏡頭相機，這是理光在RICOH THETA Dream and Build Contest中給我頒發的。相機的技術特性可以在以下鏈接中看到。

只需按下快門按鈕，您就可以捕捉到整個周圍的環境。享受您從未體驗過的全新影像世界。

最引起我注意的功能之一是它的處理器 Snapdragon 625。

所以，我想知道我能用這臺相機做什么，用它來拍照，將它們發送到網絡服務，分析它們并返回分析后的信息……嗯，對我來說這是一種浪費。這就是為什么我想到將我的想法分為兩部分，第一部分（簡單的東西）我的機器人以簡單的方式使用相機。將它用作另一個攝像頭，這樣我的機器人就可以對其環境有全局視野。

硬件說明

在本節中，我將描述構成 Jetson 的兩個姐妹的不同部分。

大姐

至此我們已經完成了系統的第一部分，接下來就是大姐的搭建了。為了制作這種結構，我使用了鋁結構（圖 12）：

圖 13 顯示了使用 SolidWorks 工具制作的 3D 設計，這是機器人可以擁有的眾多形狀之一。因為，在使用模塊化系統時，機器人可以有任何形狀。

下面的圖 14 [A 到 D] 顯示了用于控制機器人輪子的組件。

大姐分為兩個部分幫助控制機器人，第一部分負責 Arduino Mega 2560，第二部分使用 Jetson Nano（圖 10）。Arduino負責控制與機器人底層相關的一切，即它控制電機和一些Sharp GP2Y0A2YK0F距離傳感器。這些傳感器用于在檢測到一定距離內的物體時為機器人提供反應控制。為了控制電機機器人，Jetson Nano 發送一個 JSON 命令。發送到 Arduino 的消息被序列化，Arduino 提取不同的元素對其進行反序列化。發送給Arduino的消息如下：

"Stop_robot": "False", "direction": "True", "linear_speed": "0.2", "angular_speed": "0.0"}

"Stop_robot": "False", "direction": "True", "linear_speed": "0.2", "angular_speed": "0.0"}

此消息由 4 個字段組成，兩個布爾值和兩個浮點值，布爾字段允許電機的方向控制（CW 或 CCW）和電機的停止。另外兩個字段是線速度和角速度。出于安全原因，最大速度被限制為 0.2，這在 PWM 中相當于總速度的 20%。

機器人使用的電機是兩個吸塵板電機。

霍爾編碼器連接和電機電源線的配置如圖 16 所示。

要控制這些電機，需要為每個電機配備一個 ESC 控制器。該控制器必須支持 36V 的電壓，因此我們使用了帶有 MODET 晶體管的 ESC，該控制器如下所示（圖 17）。

圖 18 顯示了為控制電機而進行的不同連接（控制電機和編碼器的電纜顏色是所有電機的標準顏色）。

然而，這些電機的一個問題是編碼器，用于控制機器人的 ESC 具有輸入和輸出。arduino 中斷使用此輸出來計算電機的旋轉，唯一的問題是如果輪子改變旋轉，通過中斷引腳的信號不會改變。

為此需要添加一個外部編碼器，這個編碼器可以幫助機器人知道輪子的旋轉角度和行進的距離。用于執行此操作的編碼器是AS5048B-TS_EK_AB 。

妹妹

妹妹是使用全向輪式平臺建造的（圖 20 和 21）。

?

軟件說明

在本節中，我將描述所使用的軟件工具的不同部分，以便 Jetson 工具執行不同的交互和多分類任務。重要的是確定姐妹們使用了三個訓練好的模型。其中兩個是靜態的（情感分類和房子里的地方分類），也就是說只訓練一次，第三個模型可以是動態的。由于用戶可以動態增加分類的數量。最后一個模型被稱為“Things of the house”。

?

?

?

深度學習部分

這個龐大項目最重要的部分之一是技術的應用和使用 Jetson Nano 的深度學習工具。重要的是要指出這些機器人的想法是它們可以在房子里或街道上工作，最后一個可能是最復雜的，因為我沒有在戶外工作的激光雷達：' （。我的機器人當時使用不同的模型來分類，也就是說機器人使用相同的圖像來確定它所在的位置，人的情緒（如果它檢測到人臉）和檢測家里的物品。

注意：此項目僅適用于此軟件版本：

蟒蛇版本：3.6.9

張量流版本：2.0.0

喀拉斯版本：2.3.1

居所分類

為了使之可行，機器人必須能夠識別家中的各個地方。為此，機器人需要一些預先的過程，即機器人需要了解它們將展開的位置。為此，需要將機器人放置在家里的每個房間、廚房、客廳、走廊、房間等。每個地方大約拍攝 200 張圖像。這些圖像是使用360o Ricoh Theta V 相機騙取的。

這些圖 26 被調整為 224x224 的大小，一旦調整大小，數據集就被創建，將用于訓練網絡。

圖 27 顯示了在驗證階段從房屋中的地點分類獲得的矩陣。從該圖中可以確定，系統正確識別了機器人所在的位置。

情緒分類

情緒分類是機器人的一個重要方面，因為情緒會影響人類行為并影響您的健康。正是出于這個原因，我引入了一個情緒分類模型，它可以對 7 種情緒進行分類：AF = 害怕，AN = 憤怒，DI = 厭惡，HA = 快樂，NE = 中性，SA = 悲傷和 SU = 驚訝。

?

家里的東西

這是一個負責對房屋內的物品進行分類的模型，這是一個動態模型。這意味著用戶可以修改它，在模型中添加類。這個模型的活力，主要是因為并不是所有的房子都有相同的對象。

?

?

附錄

機器人要與alexa skill進行通信，需要用到ngrok工具。這允許在 alexa 和機器人之間創建一個通信隧道。

端口：3000

sudo ./ngrok http 3000

NVIDIA 開發用戶：Jaime Andres Rincon Arango

?

?

結論和未來的工作

已展示的項目是我正在做的個人項目的一小部分，主要目標是將深度學習算法集成到 Jetson Nano 中。與此同時，我一直在嘗試將這些機器人與亞馬遜的 Alexa 語音助手相結合。然而，由于機器人需要時間來整理情緒、房子的位置和房子里的東西，所以這種整合并不成功。作為未來的工作，我希望與 Nvidia Isaac 集成，以減少語音交互時的延遲。除了改進導航算法外，對內部（小姐姐）和外部（大姐姐）使用激光雷達，并通過強化使機器人融入學習。集成基于多代理系統的系統，使兩姐妹相互協作，

可能的錯誤

如果您在使用 Flask、Keras 和 Tensorflow 時遇到此錯誤，可以在此鏈接中查看解決方案。

AttributeError: '_thread._local' 對象沒有屬性 'value'

注意：已描述的項目不是周末項目。這是一個復雜的項目，其中集成了不同的 AI 技術以及不同級別的編程。

?