蘇州泛科特機(jī)器人公司 CTO & 知乎 UP 主袁博融碩士畢業(yè)于多特蒙德工業(yè)大學(xué)電氣工程與信息技術(shù)專業(yè)，深耕機(jī)器人及自動(dòng)化等領(lǐng)域，同時(shí)也是 NVIDIA 的忠實(shí)用戶，在 Jetson 開發(fā)者突破百萬這一里程碑時(shí)刻，袁博融老師分享了他使用 NVIDIA Jetson 進(jìn)行開發(fā)的故事與經(jīng)驗(yàn)。

初識 NVIDIA Jetson 平臺

袁博融老師是在碩士畢業(yè)前才接觸 NVIDIA Jetson 的。那時(shí)剛完成論文答辯，有了些空閑時(shí)間，便趁著教育優(yōu)惠還沒到期入手了一套NVIDIA Jetson TX1。

袁博融老師表示一開始也沒有明確的開發(fā)目標(biāo)，只是當(dāng)一個(gè)和樹莓派差不多的實(shí)驗(yàn)平臺進(jìn)行操作。但使用下來，他發(fā)現(xiàn) Jetson 的配置顯然比樹莓派好得多，有 GPU 和 CUDA，還有 Ubuntu 系統(tǒng)，可以做 ROS 開發(fā)。在這一使用階段，他在 Jetson 上面安裝了 Jupyter，主要是用 OpenAI Gym 跑強(qiáng)化學(xué)習(xí)，做 RealSense 相機(jī)的測試。那時(shí)候在 Jetson上裝 librealsense 還需要重新編譯內(nèi)核，現(xiàn)在已經(jīng)方便多了。在這塊板子上他學(xué)會了使用TensorRT，見識到了其在 AI 應(yīng)用上的潛力。后來有了 TX2 和 Jetson Nano，這塊板子的使命就結(jié)束了。

NVIDIA 在 Jetson 系統(tǒng)上做了很長時(shí)間的積累。Jetson 所使用的 Tegra SoC，初代產(chǎn)品 Tegra APX 2500 在 2008 年就已經(jīng)發(fā)布，甚至比 GeForce 100 系還早。而 Jetson 平臺的第一代產(chǎn)品 TK1 則在此 6 年之后才推出。他后來還收藏了搭載 Tegra K1 的 Yellowstone 平板，其性能不輸 Jetson Nano。

上圖是谷歌為 Tango 項(xiàng)目所開發(fā)的套件，發(fā)布于 2014 年。除了性能強(qiáng)大之外，它還搭載了 IMU，魚眼相機(jī)，以及基于結(jié)構(gòu)光的深度相機(jī)。即便系統(tǒng)幾年前已不再更新，現(xiàn)在仍能在上面運(yùn)行最新版的 RTAB-Map，可作為 VSLAM 開發(fā)的參考。Tango 項(xiàng)目實(shí)際只持續(xù)了 5 年，但極大促進(jìn)了移動(dòng)設(shè)備在環(huán)境感知、3D 重建、室內(nèi)導(dǎo)航及增強(qiáng)現(xiàn)實(shí)等領(lǐng)域的技術(shù)發(fā)展，也為之后的 ARCore 奠定了基礎(chǔ)。

NVIDIA Jetson 平臺

成為機(jī)器人開發(fā)的好幫手

最近一兩年，袁老師和他的團(tuán)隊(duì)的開發(fā)主要基于 Jetson Nano 和 Xavier NX，這兩款模塊具有較高的性價(jià)比與相互兼容的引腳設(shè)計(jì)。袁老師在知乎專欄中也和大家分享了一些有意思的應(yīng)用，比如自制 3D 相機(jī)和運(yùn)行 AI 圍棋，這些都得益于 Jetson 強(qiáng)大的通用算力。

另外由于其小尺寸低功耗和兼容引腳設(shè)計(jì)，甚至還能用來做一些更加不同尋常的應(yīng)用。比如矽遞科技推出了 Jetson Mate 載板，可以同時(shí)搭載 4 塊 Jetson Nano 或 Xavier NX。于是他也使用 4 塊 Xavier NX 搭建了一臺 Jetson 集群，還在其中設(shè)法嵌入了一個(gè)小尺寸無線路由。借助這臺集群，可以方便地進(jìn)行很多技術(shù)試驗(yàn)，比如 K8S 和 MinIO，MPI 并行計(jì)算，還有 ROS2 的 DDS 通信測試。

作為機(jī)器人開發(fā)者，為了方便進(jìn)行 SLAM 開發(fā)和測試，袁老師和他的團(tuán)隊(duì)搭建了一套手持 SLAM 平臺。上面搭載了 Livox 激光雷達(dá)、GigE 相機(jī)、GNSS 模塊、電池和觸摸屏，使用Xavier NX作為主控。Xavier NX 不僅可以滿足整套 SLAM 系統(tǒng)的實(shí)時(shí)運(yùn)算，還為傳感器提供了 PTP 同步服務(wù)。

袁老師及團(tuán)隊(duì)還在開發(fā)一款使用 Xavier NX 作為主控的托盤搬運(yùn)機(jī)器人。與眾不同的是，他們在這臺機(jī)器人上使用 DreamVu 的 PAL 全景深度相機(jī)作為主傳感器。值得一提的是，DreamVu 也是 NVIDIA 生態(tài)圈的合作伙伴之一。兩個(gè)團(tuán)隊(duì)正在一起為托盤搬運(yùn)機(jī)器人開發(fā)更好且更具性價(jià)比的感知方案。

使用單個(gè) PAL 相機(jī)就能實(shí)現(xiàn) 360° 的水平感知與 110° 的垂直感知覆蓋，消除了所有盲區(qū)，這是其它傳感器所無法提供的。而其得以實(shí)現(xiàn)也離不開 NVIDIA Jetson 的算力支持。使用單塊 Xavier NX，就可以實(shí)時(shí)完成圖像矯正、深度估計(jì)、目標(biāo)檢測，以及可通行區(qū)域檢測。

不可錯(cuò)過的 NVIDIA Jetson 平臺

隨著更多的開發(fā)者加入，以及大家對 Jetson 平臺有了更深的了解，袁老師及團(tuán)隊(duì)還將進(jìn)一步挖掘其潛力。Jetson 最獨(dú)特的優(yōu)勢在于提供了強(qiáng)大的通用算力。在機(jī)器人領(lǐng)域除了 AI 算法，還有很多算法可以并行化，這些都可以在 Jetson 上使用 GPU 或?qū)Ｓ须娐芳铀佟VIDIA 也提供Isaac平臺以方便進(jìn)行機(jī)器人應(yīng)用開發(fā)。當(dāng) Orin 平臺帶來更強(qiáng)算力后，機(jī)器人領(lǐng)域也可能出現(xiàn)新的技術(shù)革命，相信我們很快就能見證全新一代機(jī)器人的出現(xiàn)。

“作為一名早期開發(fā)者，很開心看到 Jetson 系列在這幾年內(nèi)飛速發(fā)展，成為邊緣計(jì)算領(lǐng)域最具吸引力的平臺，讓開發(fā)者們的各種奇思妙想得以實(shí)現(xiàn)。”袁老師表達(dá)了自己對于 NVIDIA Jetson 平臺迅速發(fā)展的祝賀。