精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

使用myAGV、Jetson Nano主板和3D攝像頭,實現了RTAB-Map的三維建圖功能!

大象機器人科技 ? 來源:大象機器人科技 ? 作者:大象機器人科技 ? 2024-08-28 10:22 ? 次閱讀

引言
在現代機器人技術中,高精度的環境感知與建圖是實現自主導航的關鍵。本文將展示如何使用myAGV Jetson Nano移動平臺搭載Jetson Nano BO1主板,結合RTAB-Map和3D相機,實現更加立體和細致的環境建圖。myAGV Jetson Nano具備SLAM雷達導航功能,Jetson Nano提供了強大的計算能力,適合處理復雜的SLAM任務。通過引入3D攝像頭,我們能夠將攝像頭采集的深度信息融入到地圖中,使其不僅具有平面數據,還包含了豐富的立體信息。在本文中,我們將詳細介紹這一過程中使用的技術,以及解決實施中遇到的問題。

背景與需求分析
在機器人自主導航中,精確的環境感知和地圖構建至關重要。傳統的二維SLAM技術雖然能夠實現實時定位和建圖,但在復雜的三維空間中,往往無法充分描述環境的立體結構。

為了解決這一問題,我們選擇了myAGV Jetson Nano,該產品具備高性能的SLAM雷達導航能力和強大的計算處理能力,非常適合復雜環境下的自主任務。然而,二維SLAM在描述立體空間時仍顯不足。因此,我們引入了3D攝像頭,通過捕捉環境的深度信息,生成更加立體和細致的三維地圖,提升機器人的環境感知能力。

為了實現這一目標,我們采用了RTAB-Map作為建圖工具,它能夠處理RGB-D數據并支持實時的三維建圖與定位。通過將RTAB-Map與3D攝像頭結合在這款產品上使用,我們希望在復雜環境中實現高精度的三維SLAM建圖,滿足實際應用的需求。

產品
myAGV Jetson Nano
myAGV Jetson Nano 2023采用NVIDIA? Jetson Nano B01 4GB核心主板,搭配大象機器人專為機器人定制的Ubuntu Mate 20.04 操作系統,流暢易用;myAGV 2023具備2D建圖與導航、3D建圖與導航、圖形化編程、可視化軟件、ROS仿真、手柄鍵盤控制等多鐘功能,是科研教育、個人創客的首選。

wKgaombOiFyACNN3AAVWAqMYlVM966.png

Astra Pro2
Astra Pro2深度相機是基于3D 結構光成像技術獲取物體的深度圖像,同時利用彩色相機采集物體的彩色圖像,適用于0.6m-6m 距離進行3D物品和空間掃描的智能產品,可實現測量距離內的物體深度數據測量。作為Astra系列的迭代升級產品,Astra Pro 2配置MX6000自研深度感知芯片,最高支持1280x1024深度圖像,自帶多分辨率下深度圖像與彩色圖像空間對齊功能,可廣泛應用于機器人避障、低精度3D測量、體感交互等場景。具備RGB-D功能,能夠捕捉彩色圖像和深度信息,用于生成三維地圖。

wKgZombOiJ2AUghNAAHDx2Tdy6M453.png

所有所需要的依賴的功能包,在myAGV所安裝的額ubuntu 20.04系統中已經按照好,我們可以直接使用ROS當中的rtabmap以及astra pro2的功能包。

rtabmap 實現
myagv 已經打包好了一些基本的功能我們直接使用,在這個過程中分析一下他們的功能。

啟動程序
首先得啟動里程記和雷達。

roslaunch myagv_odometry myagv_active.launch

myagv_active.launch啟動文件負責初始化和啟動與機器人運動估計和傳感器數據獲取相關的核心組件。



   
    
   
   
   
   
   
   
       
   
     
     
     
     
     
     
     
     
-->
   
 
   

myagv_odometry_node:啟動里程計節點,用于計算機器人在環境中的位置和姿態。

robot_description參數:加載機器人的URDF文件(統一機器人描述格式),描述機器人的物理結構。

joint_state_publisher和robot_state_publisher:發布機器人的關節狀態和機器人的整體狀態信息。

static_transform_publisher:定義固定的坐標變換,用于將機器人基座和傳感器(如相機、IMU)之間的相對位置和姿態聯系起來。

robot_pose_ekf:使用擴展卡爾曼濾波器(EKF)融合里程計、IMU等傳感器數據,提供更精確的機器人位姿估計。

ydlidar_ros_driver:啟動激光雷達(LiDAR)驅動節點,用于獲取環境的激光掃描數據。

然后是啟動astra pro2 深度相機

roslaunch orbbec_camera astra_pro2.launch

它設置了必要的ROS節點來處理相機的RGB-D數據流,包括初始化相機、設置圖像和深度處理的各種參數,并將相機數據發布到ROS主題,以供其他節點(如SLAM或物體檢測)使用。

里面已經默認設置好了一些必要的參數,如果需要修改的話請按照官方文檔提供的sdk進行修改:3D視覺AI開放平臺

例如一下參數:

/camera/color/camera_info : 彩色相機信息(CameraInfo)話題。
/camera/color/image_raw: 彩色數據流圖像話題。
/camera/depth/camera_info: 深度數據流圖像話題。
/camera/depth/image_raw: 紅外數據流圖像話題。
/camera/depth/points : 點云話題,僅當 enable_point_cloud 為 true 時才可用`.
/camera/depth_registered/points: 彩色點云話題,僅當 enable_colored_point_cloud 為 true 時才可用。
/camera/ir/camera_info: 紅外相機信息(CameraInfo)話題。
/camera/ir/image_raw: 紅外數據流圖像話題。

緊接著啟動rtabmap啟動文件建圖就可以開始建圖了。

roslaunch myagv_navigation rtabmap_mapping.launch

 
 
   
 

   
   
   
     
     
     
      
     
     
      
   

   
         
         
         
         
         

         
         
         

         

         
         
         
         
         
         
          
         
          
         
         
         
         
   
 
     
 
 

啟動組(group):

● 將RTAB-Map相關的節點分組,使得它們共享相同的命名空間(rtabmap),方便管理和數據處理。

RGB-D同步節點(rgbd_sync):

● 啟動一個用于同步RGB圖像和深度圖像的節點,將攝像頭的原始圖像數據轉換成RTAB-Map可以處理的格式。

RTAB-Map SLAM節點:

● 啟動RTAB-Map SLAM算法,配置SLAM相關的參數,如訂閱的傳感器數據、隊列大小、以及優化和ICP(迭代最近點算法)相關的參數。該節點負責實時處理傳感器數據,生成環境地圖并估計機器人的位姿。

RViz可視化:

● 啟動RViz,用于實時可視化RTAB-Map生成的地圖和機器人的位姿。

靜態變換發布(tf):

● 定義并發布激光雷達和機器人體框架之間的固定坐標變換,確保SLAM算法能夠正確地將傳感器數據對齊到相同的坐標系中。

接下來看看效果如何。

wKgZombOiXmADE8uACF7tVBsJA8239.png

效果也不是特別特別的流暢

wKgaombOiYCAPwQLAA94JZ5tRbQ565.png

問題
實現是實現了基本的建圖,但是從圖片中看,即使是Jetson Nano的主板,在性能上還是有所欠缺,在建圖的時候還是會有所卡頓。

所以有沒有辦法,來解決這個問題呢,能夠保證相對完整的建圖。

答案是當然有。

那就是ROS的多機通訊!

解決辦法
ROS多機通訊
ROS多機通信指的是在多個計算設備之間通過ROS網絡共享信息和任務的能力。這在處理復雜機器人應用時特別有用,比如當單個設備(如Jetson Nano)無法處理所有計算任務時,可以通過網絡將部分任務分擔給其他設備(如一臺性能更強的PC)。

簡而言之就是,Jetson Nano主板負責處理slam的一些計算,用一臺性能強的PC來處理深度相機得到圖形處理。

1. 配置網絡

● 確保PC和Jetson Nano在同一個網絡下,并可以互相通信。

● 設置每臺設備的ROS環境變量,主要是ROS_MASTER_URI和ROS_IP或ROS_HOSTNAME。

PC:
export ROS_MASTER_URI=http://:11311
export ROS_IP=

Jetson
export ROS_MASTER_URI=http://:11311
export ROS_IP=

2. 啟動核心節點

在PC端上啟動核心節點,這樣Jetson Nano可以通過多機通信與PC的ROS核心進行通信

3. 節點分布

● PC端(SLAM建圖):在PC上運行RTAB-Map節點,訂閱來自Jetson Nano的傳感器數據,并進行SLAM建圖。

● Jetson Nano端(圖形處理):Jetson Nano運行傳感器驅動節點(如深度相機),并發布圖像和深度數據。

● 同時,可以運行圖形處理節點,處理訂閱的SLAM結果或地圖數據。

4. 數據傳輸

通過ROS topics在PC和Jetson Nano之間傳遞數據。例如,Jetson Nano可以將相機的RGB-D數據發布到/camera/color/image_raw和/camera/depth/image_raw等主題,PC端的RTAB-Map節點則訂閱這些主題。

來看建圖的效果,是不是比之前的流暢了許多。

總結
在本次技術案例中,我們成功地使用這款產品結合Jetson Nano主板和3D攝像頭,實現了RTAB-Map的三維建圖功能。

然而,在實施過程中,我們遇到了性能瓶頸的問題,特別是在Jetson Nano主板上運行復雜的SLAM算法時,計算負荷較重,導致實時性和穩定性受到一定影響。為了解決這一問題,我們引入了多機通訊技術,將部分計算任務分配到另一臺計算機上進行處理,從而減輕了Jetson Nano的負擔。通過這一優化方案,不僅提高了系統的整體性能,還確保了SLAM建圖過程的流暢和高效。

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 機器人
    +關注

    關注

    210

    文章

    28191

    瀏覽量

    206505
  • 主板
    +關注

    關注

    53

    文章

    1836

    瀏覽量

    70480
  • nano
    +關注

    關注

    1

    文章

    154

    瀏覽量

    30588
  • SLAM
    +關注

    關注

    23

    文章

    419

    瀏覽量

    31786
收藏 人收藏

    評論

    相關推薦

    3D ToF三維場景距離(景深)測量系統簡介

    電子發燒友網站提供《3D ToF三維場景距離(景深)測量系統簡介.pdf》資料免費下載
    發表于 09-29 10:55 ?0次下載
    <b class='flag-5'>3D</b> ToF<b class='flag-5'>三維</b>場景距離(景深)測量系統簡介

    機房動環監測:3D巡檢功能是什么

    機房動環監測的3D巡檢功能是一種基于三維可視化技術的創新巡檢方式,它利用三維BIM模型結合日常巡檢工作,對機房內的動力、環境、安防等設備進行虛擬仿真和動態展示,從而
    的頭像 發表于 09-18 18:14 ?202次閱讀
    機房動環監測:<b class='flag-5'>3D</b>巡檢<b class='flag-5'>功能</b>是什么

    Jetson Nano集成探索大象機器人myAGV上的 SLAM 算法!

    官方提供的gitbook,主要使用到了gmapping算法來導航實現功能的。 本篇得到文章主要探討如何通過調整gmapping算法和其他軟件層面的優化來提升
    的頭像 發表于 06-03 14:13 ?411次閱讀
    <b class='flag-5'>Jetson</b> <b class='flag-5'>Nano</b>集成探索大象機器人<b class='flag-5'>myAGV</b>上的 SLAM 算法!

    德國蔡司工業級3D三維掃描儀抄數機

    在科技日新月異的今天,3D技術以其獨特的魅力,逐漸滲透到我們生活的方方面面。而在這一浪潮中,德國蔡司工業級3D三維掃描儀抄數機憑借其卓越的性能和精準度,成為了業界的翹楚,穩坐3D
    的頭像 發表于 04-25 18:02 ?559次閱讀
    德國蔡司工業級<b class='flag-5'>3D</b><b class='flag-5'>三維</b>掃描儀抄數機

    三維掃描與3D打印在法醫頭骨重建中的突破性應用

    隨著科技的飛速發展,三維掃描和3D打印技術已經逐漸滲透到醫療領域的各個環節,為臨床診斷、治療和醫學研究帶來了前所未有的便利。特別是在法醫學領域,三維掃描和3D打印技術的應用更是為頭骨重
    的頭像 發表于 04-19 10:26 ?444次閱讀
    <b class='flag-5'>三維</b>掃描與<b class='flag-5'>3D</b>打印在法醫頭骨重建中的突破性應用

    蔡司3D三維掃描儀激光抄數設備

    在科技日新月異的今天,3D技術以其獨特的魅力,逐漸滲透到我們生活的方方面面。而在這一浪潮中,蔡司3D三維掃描儀憑借其卓越的性能和精準度,成為了業界的翹楚,穩坐3D
    的頭像 發表于 04-17 16:45 ?571次閱讀
    蔡司<b class='flag-5'>3D</b><b class='flag-5'>三維</b>掃描儀激光抄數設備

    泰來三維| 高精度工業3D掃描助力模具檢測和逆向設計“數字化”發展

    相應的,產品所需的模具結構也變得愈發復雜精密,傳統檢測方式和測繪工具很難滿足些最新需求。高精度工業3D掃描技術的出現,通過獲取工件完整的三維數據,為模具檢測和逆向設計提供“數字化”破局之法。高精度
    的頭像 發表于 01-29 16:22 ?443次閱讀
    泰來<b class='flag-5'>三維</b>| 高精度工業<b class='flag-5'>3D</b>掃描助力模具檢測和逆向設計“數字化”發展

    角石油工業壓力閥三維掃描逆向3d建模設計服務

    隨著高精度3D數字化技術的不斷發展,其在各工業制造領域發揮著愈發重要的作用,很多企業也都選擇CASAIM的高精三維掃描解決方案,本期,我們就來聊聊這項技術在珠角石油工業壓力閥三維掃描
    的頭像 發表于 01-16 15:11 ?329次閱讀
    珠<b class='flag-5'>三</b>角石油工業壓力閥<b class='flag-5'>三維</b>掃描逆向<b class='flag-5'>3d</b>建模設計服務

    星推出裸眼3D游戲顯示器,展出《匹諾曹的謊言》效果

    此款顯示器運用置于屏幕頂部的雙攝像頭制造3D立體效果,可實時追蹤使用者的頭部與眼球運動,輕松地將二視頻轉化為3D效果。試驗中,星在顯示器
    的頭像 發表于 01-08 14:38 ?810次閱讀

    3D三維尺寸測量設備介紹

    3D三維尺寸測量設備廠家本精密儀器介紹,三維尺寸測量時需要用到一些精密儀器,它們都有各自的特點。那么三維尺寸測量中常用的設備有哪些?1、
    的頭像 發表于 12-20 15:39 ?1115次閱讀
    <b class='flag-5'>3D</b><b class='flag-5'>三維</b>尺寸測量設備介紹

    3D三維掃描儀逆向建模抄數助力工業發展

    隨著數字化浪潮席卷各行各業,本精密儀器的3D三維掃描儀逆向建模抄數服務正日益嶄露頭角,為企業提供數字化智能的關鍵支持,助力產業發展進入新的智能時代。
    的頭像 發表于 12-15 14:19 ?569次閱讀
    <b class='flag-5'>3D</b><b class='flag-5'>三維</b>掃描儀逆向建模抄數助力工業發展

    搭配君正主控芯片測評:創想三維物有所值,讓你玩3D打印,而不是玩3D打印機

    的配合來實現高精度的自動調平,保證首層的打印成功。這樣也就不再需要人工通過A4紙去調平熱床,何況現在的K1 Max你也找不到原本用于調平的螺絲。 攝像頭 K1 Max作為創想三維的一款高配版旗艦
    發表于 12-08 17:49

    3D-IC 設計之早期三維綜合以及層次化設計方法

    3D-IC 設計之早期三維綜合以及層次化設計方法
    的頭像 發表于 12-04 16:53 ?518次閱讀
    <b class='flag-5'>3D</b>-IC 設計之早期<b class='flag-5'>三維</b>布<b class='flag-5'>圖</b>綜合以及層次化設計方法

    3d掃描風力渦輪機零部件三維尺寸測量解決方案

    CASAIM中科廣電的專業級三維掃描儀與其他替代方案相比,是一個很有說服力且切實可行的解決方案。客戶選擇這款三維掃描儀的主要原因之一是CASAIM中科廣電自帶的3D測量軟件平臺中的功能
    的頭像 發表于 11-30 14:44 ?393次閱讀
    <b class='flag-5'>3d</b>掃描風力渦輪機零部件<b class='flag-5'>三維</b>尺寸測量解決方案

    aikit 2023 3D與機械臂結合!

    引言 今天我們主要了解3D攝像頭是如何跟機械臂應用相結合的。我們最近準備推出一款新的機械臂套裝AI Kit 2023 3D,熟悉我們的老用戶應該知道,我們之前的AI Kit 2023套裝使用的是2
    的頭像 發表于 11-28 10:38 ?953次閱讀
    aikit 2023 <b class='flag-5'>3D</b>與機械臂結合!