電子發(fā)燒友網(wǎng)報道(文/周凱揚)作為最考驗場景適用度和成本控制的應用之一,機器人市場在隨著進一步接入高性能AI芯片,再度開啟了新的藍海賽道。比如人形機器人已經(jīng)有了接入大語言模型的趨勢,我們也已經(jīng)在不少行業(yè)展會上看到了類似的demo。
機器人市場的白刃戰(zhàn)已經(jīng)不再僅僅是運動控制系統(tǒng)和視覺感知系統(tǒng)的比拼了,誰能在新時代把握AI算力的紅利,就有可能率先搶下這一藍海市場的第一塊蛋糕。而賦予這一紅利的前提,恰恰就是機器人AI芯片以及相關的軟件開發(fā)平臺。
接入大語言模型,AI自動生成代碼
作為AI芯片領域的龍頭,英偉達的Jetson AGX Orin在去年一經(jīng)發(fā)布,就獲得了機器人行業(yè)生態(tài)的追捧。200TOPS@INT8的算力相比上一代的Jetson Nano、Jetson Xavier都有了數(shù)倍的提升。而上一代產(chǎn)品仍是當時乃至現(xiàn)在的主流產(chǎn)品,Jetson的開發(fā)生態(tài)擁有100萬開發(fā)者和6000多家公司,小米的Cyberone、宇樹的B1等產(chǎn)品都在使用Jetson硬件作為感知計算平臺。
不過Jetson AGX Orin面向的依然是行業(yè)級的市場,面對消費級的產(chǎn)品,仍需要入門級與中端級的產(chǎn)品來替代原先的Nano和Xavier。因此英偉達隨即又發(fā)布了全新的Jetson Orin Nano和Jetson Orin NX,根據(jù)配置不同,最高算力分別可至40TOPS和100TOPS。
與Jetson AGX Orin一同更新的Metropolis、Omniverse Isaac和TAO的工具套件,進一步減少了AI部署所需的時間成本,又能解決感知、自然語言理解等機器人開發(fā)過程中的挑戰(zhàn)。自去年第四季度英偉達開始供貨以來,今年新發(fā)布的一眾機器人產(chǎn)品紛紛用上了這顆芯片,而其作用也不再只是用于感知計算。
以國產(chǎn)機器人廠商宇樹為例,他們發(fā)布的Unitree Go2 EDU版本可以選配英偉達Jetson Orin高算力模組,以提供額外的40到100TOPS算力,結合來看選配的最低是8GB的Jetson Orin Nano,以及16GB的Jetson Orin NX。Unitree Go2也接入了GPT,在與人進行問答交互時也更加智能,并非程序式的反應。
這對于陪伴型機器人來說,或許意味著跨世代的進步,在接入GPT后,一切交互活動都會變得人性化。在理解指令語義后,也能通過GPT的代碼生成能力自動生成機器人的控制代碼,從而在無需額外編程的情況下,觸發(fā)更為復雜的動作指令。而目前Jetson是接入大模型最為全面的機器人硬件平臺,故而為國產(chǎn)機器人廠商結合國產(chǎn)大模型也提供了支持。
AI定制化需求與開發(fā)平臺易用性
地平線雖是國產(chǎn)自動駕駛芯片的龍頭廠商,但這家名字里帶了Robotics的公司,也在穩(wěn)步推進著機器人的開發(fā)。在去年,地平線推出了國內(nèi)首個軟硬一體的機器人開發(fā)平臺Horizon Hobot Platform,以及基于最新旭日X3芯片打造的旭日X3派開發(fā)板。
Hobot平臺除了包括旭日3芯片外,還包括機器人操作系統(tǒng)TogetherROS,機器人參考算法Boxs等。旭日3集成了全新的伯努利2.0 BPU架構,可以提供5TOPS的算力。而TogetherROS在兼容ROS2通用操作系統(tǒng)的同時,對旭日芯片進行了底層優(yōu)化,提高了部分CV算子的性能。除了與傳感器和軟件廠商達成合作以外,地平線也與不少機器人本體廠商緊密合作,諸如松靈機器人、智科特機器人等。
而今年地平線推出了全新的RDK系列機器人開發(fā)者套件,基于此原先的旭日X3派升級成了RDK X3,上半年也發(fā)布了集成度更高的RDK X3模組,四核Cortex-A53的CPU主頻升級至1.5GHz,可以滿足機器人開發(fā)者客戶更多的定制化需求。
而在7月的地平線2023機器人開發(fā)者創(chuàng)享日上,地平線又發(fā)布了RDK X3 2.0以及RDK Ultra。RDK Ultra則是地平線為機器人開發(fā)準備的一套高性能、大算力套件,其端側推理算力可達96TOPS,同時配備了8核Cortex-A55 CPU提供高性能處理能力。同時為了更好地降低開發(fā)者的適配與學習成本,RDK Ultra的硬件接口甚至兼容Jetson Orin系列開發(fā)板。
與此同時,基于下一代芯片旭日5的RDK X5套件也已經(jīng)在開發(fā)過程中了,預計將于2024年面世。地平線也透露了該平臺的一些性能指標,比如8TOPS的BPU算力,8核Cortex A55的CPU將主頻進一步提升至1.8GHz,且這次更是配備了Arm Mali GPU。
在機器人開發(fā)者創(chuàng)享日上,同樣獲得升級的還有TogetherROS。升級到2.0版本的TogetherROS引入了更多的算法與應用實例,其中包括了一眾因為算力升級而得以實現(xiàn)的復雜算法,比如BEV視覺3D感知、深度學習視覺巡線等等。
為了對機器人應用進行更有針對性的開發(fā),地平線也推出了Node Hub,通過將SLAM、目標檢測、定位和自主導航等功能節(jié)點化,從而使得不同類型的機器人只需將這些節(jié)點串聯(lián)起來即可完成應用開發(fā),譬如需要SLAM、自主導航和運動控制的物流機器人,或是需要運動規(guī)劃和目標檢測的分揀機器人等等。
AI計算的同時兼顧可靠性與實時性
另一個常常被大家忽略的硬件平臺,同樣可以助力AI機器人的開發(fā),那就是AMD/賽靈思的Versal AI Edge系列。該系列通過標量引擎、自適應引擎和智能引擎的結合,提供了一個比GPU提供更高AI能耗比的平臺。在通用的控制嵌入式計算上,雙核Cortex-A72和雙核Cortex-R5F足以滿足Linux應用和實時控制的需求,而自適應引擎則用于支持各種傳感器的融合算法。
其智能引擎由AI引擎和DSP引擎構成,每個AI引擎都由多個引擎塊構成2D陣列,而每個引擎塊都包含了一個VLIW的單指令多數(shù)據(jù)向量處理器,主頻高達1.3GHz,且專門針對機器學習和高級信號處理進行了優(yōu)化,足以滿足機器人實時控制的低時延。
值得一提的是,AMD提供的這一AI引擎分為兩種,一種是同時平衡ML和DSP負載的AIE引擎,一種是專注于ML的AIE-ML引擎,前者的高級信號處理能力更高,而后者的機器學習推理性能更高。這也是為何Versal AI Edge在智能引擎中加入了一個獨立的DSP引擎,這樣一來無論是機器人AI應用中的深度學習,還是感知計算中的信號處理,都能在單一平臺上完成。
不過從用例來看,Versal AI Edge系列還是更適合用于行業(yè)級的機器人,諸如工業(yè)協(xié)作機器人、醫(yī)用手術機器人等等。這類應用往往需要數(shù)量大于消費級機器人的異構傳感器輸入,且對于預測性維護、遠程診斷之類的機器學習應用需求更高。況且從其標量引擎的配置和自適應引擎對TSN網(wǎng)絡的支持上來看,也是為了在工業(yè)、醫(yī)療等環(huán)境中實現(xiàn)ROS下最快的響應速度。
寫在最后
對于機器人市場來說,追求小型化、低功耗、高算力的AI計算芯片必然是未來幾年的大勢所趨。與之匹配的電機/電機控制芯片以及傳感器,也已經(jīng)開啟了新一輪的技術升級,目標即形成感知層、計算層和執(zhí)行層的完美融合。單從技術積累來看,自動駕駛芯片廠商很有可能是率先吃到甜頭的廠商,但它們不少仍需要更多的精力來接入不同的AI模型,才能跟上新的交互潮流。
機器人市場的白刃戰(zhàn)已經(jīng)不再僅僅是運動控制系統(tǒng)和視覺感知系統(tǒng)的比拼了,誰能在新時代把握AI算力的紅利,就有可能率先搶下這一藍海市場的第一塊蛋糕。而賦予這一紅利的前提,恰恰就是機器人AI芯片以及相關的軟件開發(fā)平臺。
接入大語言模型,AI自動生成代碼
作為AI芯片領域的龍頭,英偉達的Jetson AGX Orin在去年一經(jīng)發(fā)布,就獲得了機器人行業(yè)生態(tài)的追捧。200TOPS@INT8的算力相比上一代的Jetson Nano、Jetson Xavier都有了數(shù)倍的提升。而上一代產(chǎn)品仍是當時乃至現(xiàn)在的主流產(chǎn)品,Jetson的開發(fā)生態(tài)擁有100萬開發(fā)者和6000多家公司,小米的Cyberone、宇樹的B1等產(chǎn)品都在使用Jetson硬件作為感知計算平臺。
不過Jetson AGX Orin面向的依然是行業(yè)級的市場,面對消費級的產(chǎn)品,仍需要入門級與中端級的產(chǎn)品來替代原先的Nano和Xavier。因此英偉達隨即又發(fā)布了全新的Jetson Orin Nano和Jetson Orin NX,根據(jù)配置不同,最高算力分別可至40TOPS和100TOPS。
與Jetson AGX Orin一同更新的Metropolis、Omniverse Isaac和TAO的工具套件,進一步減少了AI部署所需的時間成本,又能解決感知、自然語言理解等機器人開發(fā)過程中的挑戰(zhàn)。自去年第四季度英偉達開始供貨以來,今年新發(fā)布的一眾機器人產(chǎn)品紛紛用上了這顆芯片,而其作用也不再只是用于感知計算。
以國產(chǎn)機器人廠商宇樹為例,他們發(fā)布的Unitree Go2 EDU版本可以選配英偉達Jetson Orin高算力模組,以提供額外的40到100TOPS算力,結合來看選配的最低是8GB的Jetson Orin Nano,以及16GB的Jetson Orin NX。Unitree Go2也接入了GPT,在與人進行問答交互時也更加智能,并非程序式的反應。
這對于陪伴型機器人來說,或許意味著跨世代的進步,在接入GPT后,一切交互活動都會變得人性化。在理解指令語義后,也能通過GPT的代碼生成能力自動生成機器人的控制代碼,從而在無需額外編程的情況下,觸發(fā)更為復雜的動作指令。而目前Jetson是接入大模型最為全面的機器人硬件平臺,故而為國產(chǎn)機器人廠商結合國產(chǎn)大模型也提供了支持。
AI定制化需求與開發(fā)平臺易用性
地平線雖是國產(chǎn)自動駕駛芯片的龍頭廠商,但這家名字里帶了Robotics的公司,也在穩(wěn)步推進著機器人的開發(fā)。在去年,地平線推出了國內(nèi)首個軟硬一體的機器人開發(fā)平臺Horizon Hobot Platform,以及基于最新旭日X3芯片打造的旭日X3派開發(fā)板。
Hobot平臺除了包括旭日3芯片外,還包括機器人操作系統(tǒng)TogetherROS,機器人參考算法Boxs等。旭日3集成了全新的伯努利2.0 BPU架構,可以提供5TOPS的算力。而TogetherROS在兼容ROS2通用操作系統(tǒng)的同時,對旭日芯片進行了底層優(yōu)化,提高了部分CV算子的性能。除了與傳感器和軟件廠商達成合作以外,地平線也與不少機器人本體廠商緊密合作,諸如松靈機器人、智科特機器人等。
而今年地平線推出了全新的RDK系列機器人開發(fā)者套件,基于此原先的旭日X3派升級成了RDK X3,上半年也發(fā)布了集成度更高的RDK X3模組,四核Cortex-A53的CPU主頻升級至1.5GHz,可以滿足機器人開發(fā)者客戶更多的定制化需求。
而在7月的地平線2023機器人開發(fā)者創(chuàng)享日上,地平線又發(fā)布了RDK X3 2.0以及RDK Ultra。RDK Ultra則是地平線為機器人開發(fā)準備的一套高性能、大算力套件,其端側推理算力可達96TOPS,同時配備了8核Cortex-A55 CPU提供高性能處理能力。同時為了更好地降低開發(fā)者的適配與學習成本,RDK Ultra的硬件接口甚至兼容Jetson Orin系列開發(fā)板。
與此同時,基于下一代芯片旭日5的RDK X5套件也已經(jīng)在開發(fā)過程中了,預計將于2024年面世。地平線也透露了該平臺的一些性能指標,比如8TOPS的BPU算力,8核Cortex A55的CPU將主頻進一步提升至1.8GHz,且這次更是配備了Arm Mali GPU。
在機器人開發(fā)者創(chuàng)享日上,同樣獲得升級的還有TogetherROS。升級到2.0版本的TogetherROS引入了更多的算法與應用實例,其中包括了一眾因為算力升級而得以實現(xiàn)的復雜算法,比如BEV視覺3D感知、深度學習視覺巡線等等。
為了對機器人應用進行更有針對性的開發(fā),地平線也推出了Node Hub,通過將SLAM、目標檢測、定位和自主導航等功能節(jié)點化,從而使得不同類型的機器人只需將這些節(jié)點串聯(lián)起來即可完成應用開發(fā),譬如需要SLAM、自主導航和運動控制的物流機器人,或是需要運動規(guī)劃和目標檢測的分揀機器人等等。
AI計算的同時兼顧可靠性與實時性
另一個常常被大家忽略的硬件平臺,同樣可以助力AI機器人的開發(fā),那就是AMD/賽靈思的Versal AI Edge系列。該系列通過標量引擎、自適應引擎和智能引擎的結合,提供了一個比GPU提供更高AI能耗比的平臺。在通用的控制嵌入式計算上,雙核Cortex-A72和雙核Cortex-R5F足以滿足Linux應用和實時控制的需求,而自適應引擎則用于支持各種傳感器的融合算法。
其智能引擎由AI引擎和DSP引擎構成,每個AI引擎都由多個引擎塊構成2D陣列,而每個引擎塊都包含了一個VLIW的單指令多數(shù)據(jù)向量處理器,主頻高達1.3GHz,且專門針對機器學習和高級信號處理進行了優(yōu)化,足以滿足機器人實時控制的低時延。
值得一提的是,AMD提供的這一AI引擎分為兩種,一種是同時平衡ML和DSP負載的AIE引擎,一種是專注于ML的AIE-ML引擎,前者的高級信號處理能力更高,而后者的機器學習推理性能更高。這也是為何Versal AI Edge在智能引擎中加入了一個獨立的DSP引擎,這樣一來無論是機器人AI應用中的深度學習,還是感知計算中的信號處理,都能在單一平臺上完成。
不過從用例來看,Versal AI Edge系列還是更適合用于行業(yè)級的機器人,諸如工業(yè)協(xié)作機器人、醫(yī)用手術機器人等等。這類應用往往需要數(shù)量大于消費級機器人的異構傳感器輸入,且對于預測性維護、遠程診斷之類的機器學習應用需求更高。況且從其標量引擎的配置和自適應引擎對TSN網(wǎng)絡的支持上來看,也是為了在工業(yè)、醫(yī)療等環(huán)境中實現(xiàn)ROS下最快的響應速度。
寫在最后
對于機器人市場來說,追求小型化、低功耗、高算力的AI計算芯片必然是未來幾年的大勢所趨。與之匹配的電機/電機控制芯片以及傳感器,也已經(jīng)開啟了新一輪的技術升級,目標即形成感知層、計算層和執(zhí)行層的完美融合。單從技術積累來看,自動駕駛芯片廠商很有可能是率先吃到甜頭的廠商,但它們不少仍需要更多的精力來接入不同的AI模型,才能跟上新的交互潮流。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
機器人
+關注
關注
210文章
28192瀏覽量
206507 -
英偉達
+關注
關注
22文章
3743瀏覽量
90831 -
AI芯片
+關注
關注
17文章
1859瀏覽量
34908
發(fā)布評論請先 登錄
相關推薦
【書籍評測活動NO.51】具身智能機器人系統(tǒng) | 了解AI的下一個浪潮!
早就聽大佬們說,具身智能是人工智能的下一波浪潮,也是AI未來的趨勢!
最近,具身智能的概念更是炙手可熱,備受矚目!
不論是這幾天稚暉君開源人形機器人全套圖紙+代碼,引發(fā)圈內(nèi)熱議。
還是各類具身智能
發(fā)表于 11-11 10:20
工業(yè)機器人常用的編程方式
機器人完成特定的任務。編程可以手動完成,也可以通過計算機輔助設計(CAD)軟件自動生成。編程方式的選擇取決于任務的復雜性、機器人的類型、以及所需的靈活性和效率。 1. 手動編程 1.1
STAR AI進軍美股科技星智能領跑生成式AI賽道
自ChatGPT問世以來,從文字chatbot到視頻生成和機器人,生成式人工智能(Generative AI)的商業(yè)應用已經(jīng)成為全球最具爆炸
Al大模型機器人
理解能力強大: AI大模型機器人可以理解和生成自然語言,能夠進行復雜的對話和語言任務。它們能夠識別語言中的語義、語境和情感,并據(jù)此作出適當?shù)幕貞V泛的知識儲備: 這些模型基于大規(guī)模的數(shù)據(jù)集進行訓練,擁有
發(fā)表于 07-05 08:52
如何使用PLC控制機器人
隨著工業(yè)自動化技術的飛速發(fā)展,機器人技術作為其中的重要組成部分,其應用范圍日益廣泛。在機器人的控制系統(tǒng)中,PLC(Programmable Logic Controller,可編程邏輯
基于FPGA EtherCAT的六自由度機器人視覺伺服控制設計
,為工業(yè)自動化提供了一套切實可行的方案。
本文針對基于機器視覺的工業(yè)機器人進行研究,主要工作包括以下幾點:
(1)設計了基于 伊瑟特的六自由度機器人視覺伺服
發(fā)表于 05-29 16:17
鴻海臺廠全面進軍全球AI人形機器人市場
隨著英偉達新平臺的發(fā)布,AI人形機器人不再是夢想。臺資企業(yè)也緊跟步伐,積極布局這一新興市場。其中,鴻海集團在“3+3”戰(zhàn)略中,重點關注電動汽車、數(shù)字健康以及機器人三個未來趨勢行業(yè),充分
軟銀集團AI芯片與機器人布局,成AI巨頭
據(jù)悉,該芯片將由臺積電(2330)操刀生產(chǎn)。軟銀集團對AI發(fā)展的熱情高漲,其與鴻海(2317)集團在人形機器人Pepper項目上的成功合作,以及樺漢(6414)在AI相關領域的實力,引
海默機器人榮獲“中國協(xié)作機器人創(chuàng)新產(chǎn)品獎”:創(chuàng)新引領,智造未來
可持續(xù)發(fā)展。海默機器人榮獲維科杯·OFweek2023中國協(xié)作機器人創(chuàng)新產(chǎn)品獎海默AI焊接機器人
藍芯科技正式發(fā)布智能搬運機器人VMR-FR31510L
4月18日,藍芯科技正式發(fā)布智能搬運機器人VMR-FR31510L。 該產(chǎn)品搭載藍芯核心技術LX-MRDVS(藍芯-移動機器人深度視覺系統(tǒng))
NVIDIA Isaac機器人平臺升級,加速AI機器人技術革新
NVIDIA Isaac機器人平臺近期實現(xiàn)重大升級,通過引入最新的生成式AI技術和先進的仿真技術,顯著加速了AI機器人技術的發(fā)展步伐。該平臺
生成式AI通過NVIDIA Isaac平臺提高機器人的智能化水平
今日,NVIDIA 機器人和邊緣計算副總裁 Deepu Talla 在 CES 上的特別演講中,詳細介紹了 NVIDIA 及合作伙伴是如何將生成式 AI 與機器人技術相結合的。
海默機器人:回顧2023,展望2024
導語時光荏苒,轉瞬間已經(jīng)來到2024年的門檻。回首過去的一年,海默機器人在機器人領域取得了巨大的進步與突破,同時也為未來的發(fā)展奠定了堅實的基礎。在新的一年里,我們將持續(xù)創(chuàng)新,以更高的目
【開源項目】Emo:基于樹莓派 4B DIY 能笑會動的桌面機器人
復雜的功能,我們采用 Python 的 multiprocessing 包,這使機器人能夠同時執(zhí)行多個任務,從而提高運行效率。
我們已經(jīng)為你編寫好項目代碼,你只需克隆到本地即可使用。
git
發(fā)表于 12-26 15:18
機器人擁抱AI大模型已成共識!
目前普遍的共識是,機器人擁抱AI大模型的過程就是具身智能機器人的實現(xiàn)過程,融合AI大模型的具身智能機器人將是未來
發(fā)表于 12-22 17:08
?366次閱讀
評論