精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

感知融合為自動駕駛與機(jī)器視覺解開當(dāng)前無解場景之困

sensemi ? 2024-10-29 14:21 ? 次閱讀

昱感微的“雷視一體融合感知方案”將可見光攝像頭、紅外攝像頭以及雷達(dá)的探測數(shù)據(jù)在前端(數(shù)據(jù)獲取時)融合,將各傳感器的探測數(shù)據(jù)“坐標(biāo)統(tǒng)一、時序?qū)R”,圖像與雷達(dá)數(shù)據(jù)完成像素級實時“時空對齊同步”并以“多維像素”格式輸出,為自動駕駛系統(tǒng)提供目標(biāo)與環(huán)境的多模態(tài)精準(zhǔn)感知信息:即傳感器對目標(biāo)與環(huán)境感知的圖像數(shù)據(jù)(明暗、紋理、顏色等)+雷達(dá)數(shù)據(jù)(目標(biāo)的距離、速度、材質(zhì)等)+紅外輻射數(shù)據(jù)(紋理、溫度等)的綜合感知。

wKgZomcV8tOAbNymAAcJWKukpmQ006.png

目前昱感微現(xiàn)正與多家工業(yè)機(jī)器人(自動掃地車、自動農(nóng)機(jī)等)客戶緊密合作中,我們的方案產(chǎn)品已經(jīng)裝車測試,解決了許多過去自動駕駛無解的場景和corner cases。例如在下圖場景中,過去靠單一傳感器如雷達(dá)探測左邊的欄桿,由于缺乏圖像的語義信息,自動駕駛系統(tǒng)很容易將欄桿的反射點當(dāng)成噪點忽略;現(xiàn)在感知側(cè)主流方案——基于可見光攝像頭的純視覺方案若碰到?jīng)]有采樣過的目標(biāo)同樣也無法識別。而昱感微的雷視一體融合感知方案將圖像和雷達(dá)信息融合輸出豐富的“多維像素”數(shù)據(jù)(如右下圖),使自動駕駛系統(tǒng)能清楚地識別出道路左邊的欄桿以及它的距離位置3D形狀等信息。昱感微的融合感知技術(shù)方案的優(yōu)勢在于1)是基于“物理感知”數(shù)據(jù)驅(qū)動,能很好地避免純視覺神經(jīng)網(wǎng)絡(luò)的corner cases問題;2)傳感器前融合的方式可以最大限度地保留原始探測數(shù)據(jù),并發(fā)揮各傳感器的優(yōu)勢,使感知系統(tǒng)能夠不受天氣光線和場景的限制,實時完成精準(zhǔn)目標(biāo)感知。

wKgZomcV8xOAPnX7AAvdGNCx8mY042.png

另外,多維像素還能探測出路面的起伏,幫助自動駕駛系統(tǒng)對于不同的起伏程度采取對應(yīng)的決策。基于攝像頭的純視覺方案無法精確檢測出路面的起伏,僅靠雷達(dá)的探測信息如果沒有圖像的語義信息直接對接也無法提取出細(xì)致對應(yīng)的反射信息(直接映射目標(biāo)的對應(yīng)反射點)從而精準(zhǔn)測量與判斷路面的情況。而昱感微的融合感知方案可以解決這個棘手的難題:在下圖的3D空間采樣數(shù)據(jù)(3D點云)中可以看到,“多維像素”能提供路面起伏程度的信息,即使是路邊高起一點的下水蓋也能清楚地探測到,對自動駕駛規(guī)劃路線非常有幫助。

wKgaoWcV8ymAcSYPAArotcgiGEg797.pngwKgZoWcV8zCATw18ABC5NBkftus188.png

不僅是路面的起伏,根據(jù)圖像信息和雷達(dá)探測出的材質(zhì)信息,“多維像素”還可以提供路面上覆蓋物的材質(zhì)和狀況信息,對于探測到的較脆弱的材質(zhì)或已損壞的覆蓋物就需要避讓。這些場景都是目前自動駕駛感知側(cè)無解的技術(shù)難點,而昱感微的融合感知方案可以一一為客戶解決這些難題。

wKgZomcV826ADJajAA5Nt2Inrj8771.png

國內(nèi)城市道路復(fù)雜,純視覺的感知方案受光線天氣影響較大且有許多無法識別的corner cases,光靠雷達(dá)感知也存在點云的置信度存疑、缺乏語義分析無法將目標(biāo)識別標(biāo)注等問題,昱感微的融合感知方案使視覺和雷達(dá)結(jié)合達(dá)到1+1>2的效果,幫助客戶解決各種疑難場景。例如和自動掃地車客戶的項目合作中,在道路有路障的場景下,“多維像素”數(shù)據(jù)使自動駕駛可清楚地識別出路障以及其間距,并判斷是否應(yīng)從中間穿過。對于路邊的垃圾,多維像素所提供的多模態(tài)精準(zhǔn)感知信息可以使自動駕駛系統(tǒng)清楚地判別探測到的目標(biāo),并進(jìn)行清掃;對于不適宜清掃的目標(biāo)(如水泥黃沙堆等)則進(jìn)行避讓。另外,在圖像和雷達(dá)數(shù)據(jù)組成的多維像素幫助下,一些困擾自動駕駛系統(tǒng)的場景如隨風(fēng)飄起的垃圾袋(通過多維像素的圖像/材質(zhì)/速度等信息判斷),晃動的樹影(僅有圖像變化無雷達(dá)反射點)等都可以迎刃而解。

wKgZoWcV84WAYhkTABEQhy7N20E742.png

并且昱感微的融合感知方案完全不依賴高精地圖。對于沒有清晰車道線和邊界的道路(如上圖),自動駕駛系統(tǒng)也能根據(jù)“多維像素”提供的多模態(tài)感知信息來規(guī)劃路徑。此外,自動農(nóng)機(jī)對于感知精度的要求也非常高,其來回播種插秧的間隔距離在5厘米左右,如此的精度目前市場上的感知產(chǎn)品還很難做到,而昱感微精確到像素級的融合感知方案可以很好地達(dá)到客戶要求的感知精度,確保播種插秧均勻不重復(fù)。

昱感微的多傳感器融合感知方案從另一個角度看可以說是在幫助客戶產(chǎn)品完成目標(biāo)與環(huán)境的精密測量,精確測量出目標(biāo)的輪廓/方位/距離/速度/材質(zhì)/溫度等各種數(shù)據(jù),為自動駕駛系統(tǒng)提供目標(biāo)與環(huán)境的多模態(tài)感知精準(zhǔn)信息。盡管掃地車農(nóng)用車等工農(nóng)業(yè)用機(jī)器人在速度上慢于乘用車,但它們對于感知精度的要求明顯高于乘用車,遇到的特殊場景corner cases也不亞于乘用車,而這些昱感微的融合感知方案可以幫助它們解決,并滿足客戶對感知精度的要求,獲得了許多客戶的認(rèn)可。我們相信未來昱感微的方案產(chǎn)品在乘用車上也會有非常優(yōu)異的表現(xiàn),助力車企跨越L3/L4級自動駕駛的技術(shù)門檻。

關(guān)于昱感微

昱感微的“多傳感器融合感知方案”將可見光攝像頭、紅外攝像頭以及雷達(dá)的探測數(shù)據(jù)在前端(數(shù)據(jù)獲取時)融合,將各傳感器的探測數(shù)據(jù)“坐標(biāo)統(tǒng)一、時序?qū)R”,并以“多維像素”格式輸出。

“多維像素”是昱感微的核心技術(shù)創(chuàng)新之一,它是指在可見光攝像頭像素信息上加上其它傳感器對于同源目標(biāo)感知的信息,將感知系統(tǒng)的感知維度擴(kuò)展以實現(xiàn)多維度(多模態(tài))感知目標(biāo)的完整信息。如下圖示例,芯片將攝像頭圖像數(shù)據(jù),和雷達(dá)探測目標(biāo)的距離、速度、散射截面R的感知數(shù)據(jù),以及紅外傳感器探測的熱輻射圖像數(shù)據(jù)疊加組合到一起,以攝像頭的像素為顆粒度組合全部感知數(shù)據(jù),每個像素不僅有視覺信息,還包含了4D毫米波雷達(dá)和紅外傳感器的探測數(shù)據(jù),形成多維度(多模態(tài))測量參數(shù)矩陣數(shù)組。基于圖像像素為基準(zhǔn)+雷達(dá)數(shù)據(jù)的“多維像素”感知數(shù)據(jù),與現(xiàn)有主流AI計算平臺完全兼容,它可以復(fù)用已有的圖像數(shù)據(jù)樣本,免除了產(chǎn)品的神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)需要完全重新采集的困擾。

wKgZoWcV866AWBBNAAaH6HtC_Qk731.png
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 傳感器
    +關(guān)注

    關(guān)注

    2548

    文章

    50678

    瀏覽量

    752001
  • 機(jī)器視覺
    +關(guān)注

    關(guān)注

    161

    文章

    4345

    瀏覽量

    120111
  • 自動駕駛
    +關(guān)注

    關(guān)注

    783

    文章

    13684

    瀏覽量

    166147
收藏 人收藏

    評論

    相關(guān)推薦

    標(biāo)貝科技:自動駕駛中的數(shù)據(jù)標(biāo)注類別分享

    自動駕駛訓(xùn)練模型的成熟和穩(wěn)定離不開感知技術(shù)的成熟和穩(wěn)定,訓(xùn)練自動駕駛感知模型需要使用大量準(zhǔn)確真實的數(shù)據(jù)。據(jù)英特爾計算,L3+級自動駕駛每輛汽
    的頭像 發(fā)表于 11-22 14:58 ?107次閱讀
    標(biāo)貝科技:<b class='flag-5'>自動駕駛</b>中的數(shù)據(jù)標(biāo)注類別分享

    基于場景自動駕駛驗證策略

    可選方案是將實際交通狀況做出總結(jié)生成具有高度代表性的交通場景,通過仿真分析自動駕駛系統(tǒng)在這些場景上的安全性。然而交通場景中元素的復(fù)雜性與失敗事件的罕見性導(dǎo)致難于準(zhǔn)確分析系統(tǒng)失敗的概率和
    的頭像 發(fā)表于 10-22 16:14 ?227次閱讀
    基于<b class='flag-5'>場景</b>的<b class='flag-5'>自動駕駛</b>驗證策略

    激光雷達(dá)與純視覺方案,哪個才是自動駕駛最優(yōu)選?

    主要分為兩大類:激光雷達(dá)與視覺感知。激光雷達(dá)因其能夠提供精確的距離和形狀信息,在自動駕駛技術(shù)早期的開發(fā)中被廣泛應(yīng)用。然而,隨著計算機(jī)視覺技術(shù)的飛速進(jìn)步,基于攝像頭的純
    的頭像 發(fā)表于 09-29 10:47 ?386次閱讀

    聊聊自動駕駛離不開的感知硬件

    自動駕駛飛速發(fā)展,繞不開感知、決策和控制決策的經(jīng)典框架,而感知作為自動駕駛汽車“感官”的重要組成部分,決定了自動駕駛系統(tǒng)對環(huán)境的理解和反應(yīng)能
    的頭像 發(fā)表于 08-23 10:18 ?410次閱讀

    FPGA在自動駕駛領(lǐng)域有哪些優(yōu)勢?

    可以根據(jù)自動駕駛系統(tǒng)的具體需求,通過編程來配置FPGA的邏輯功能和連接關(guān)系,以適應(yīng)不同的應(yīng)用場景和算法變化。這種靈活性使得FPGA能夠快速適應(yīng)自動駕駛技術(shù)的快速發(fā)展和變化。 低延遲: 自動駕
    發(fā)表于 07-29 17:11

    FPGA在自動駕駛領(lǐng)域有哪些應(yīng)用?

    是FPGA在自動駕駛領(lǐng)域的主要應(yīng)用: 一、感知算法加速 圖像處理:自動駕駛中需要通過攝像頭獲取并識別道路信息和行駛環(huán)境,這涉及到大量的圖像處理任務(wù)。FPGA在處理圖像上的運(yùn)算速度快,可并行性強(qiáng),且功耗
    發(fā)表于 07-29 17:09

    自動駕駛識別技術(shù)有哪些

    自動駕駛的識別技術(shù)是自動駕駛系統(tǒng)中的重要組成部分,它使車輛能夠感知并理解周圍環(huán)境,從而做出智能決策。自動駕駛識別技術(shù)主要包括多種傳感器及其融合
    的頭像 發(fā)表于 07-23 16:16 ?539次閱讀

    機(jī)器視覺檢測系統(tǒng)的關(guān)鍵技術(shù)和應(yīng)用場景

    隨著人工智能技術(shù)的飛速發(fā)展,機(jī)器視覺作為其中的重要組成部分,正逐漸滲透到工業(yè)制造、自動駕駛、醫(yī)療診斷、農(nóng)業(yè)自動化等多個領(lǐng)域。基于深度學(xué)習(xí)的機(jī)器
    的頭像 發(fā)表于 07-08 10:33 ?1148次閱讀

    標(biāo)貝數(shù)據(jù)采集標(biāo)注在自動駕駛場景中落地應(yīng)用實例

    AI數(shù)據(jù)服務(wù)作為人工智能和機(jī)器學(xué)習(xí)的基礎(chǔ),在自動駕駛領(lǐng)域中有著重要地位。與其他人工智能應(yīng)用場景相比,自動駕駛的落地場景相對復(fù)雜,想要讓汽車本
    的頭像 發(fā)表于 05-28 14:22 ?472次閱讀
    標(biāo)貝數(shù)據(jù)采集標(biāo)注在<b class='flag-5'>自動駕駛</b><b class='flag-5'>場景</b>中落地應(yīng)用實例

    如何提高自動駕駛汽車感知模型的訓(xùn)練效率和GPU利用率

    由于采用了多攝像頭輸入和深度卷積骨干網(wǎng)絡(luò),用于訓(xùn)練自動駕駛感知模型的 GPU 內(nèi)存占用很大。當(dāng)前減少內(nèi)存占用的方法往往會導(dǎo)致額外的計算開銷或工作負(fù)載的失衡。
    的頭像 發(fā)表于 04-29 09:12 ?838次閱讀
    如何提高<b class='flag-5'>自動駕駛</b>汽車<b class='flag-5'>感知</b>模型的訓(xùn)練效率和GPU利用率

    未來已來,多傳感器融合感知自動駕駛破局的關(guān)鍵

    駕駛的關(guān)鍵的是具備人類的感知能力,多傳感器融合感知正是自動駕駛破局的關(guān)鍵。昱感微的雷視一體多傳感器融合
    發(fā)表于 04-11 10:26

    淺析自動駕駛行業(yè)的視覺感知主流框架設(shè)計

    視覺感知系統(tǒng)主要以攝像頭作為傳感器輸入,經(jīng)過一系列的計算和處理,對自車周圍的環(huán)境信息做精確感知。目的在于為融合模塊提供準(zhǔn)確豐富的信息,包括被檢測物體的類別、距離信息、速度信息、朝向信息
    發(fā)表于 01-26 11:25 ?613次閱讀
    淺析<b class='flag-5'>自動駕駛</b>行業(yè)的<b class='flag-5'>視覺</b><b class='flag-5'>感知</b>主流框架設(shè)計

    自動駕駛感知算法提升處理策略

    現(xiàn)代自動駕駛系統(tǒng)的特點是按順序排列的模塊化任務(wù),傳統(tǒng)的方法是基于標(biāo)準(zhǔn)的感知-規(guī)劃-控制這種序列式架構(gòu)的主流處理方式。即首先將感知信息處理成人類可以理解的語義信息和道路交通信息,然后基于常態(tài)化知識
    的頭像 發(fā)表于 12-28 09:56 ?941次閱讀
    <b class='flag-5'>自動駕駛</b><b class='flag-5'>感知</b>算法提升處理策略

    聯(lián)網(wǎng)自動駕駛機(jī)器人的網(wǎng)絡(luò)安全

    聯(lián)網(wǎng)自動駕駛機(jī)器人的網(wǎng)絡(luò)安全
    的頭像 發(fā)表于 12-26 10:37 ?356次閱讀
    聯(lián)網(wǎng)<b class='flag-5'>自動駕駛</b><b class='flag-5'>機(jī)器</b>人的網(wǎng)絡(luò)安全

    LabVIEW開發(fā)自動駕駛的雙目測距系統(tǒng)

    LabVIEW開發(fā)自動駕駛的雙目測距系統(tǒng) 隨著車輛駕駛技術(shù)的不斷發(fā)展,自動駕駛技術(shù)正日益成為現(xiàn)實。從L2級別的輔助駕駛技術(shù)到L3級別的受條件約束的
    發(fā)表于 12-19 18:02