精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

詳解自動泊車之AVM環視系統算法

新機器視覺 ? 來源:新機器視覺 ? 2023-01-16 15:04 ? 次閱讀

本文的內容為在上一篇avm的進階版,主要講述AVM 3D算法pipeline,一種自研提取角點標定方法,汽車輔助視角。每個部分都涵蓋了完整的算法理論以及部分代碼,適合有一些計算機視覺基礎的同學,或許可以給相關方向的同學做些參考。

一. 一種更優的聯合標定方案

1.1 算法原理分析

在前面的工作中,我們調用opencv函數findChessboardCorners提取圖像上位于標定布中間的棋盤格角點,然后計算投影矩陣H。在SLAM 14講中[1],計算H就是求解Ax=0這樣一個問題。其原理就是構造一個最小二乘的形式,用奇異值分解的方式來計算一個誤差最小的解。而為了逼近這個最小誤差,可能造成除了棋盤格角點以外的其他像素值的投影誤差很大。換句話說,由于棋盤格角點集中于鳥瞰圖的中心很小的一部分區域,如果選擇棋盤格角點進行H的計算,會導致只有棋盤格附近的區域能夠進行準確的投影,遠離該區域會有較大誤差。類似于nn的訓練數據過于局限,訓練的模型過擬合了。這也就能夠解釋為什么在之前的工作中,我們的鳥瞰圖拼接區域總是拼不齊,就是因為我們選擇的角點遠離拼接區域,計算出的投影矩陣H在拼接區域的投影誤差太大。

我們開發了一種基于自動提取角點算法的汽車標定方法,該方法可以提取標定布上拼接區域黑色方格的角點。如圖所示:

32ca0552-94dc-11ed-bfe3-dac502259ad0.png拼接區域角點提取

通過提取拼接區域的角點最終獲得的全景鳥瞰圖與前面工作的對比如下,左側為以前的工作中提取棋盤格角點的方法且沒有使用光流微調,右側是我們提取拼接區域角點的拼接結果。差別就很大。

32f2250a-94dc-11ed-bfe3-dac502259ad0.png左:提取棋盤格角點 右:提取拼接區域角點

再仔細想想這樣做是很合理的,因為AVM產品中最影響駕駛體驗的就是拼接區域的偽影,其他一切都好說。標定布的測量誤差會導致單應矩陣計算不準確,這一問題是無法避免的,我們選擇拼接區域的特征點計算單應矩陣,使得拼接區域的拼接結果非常準確。隨之而來的可能是其他區域的不準確,例如貼近車身周圍的棋盤格區域,但是這些區域用戶并不care,雖然車身周圍會引入些許誤差,但只要車身與周圍環境的的相對位置呈現的正確,不會引起碰撞事故,對于駕駛員來講就是OK的。

以上就是為什么我們要開發一種基于自動提取角點算法的汽車標定方法。

1.2 基于自動提取角點算法的汽車標定方法

3329f7fa-94dc-11ed-bfe3-dac502259ad0.png標定場景

對于標定布上的棋盤格,我們可以使用opencv的角點檢測函數findChessboardCorners來提取,建議讀者自行閱讀該函數源碼,我們提出的方法的思路就來源于這個算法。下面我們來簡述我們提取大方格角點的方法:

算法流程:

  1. 雙峰自適應閾值二值化
  2. 多邊形檢測
  3. 四邊形篩選
  4. 提取四邊形頂點
  • 雙峰自適應閾值二值化

大體思路為:計算圖像的亮度直方圖。分別計算暗區局部極大值,亮區局部極大值,即“雙峰”。計算雙峰亮度的平均值,作為閾值,來對圖像做二值化。因此稱為“雙峰自適應閾值”。

3352d148-94dc-11ed-bfe3-dac502259ad0.png

解釋下這樣做的理論基礎:標定布上的大塊黑色方格被白色布包圍在中間,我們的目的是將標定布上的黑色方格與白色布通過某個閾值分割開。通常白色布的亮度值在直方圖亮部閾值附近,黑色方塊的亮度值在直方圖暗部閾值附近。因此取兩個亮度峰值取平均,一定可以將黑色方塊與白色標定布分開。當然,光照條件不能過于惡劣,對于這一點即便是opencv提取棋盤格的方法也要限定光照條件。

337cd5f6-94dc-11ed-bfe3-dac502259ad0.png基于自適應閾值的二值化
  • 多邊形檢測以及四邊形篩選

約束條件

  1. 多邊形擬合結果必須為四邊形,即篩選出二值化圖中的四邊形
  2. 四邊形面積必須大于某閾值(opencv源碼中這個超參適用于篩選棋盤格的,我們要把這個閾值搞得大一些,用于篩選大方格)
  3. 相鄰邊長不可相差過多
  4. 選取黑色的四邊形,而不是白色的四邊形
  5. 限制四邊形分布范圍,即四邊形不能過于靠近圖像邊緣,具體情況與相機的位姿相關
  • 使用上述約束條件篩選出大方格的角點。

綜上,使用這種方法提取出的角點分布得更廣泛,且都在鳥瞰圖的分布區域,因此拼接融合得效果更佳。

二. AVM輔助視角——基于外參的視角變換

本章節主要講述單應矩陣與PNP的原理,以及它們在AVM輔助視角中的實際應用,附帶部分代碼。

關鍵詞:單應矩陣、PNP、標定、廣角、超廣角、車輪視角、越野模式

車載魚眼相機可以獲取到范圍非常大的內容,但是魚眼圖像并不能夠在汽車行駛過程中給駕駛員提供符合人類視覺習慣的視頻圖像,這一章節主要來講述如何利用魚眼相機的圖像信息,來提供各種輔助視角。

例如:

(1)在進出車位或經過狹小空間時,駕駛員會更加關注車輪位置的內容,那么我們需要使用某種算法對左側、右側的魚眼相機拍攝到的內容進行處理,得到“車輪視角”;

(2)對于正前方、正后方,我們提供了廣角、超廣角。超廣角由前方魚眼相機通過多次投影變換得到。

(3)左右視角根據不同的要求,我們提供三種不同的輔助視角

從以上的demo中不難看出,我們是通過投影變換的方法,將魚眼相機的圖像從本身相機部署的視角,轉換為我們想要的視角。例如:對于車輪視角的demo,不難看出這個輔助視角中全部都是左、右兩側的魚眼相機中的內容。已知這兩個魚眼相機A和B的位姿為:朝向左右兩側的地面;而我們實際想獲取的車輪視角對應的相機a和b擺放位姿應該為朝向前方偏下,即朝向車輪的那個位置,這是兩個虛擬的相機。那么如果我們通過標定+PNP的方法計算出右側鳥瞰相機A與右側虛擬相機a之間的位姿關系Rt,進一步地計算出A、a這兩個不同位姿下拍攝某個平面(地面)時,他們之間的投影關系H,就可以將實際的魚眼相機視角A轉換為虛擬的車輪視角a。左側魚眼相機B視角與左側虛擬車輪視角b同理。

2.1 單應矩陣H的原理

有CV基礎的同學們大多知道單應矩陣表示“一個平面到另外一個平面的變換關系”。這樣的描述是不準確的,或者如果對單應矩陣僅能說出這些,說明對單應矩陣的認識是片面的。正確的理解應該是:H描述的是在不同位姿下的兩個相機cam1,cam2拍攝同一個平面(例如標定板),這個平面在兩個相機成像平面上的成像結果之間的變換關系。投影變換模型圖如下。以上這段話,被很多人簡單理解成了“H描述的是兩張圖象之間的變換關系”,這里有兩個點需要注意:(1)不要忽略掉了前面那部分和相機投影相關的物理模型(2)H描述的是空間中的某個平面分別在兩個相機圖像平面上的成像結果之間的變換,而不是兩個圖像之間的變換。

對于單應矩陣,我們可以思考一個問題:我們拍攝到的內容,大多數情況下不僅僅包含某一個平面。而我們在做投影變換的時候,H就是基于某個平面計算出來的,這會導致雖然圖像中的該平面部分的投影是合理的,但是因為平面以外的其他部分依然用相同的H做投影,這些部分的投影結果就會顯得非常的奇怪。

相信很多同學聽說過一個結論:基于H的圖像拼接方法,比較適用于視距較遠的環境下。這是因為視距較遠的環境下,拍攝到的景象我們可以近似認為它們在同一個平面上,那么我們基于這個平面計算出來的H,就幾乎適用于整個圖像中的內容。

我們從最基礎的相機物理模型來推導一遍單應矩陣H的公式,這樣有利于我們更深入地理解。(本文僅推導這一個公式,通過物理模型對單應矩陣進行推導對后面的算法理解十分重要)

如圖所示,同一個相機在A,B兩個位置以不同的位姿拍攝同一個平面:

338a07da-94dc-11ed-bfe3-dac502259ad0.png投影變換模型

圖中n表示穿過相機A的光心垂直于平面π的單位向量,d為相機A與平面π之間的距離。π平面上的點X分別投影到A、B相機平面上的m和m'上。X在A相機坐標系下坐標為X1,在B坐標系下坐標為X2。

因此有:

33b3ade2-94dc-11ed-bfe3-dac502259ad0.png

假設相機A與B之間的相對位姿為R t,即旋轉和平移,那么有:

33c0c09a-94dc-11ed-bfe3-dac502259ad0.png

根據相機成像模型,其中K為相機內參,s1為某像素的實際深度

33d6e08c-94dc-11ed-bfe3-dac502259ad0.png

因此推導到最后,H結果為:

33e30808-94dc-11ed-bfe3-dac502259ad0.png

由于H有尺度不變性,因此

34031fee-94dc-11ed-bfe3-dac502259ad0.png

經過上述推導后我們可以得出結論:假設我們可以獲取到兩個相機之間的位姿關系R和t、相機的內參、相機與π平面之間的向量n和距離d,那么我們就可以計算出π平面在兩個相機圖像平面上的投影關系H。以上即為單應矩陣求解的一種方法(基于真實的物理模型),也是本章中AVM輔助視角所用到的方法。

那么,如何才能獲取到相機之間的位姿關系呢?我們用到了PNP的方法。

2.2 PNP的原理

用一句話概括PNP到底做了什么:已知相機A坐標系下的一組三維點,以及這組三維點在另外一個相機的圖像坐標系下的二維坐標,就可以通過數學方法計算出A、B兩個相機之間的位姿R,t。注意R,t是從A->B。

公式如下:

34254952-94dc-11ed-bfe3-dac502259ad0.png

其中(X,Y,Z,1)為某一個相機坐標系下的三維點齊次坐標,(u,v)為另一個相機圖像平面的二維坐標點。這兩組點在真實世界中應該是一一對應的關系。K為相機內參,Rt為相機之間的外參。這個模型其實就是SLAM14講中的單目相機物理模型,世界坐標系->相機坐標系->圖像坐標系的過程。求解方法有“直接線性法”、“最小化重投影誤差”等,我們就不展開來說了。

針對于我們的AVM算法:

先驗信息必然是由標定布來提供的(即第一章中講到的標定布上的大方格角點信息,包含圖像上的二維坐標和標定的三維坐標)。虛擬相機的位置、朝向由我們自己設定,換句話說虛擬相機坐標系是根據不同功能(例如車輪視角、超廣角等)由算法工程師自行設計的,因此我們是可以獲取到標定布上的角點的三維坐標。

  • 二維點:圖像中提取(1.1 1.2中已經講述了提取方法)
  • 三維點:標定

2.3 車輪視角

34321e16-94dc-11ed-bfe3-dac502259ad0.png車輪視角算法坐標系示意圖34402b96-94dc-11ed-bfe3-dac502259ad0.png車輪視角算法坐標系示意圖
  • 2d圖像坐標系沒什么可說的,就是真實相機拍攝到的圖像上黑色方格角點的坐標
  • 3d相機坐標系是一個虛擬的視角,模擬的是朝向正前方的一個視角,即y垂直地面,x垂直車身向右,z朝正前方由于我們已知標定布的全部尺寸參數,因此可獲取虛擬相機坐標系下標定布上黑色方格角點的3維坐標。用PNP算法可以計算出實際相機與虛擬相機之間的位姿關系R,t。
**//函數定義**

voidsolveRtFromPnP(constvector&corners2D,constvector&obj3D,

constMat&intrinsic,Mat&R,Mat&t){

Matr=Mat::zeros(3,1,CV_32FC1);

solvePnP(obj3D,corners2D,intrinsic,cv::Mat(),r,t);

Rodrigues(r,R);

}

//函數調用

solveRtFromPnP(corners_2D,obj_3D,m_intrinsic_undis,R,t);

以上,我們獲取到了虛擬相機->真實部署相機之間的位姿R,t。至于R,t為什么不是從真實部署相機->虛擬相機,可以從PNP算法的公式推導中得知(前面已經講過),或者見視覺SLAM第二版P180-P181。

再回到投影變換H模型圖中,圖中的A就是虛擬相機,B就是真實部署相機。我們已經通過PNP計算出虛擬相機->真實部署相機的R,t。但是我們想要的是如何將真實相機拍攝到的某個平面(對于車輪視角而言是地面)通過H轉換到虛擬相機的視角下。因此我們需要對R,t做一些處理,將其轉化為真實部署相機->虛擬相機的位姿關系:

公式推導:

344dcc1a-94dc-11ed-bfe3-dac502259ad0.pngRt位姿的轉換34766f3a-94dc-11ed-bfe3-dac502259ad0.png投影關系的建立

代碼:

求解單應矩陣:

//基于Rt計算H

MatsolveHFromRt(constMat&R,constMat&t,constfloatd,constMat&n,constMat&intrinsic){

Matintrinsic_inverse;

invert(intrinsic,intrinsic_inverse,DECOMP_LU);

MatH=intrinsic*(R+t/d*n.t())*intrinsic_inverse;

returnH;

}

PNP求解外參:

/****************************************************************************************************************/

//Rt:PNP算出的結果,從虛擬相機->真實部署相機的位姿

//計算出真實部署相機->虛擬相機的位姿

MatR_Camera2Real;

invert(R,R_Real2Virtual,DECOMP_LU);

Matt_Real2Virtual=-R_Real2Virtual*t;

//虛擬相機到地面的垂直單位向量

Matn=(Mat_<float>(3,1)<floattheta_X=m_wheel_sight_angle/180.f*3.14f;

MatR_virtual=(Mat_<float>(3,3)<虛擬視角

MatH=solveHFromRt(R_Camera2Virtual,t_Camera2Virtual,d,n,intrinsic);

幾點說明:

  • n(0,1,0),說明單應矩陣選取的平面為地面。不要忘了我們最開始強調的,H描述的是在不同位姿下的兩個相機cam1,cam2拍攝同一個平面(例如標定板),這個平面在兩個相機成像平面上的成像結果之間的變換關系。因此這個平面的選擇,對最終的投影結果有很大的影響。車輪視角選取地面作為我們要進行投影的平面,最終的效果非常nice。
  • 代碼中還包含rotation部分,這是因為我們在標定的時候讓虛擬相機朝正前方,但顯然理想的車輪視角相機應該朝向車輪,即應加一個俯仰角pitch。

2.4 超級廣角

這部分我們是對標現有某德系車載超廣角功能進行實現的,相比于直接做去畸變的廣角效果,超廣角的優勢在于

  • 糾正了相機翻滾角帶來的視覺不適
  • 糾正了左右兩側遠離圖像中心的拉伸效果
  • 糾正了豎直方向由于透視畸變“近大遠小”帶來的柱體傾斜效果
34907c90-94dc-11ed-bfe3-dac502259ad0.png

大部分車上的廣角功能是對魚眼圖直接做了去畸變,這種方法帶來的問題及產生原因如下:

  • 放大上表中普通廣角圖,不難發現標定布前邊緣并不是平直的,它有一定的傾斜。這是因為相機有一個roll翻滾角,相當于人眼沒有水平正視前方,而是歪著腦袋看前面。
  • 在遠離圖像中心的位置,像素被嚴重拉伸,這是透視畸變的一種(見附錄),會導致即便是我們把去畸變圖的分辨率調整到非常大,在這張圖像上依然不能看到FOV范圍很大的內容,如圖所示。
34a10cc2-94dc-11ed-bfe3-dac502259ad0.png遠離圖像中心的區域被嚴重拉伸

這張圖的分辨率已經很大,然而在圖像的邊緣像素跨度太大,圖中左側的黑色車輛被嚴重拉伸。也就是說同樣一輛車,在圖像的中心可能只需要100個像素來呈現(例如中間的白車),而在圖像的邊緣被拉伸的更長,可能需要1000個像素才能完全呈現出來,如果我們想要獲取更大范圍的視野,就需要超級大分辨率的圖像。

  • 垂直地面的柱子是斜的:這是因為另外一種透視畸變(見附錄),即”近大遠小“。類似于平行的車道線在圖像中會交于一點的原理。我們可以記住一個理論:只有垂直于相機光軸的那個平面上的平行線,在相機圖像平面上的成像結果是平行的(類似于BEV視角);與光軸不垂直的平面上的平行線,在相機成像平面上肯定交于一點,即”近大遠小”。對圖像做去畸變之后,圖中的柱子是斜的,因為我們的前置攝像頭有pitch俯仰角,它的光軸超前下方,并非垂直于柱子所在的平面,即不垂直于汽車正前方的平面。

解決方案:

我們的思路是:首先通過位姿變換的方法將相機擺正(依然是虛擬相機的思想),從而消除“近大遠小”的透視畸變和相機roll角帶來的視覺不適,然后將圖像分為左、中、右三部分,中間這部分的“拉伸”透視畸變較??;對兩側透視畸變較大的部分強制進行某種投影變換,減小拉伸效果。具體如下:

  • 相機位姿矯正
34af3a68-94dc-11ed-bfe3-dac502259ad0.png相機位姿矯正示意圖

相機位姿矯正算法流程的思路依然是將 真實相機視角->虛擬相機視角,以正前方的相機為例,算法流程如下表:

算法流程

  1. 假設虛擬相機的位姿為朝向正前方,光軸與正前方的那面墻垂直,坐標系x、y、z如上表中“位姿校正的廣角”所示
  2. 標定出地面上那些角點在虛擬相機坐標系下的三維坐標
  3. 在真實相機拍攝的圖像中提取角點的圖像坐標(實際上在第一章的標定過程中已經完成)
  4. PNP計算虛擬相機->真實相機的位姿 RT
  5. 計算真實相機->虛擬相機的位姿rt
  6. 我們選定的是垂直于相機光軸的平面,計算這個平面從真實相機->虛擬相機的單應矩陣H,在我們的算法中,這個平面距離相機的距離d=10m,這是一個經驗值。

這個流程與上面的車輪視角的算法流程幾乎是相同的,所有的相機位姿變換導致的視角轉換都可以用這個流程來實現。在上面的相機位姿矯正示意圖中我們可以看到,垂直于地面的墻、柱子的傾斜問題都解決了。被我們用基于相機位姿矯正的單應變換強行掰正了。

但是,這個圖在遠離圖像中心的邊緣依然存在嚴重的拉伸。導致即使圖像的分辨率很大,我們可以看到的實際FOV范圍依然很小。針對這個問題,再一次進行平面的單應變換。

平面單應變換

34bd4482-94dc-11ed-bfe3-dac502259ad0.png平面單應變換示意圖34dfe7d0-94dc-11ed-bfe3-dac502259ad0.png廣角與超廣角

實際的實現方法如下圖所示,在廣角圖像上選取4個點(即遠離圖像中心在圖像左右兩邊的兩個小長方形),并設置這四個點做投影變換的結果(這4個點是通過大量實驗調試出的一組最優超參數),使用這四對匹配點計算單應矩陣H。即計算將小長方形壓縮成梯形的單應矩陣H。

34eb2316-94dc-11ed-bfe3-dac502259ad0.png圖像兩側的單應變換

在圖像兩側所進行的單應變換有將像素在x,y方向做壓縮的效果,從一定程度上減小了透視畸變帶來的拉伸問題。做了投影變換后,在相同幅面的圖像中,我們可以看到更大范圍的內容,即FOV更大,因此稱為超廣角。

MatH_left=getPerspectiveTransform(p_src_left,p_dst_left);

MatH_right=getPerspectiveTransform(p_src_right,p_dst_right);

三. 基于外參的3D 紋理映射方法

單目相機是丟失了深度信息的,計算機圖形學中經常會使用將紋理圖映射到某個3D模型上的方法,呈現出一種偽3D的效果,即紋理映射。在AVM中,通常使用將相機捕捉到的圖像當作紋理,以某種方式映射到 3D 碗狀模型上以呈現出一種3D 環視的效果。下面詳細講述下算法實現:

3.1 3D模型

350a4886-94dc-11ed-bfe3-dac502259ad0.png前、后、左、右

3.2 紋理映射

以前置相機為例,詳細描述3D模型與相機圖像之間的紋理映射關系:

353e700c-94dc-11ed-bfe3-dac502259ad0.png紋理映射示意圖

注意:世界坐標系、3dsmax坐標系、車身統一坐標系,這三個表達的是同一個意思。坐標原點在汽車中心,右手X,汽車前方Y,垂直地面向上Z。黃色坐標軸為前置相機坐標系。

如圖所示,3dsmax中的小長方體代表現實世界中在汽車正前方的柱子。該立柱上的一點(第二張圖上長方體上的圓圈)通過相機成像模型穿過相機光心映射到成像平面上(即第一張圖中柱子上的圓圈位置)。在成像過程中,同時也要穿越我們的3D碗模型。我們通過相機成像模型,可以想象這條光線的路徑:現實世界中的物體->3D碗模型頂點->相機拍攝到的圖像(去畸變后),也就是通過相機成像模型我們建立起了3D碗模型頂點與圖像紋理之間的映射關系。

我們通過3dsmax制作的 3D碗模型是一個OBJ文件,解析出來的是3dsmax坐標系下的坐標。我們需要將其轉換到相機坐標系下,才可以進行上面說的紋理映射。3dsmax是以汽車的中心為原點,右手為X,前向為Y,垂直地平面向上為Z的,在標定過程中,我們可以獲取上圖中角點在3dsmax坐標系下的3維坐標;且可以在前置相機圖像中通過算法提取角點的圖像坐標,因此3dsmax與相機之間的位姿關系,同樣可以通過PNP計算。代碼如下:

//calculatepose

solveRtFromPnP(img_corners,obj_corners,intrinsic_undis,R,t);

//3dsmax->camera

Matpts_3DsMax=

(Mat_<float>(3,1)<imgcoordinate

Matcoor=intrinsic_undis*camera_points/camera_points.at<float>(2,0);

上述代碼將解析出來的3dsmax坐標系下的 3d碗模型的頂點三維坐標轉換到相機坐標系下,然后通過相機內參轉換到圖像坐標系。最終建立起3d碗模型與圖像紋理之間的映射關系。算法流程如下:

算法流程

  1. 標定3dsmax坐標系下 標定布上角點的三維坐標。(即車身中心為原點的車身坐標系)
  2. 檢測相機拍攝到圖像中標定布上角點的圖像坐標。(第一章中已標定)
  3. 利用1、2的坐標信息,通過PNP計算出 3dsmax坐標系與相機坐標系之間的位姿關系 R,t
  4. 解析3d碗狀模型的obj文件
  5. 將解析出來的3d碗狀模型的頂點三維坐標,通過R,t轉換到相機坐標系下
  6. 通過內參將相機坐標系的坐標轉換到圖像坐標系,建立起3d模型與相機圖像之間的紋理映射關系

3.3 融合

3556ff46-94dc-11ed-bfe3-dac502259ad0.png融合區

相鄰兩個3D 碗模型上存在重疊區,由于標定誤差和avm 3d算法固有的誤差,這部分重疊區域會有較嚴重的重影(下一節中會講到)。因此需要用融合算法進行平滑過渡。具體算法可以參考文章[2]

35a78326-94dc-11ed-bfe3-dac502259ad0.png融合算法示意圖

大體思路就是計算3d模型上的頂點與縫合線之間的角度,然后求一個比值,沒什么太大難度。

3.4 3D AVM算法存在的問題

在討論這個問題之前,我們首先要理解相機坐標系。相機坐標系一般x為朝右,y為朝下,z為朝向正前方。圖中標記的兩個坐標系分別為汽車前置攝像頭、左側攝像頭的位姿。一個安裝在汽車前方朝向前下方,一個安裝在汽車左側后視鏡朝向左下方。

35b5fd34-94dc-11ed-bfe3-dac502259ad0.pngAVM 3D病態問題

現實世界中立柱上的一個點通過相機模型分別映射到前置相機、左側相機的成像平面上從而生成圖像img1,img2。在這個過程中會穿過重疊區的前3D碗模型的A點以及左3D碗模型的B點,AB顯然不是同一個點。換句話說,img1和img2上相同的紋理(例如現實世界中的柱子)在紋理映射的過程中并沒有映射到3d碗模型的同一個位置上,不能夠準確地重合,且通常會在模型重疊區有較大的錯位。

因此,我們可以得出結論:AVM的3D是一種偽3D,是計算機圖形學中使用將紋理圖映射到3D模型上呈現3D效果的手段,但它不是真正的3D。根本原因是:單目相機模型丟失了深度信息。

針對這種問題,通常的優化方法為:

  • 將拼接縫位置設置在較不明顯的位置上,例如靠近左右兩側。因為駕駛員開車的視覺習慣通常是正前方,左右兩側的內容不會過分關注。且在切換到其他視角的時候,拼接錯位會被汽車模型擋住。
  • 適當縮小拼接區范圍
  • 盡量讓碗底大一些,讓車身附近的地面有較好的拼接效果。
  • 3d碗的優化問題屬于經驗性的問題,需要通過實驗慢慢調整適合自己的碗模型。

四 附錄

透視畸變

  • “近大遠小”

“近大遠小”表達的是:同一個物體,在遠處的位置投影到相機平面上的大小要小于在近處的位置。例如,車道線投影到圖像上并不是平行線,會交于一點。下圖中O為相機原點,Image plane為相機成像平面,parallel lines為現實世界中兩條平行線。這兩條平行線投影到image plane上,距離相機越遠的位置,其間距投影到image plane上的長度越短,最后匯聚到一點,即“消失點”。這個現象就類似于我們對圖像做去畸變后,汽車前方兩個垂直的柱子在圖像中是斜的,最終會交于一點。但是如果相機光軸垂直于地面,車道線在圖像上的成像結果就是平行的,類似于BEV。所以,我們在做超廣角功能的時候,要對相機做位姿矯正,使相機的光軸朝向正前方,這樣得到的圖像結果中柱子就不會傾斜。

35c8a984-94dc-11ed-bfe3-dac502259ad0.png近大遠小
  • “拉伸”

一張圖,言簡意賅:

36176b78-94dc-11ed-bfe3-dac502259ad0.png邊緣拉伸

五 總結

本篇本章為avm系列的第二篇,至此AVM主要的算法原理已經講述完畢,包含有:相機模型、相機內外參標定、相機聯合標定方法、魚眼去畸變、投影變換、光流、拼接融合、PNP、3D紋理映射、上帝視角、3d視角、廣角、超廣角、車輪視角等。

后續還要做一些其他工作,例如:亮度一致調整、基于車道線的道路自標定、動態拼接線、相機模型優化等。希望以后還有機會和同學們交流,共同進步!

審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 算法
    +關注

    關注

    23

    文章

    4600

    瀏覽量

    92646
  • 角點
    +關注

    關注

    0

    文章

    3

    瀏覽量

    5905
  • 自動泊車
    +關注

    關注

    0

    文章

    102

    瀏覽量

    13673

原文標題:詳解自動泊車之AVM環視系統算法(聯合標定/視角變換/紋理映射)

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    自動泊車HiL仿真測試介紹#自動泊車 #VTHiL

    自動泊車
    北匯信息POLELINK
    發布于 :2024年10月11日 18:29:19

    用于環視和CMS攝像頭系統的四通道攝像頭應用程序

    電子發燒友網站提供《用于環視和CMS攝像頭系統的四通道攝像頭應用程序.pdf》資料免費下載
    發表于 10-11 10:02 ?0次下載
    用于<b class='flag-5'>環視</b>和CMS攝像頭<b class='flag-5'>系統</b>的四通道攝像頭應用程序

    智駕仿真測試實戰自動泊車HiL仿真測試

    汽車進入智能化時代,自動泊車功能已成為標配。在研發測試階段,實車測試面臨測試場景覆蓋度不足、效率低下和成本高昂等挑戰。為解決這些問題,本文提出一種自動泊車HiL仿真測試
    的頭像 發表于 10-10 08:05 ?2621次閱讀
    智駕仿真測試實戰<b class='flag-5'>之</b><b class='flag-5'>自動</b><b class='flag-5'>泊車</b>HiL仿真測試

    從小鵬M03自動泊車撞上奧迪聊聊智駕現狀

    最近有一位網友在微博上發文稱,在使用小鵬MONA M03自動泊車功能時,撞到了別人的車,其中特別強調了在自動泊車過程中,已經檢測到了對方車輛,但還是直直地往對方車輛上撞,并表示之前也體
    的頭像 發表于 09-20 08:59 ?940次閱讀
    從小鵬M03<b class='flag-5'>自動</b><b class='flag-5'>泊車</b>撞上奧迪聊聊智駕現狀

    宏景智駕自動泊車2.0系統征服高難度車位

    隨著自動泊車技術(APA)的進步以及裝車成本的降低,該功能已經實現在多種場景下的落地,有效解決了用戶泊車難問題。近年來,各大主機廠加大對自動泊車
    的頭像 發表于 07-30 15:15 ?588次閱讀

    FPGA在自動駕駛領域有哪些應用?

    通過實現控制算法來增加系統的安全性和穩定性。例如,FPGA可以用于實現車輛的防碰撞系統,通過實時監測并處理傳感器數據,預測并避免潛在的碰撞風險。 四、具體實例以國內某個自動豪華車型為例
    發表于 07-29 17:09

    超聲波雷達在APA自動泊車功能中的應用與仿真

    自動泊車輔助系統(APA)是現代汽車智能駕駛技術的重要組成部分,該系統使得車輛能夠在沒有任何人為干預的情況下,自動完成
    的頭像 發表于 07-19 08:25 ?3432次閱讀
    超聲波雷達在APA<b class='flag-5'>自動</b><b class='flag-5'>泊車</b>功能中的應用與仿真

    智界S7將于六月全球首發自動泊車與召喚VPD商用功能

     這一升級版的代客泊車技術旨在實現“駕駛者自助泊車與接駕”的操作體驗,無需親自動手即可成功泊車。用戶還能通過手機操作,將車輛從遠距離“召喚”至身邊。
    的頭像 發表于 05-09 16:45 ?585次閱讀

    極氪007公測啟動,量產機械車位自動泊車業內首創

    極氪007固體系統6.1版帶來了五項先進的智能泊車功能,包括車位識別、復雜停車位泊入、泊車效率提升以及無劃線區泊車等多個棘手問題都得到了解決。
    的頭像 發表于 03-27 14:32 ?398次閱讀

    行易道(Autoroad)發布了全球領先的4D成像雷達360°環視SLAM系統

    2024年CES展會前,行易道(Autoroad)發布了全球領先的4D成像雷達360°環視SLAM系統
    的頭像 發表于 03-26 17:06 ?610次閱讀

    特斯拉全新自動泊車功能上線,可平行泊車

     據Not a Tesla App報道,此次2024年2月11日的軟件更新新增內容包括自動泊車以及平行泊車等功能。在行車時,車輛屏幕將標示出可用車位,并以紅色P標記做特殊提示;同時,駕駛員亦有權自行選擇其它高亮顯示的車位。
    的頭像 發表于 03-22 11:16 ?645次閱讀

    自動泊車和遙控泊車的區別

    存在著顯著的差異。本文將比較自動泊車和遙控泊車的區別。 一、自動泊車技術 自動
    的頭像 發表于 01-31 13:43 ?1784次閱讀

    行易道發布4D毫米波成像多雷達實時環視SLAM系統

    北京行易道科技有限公司(簡稱其為行易道科技)在北京的總部舉辦了一場別開生面的新聞發布會。在這次發布會上,行易道科技驕傲地推出了一款創新性產品 - 4D毫米波成像多雷達實時環視SLAM系統,這款系統在全球范圍內堪稱首款4D雷達實現
    的頭像 發表于 01-07 16:19 ?1295次閱讀

    告別停車煩惱:自動泊車技術引領新時代

    隨著科技的不斷發展,自動駕駛技術已經成為汽車行業的一個重要研究方向。其中,自動泊車技術作為自動駕駛技術的一個重要應用場景,受到了廣泛關注。自動
    的頭像 發表于 01-05 10:02 ?394次閱讀
    告別停車煩惱:<b class='flag-5'>自動</b><b class='flag-5'>泊車</b>技術引領新時代

    為什么要優化可泊空間預測算法?泊車Freespace檢測方法如何優化?

    基于視覺的環視可用空間檢測是自動停車輔助(APA)的基本任務之一。
    的頭像 發表于 11-29 10:38 ?782次閱讀
    為什么要優化可泊空間預測<b class='flag-5'>算法</b>?<b class='flag-5'>泊車</b>Freespace檢測方法如何優化?