精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

行業 | 利用數字微鏡器件的嵌入式三維視覺系統

MEMS ? 來源:YXQ ? 2019-07-25 08:41 ? 次閱讀

摘要:利用結構光獲取待測物體的三維信息,其操作簡便、成本較低、能夠快速成像,在保護文物、生物醫療、逆向工程等領域有廣泛的應用。為了在三維重構場景下快速獲取待測物體的三維信息,設計了一種無標定的嵌入式三維視覺系統,利用數字微鏡器件高速開關特性,產生基于時間調制的格雷碼結構光,實現了無標定三維信息的快速獲取。其中包括結構光編碼、圖像二值化、結構光解碼、結構光畸變量獲取和生成三維點云等步驟。實驗結果表明,該系統極大簡化了三維信息的獲取步驟和運算過程。

關鍵詞:數字微鏡器件;結構光;嵌入式;系統設計;無標定算法;三維信息獲取

0 引言

目前獲取物體的三維信息方式主要為無接觸式。大部分無接觸式測量方法均采用光學進行測探,在保護待測物體不受損壞的同時還可以大幅提高三維信息獲取的速度。

無接觸式三維測量方法分為主動式測量和被動式測量。被動式測量時通過多個相機經過校準后從多個不同的角度對待測物體成像,并通過對比圖像之間關系來獲取待測物體的三維信息。但是被動式測量獲取的三維信息質量取決于物體本身紋理,因此該方法成像密度低,質量差。主動式測量則使用一個相機代替多個相機,通過投射一系列特定圖案的結構光到待測物體表面,可以使相機可拍攝的紋理數目大幅增加,且能夠根據具體環境設置結構光的紋理圖案和紋理數目。因此,主動式測量能夠擺脫對物體本身紋理的依賴,減小了設備復雜度,大幅提高了三維信息獲取的質量和速度。

在物體三維信息提取之前,還需要對系統中的圖像捕獲設備和產生結構光的投影設備進行標定,此標定過程需要耗費大量的時間和計算資源。因此可以通過產生多種不同的結構光,通過相互之間的對比關聯獲取物體的三維信息,從而回避繁瑣復雜的設備標定操作。因此需要可以高速產生結構光的投影設備代替普通投影儀來加速圖像采樣過程。

數字微鏡器件集成微機電系統和空間光調制于一體,憑借其高速的開關速度,非常適用于需要高速產生結構光的主動式無標定三維信息測量之中。本文將介紹自主研發設計,集成ARMFPGA的數字微鏡驅動系統,通過分析待測物體三維信息獲取的原理,利用此系統能夠快速、準確地完成待測物體三維信息的提取。

1 嵌入式三維信息采集系統

1.1 嵌入式硬件系統組成與數字微鏡器件介紹

整個三維信息采集系統由以多核嵌入式ARM架構芯片為核心的系統控制及圖像處理模塊、以FPGA為核心的結構光模組驅動模塊、數字微鏡光學投影模塊、圖像捕獲模塊構成,功能結構如圖1所示。嵌入式系統控制圖像捕獲模塊與結構光驅動電路的同步,使得投影模塊將結構光圖案投射到待測物體上時,圖像捕獲模塊可以立即進行圖像捕獲,減少時間冗余,提高圖像采集速度,本系統使用了多核嵌入式ARM架構芯片處理捕獲得到的圖像,使整個系統小巧、便攜、方便多場景使用。

在三維信息采集系統完成結構光圖案的投射和圖像捕獲后,系統對捕獲的含有待測物體表面圖案畸變信息的圖片進行處理,分別包括圖像二值化、結構光解碼、獲取畸變量和三維信息提取等步驟。

圖1 系統功能結構圖

如圖2所示,硬件系統采用了FPGA作為數字微鏡驅動芯片,高通IMX系列CPU作為主處理器,兩片芯片各帶有兩片DDR3,和USB、eMMC等外設。FPGA負責驅動數字微鏡芯片和數字微鏡復位芯片,通過高速LVDS接口與數字微鏡器件進行通信。i.MX系列CPU在視頻捕獲、視頻處理方面較為成熟,系統采用兩路攝像頭作為圖片或視頻輸入源,兼容了最新的MIPI接口,以滿足不同攝像頭的輸入要求,可適應多場景使用。主處理器在成功提取待測物體的三維信息后,通過USB口上傳至電腦顯示三維還原結果。

圖2 硬件系統結構圖

數字微鏡器件是一種由CMOS襯底、轉動鉸鏈、鏡架、彈簧端點、反射鏡構成的快速、反射式光開關,其結構如圖3所示。

圖3 數字微鏡器件結構圖

鏡子共有三種狀態,當鏡子無旋轉角度時,為初始狀態;當鏡子旋轉+12°時,為開狀態,反射來自光源的光到投射屏幕上;當鏡子旋轉-12°時,為關狀態,反射來自光源的光到光吸收裝置中,投射屏幕呈現黑色效果(不同數字微鏡器件其偏轉角度有所不同)。鏡子的旋轉角度由CMOS輸出信號決定,如圖4所示,數字微鏡的鏡片由偏置電極施加偏置電壓,這樣當CMOS存儲單元輸出邏輯為“0”或“1”所形成的尋址電壓時,尋址電極處形成電場力,轉動鉸鏈帶動鏡子旋轉,直到達到彈簧端點為止。數字微鏡器件的高速開關特性使其適用于高速投影方面的應用。本系統所采用的是0.7英寸,分辨率為1024 X 768的數字微鏡器件,輸入時鐘頻率為400 MHz,數據接口位寬為32 bit,控制位寬2 bit,數據傳輸速率高達25.6 Gpbs,二進制圖案幀率高達32 kHz,完全滿足本系統要求。

圖4 數字微鏡器件原理圖

1.2 工作原理分析

如圖5所示,結構光向參考平面照射一束光帶,光帶經過待測物體時形成畸變,通過相機捕獲這一畸變量,就可以得到這一束光帶經過的待測物體的高度。經過多組不同數目、不同圖案的光帶照射后,可較全面的獲取待測物體的三維信息。設相機平面與參考平面比例系數為K,結構光與參考平面的法線夾角為θ,待測物體表面P點的高度為H,結構光在待測物體表面P點引起的畸變量為d,相機成像對應的畸變量為d',則可以得到d'與實際待測物體表面高度H的關系為公式(1)和公式(2)所示:

圖5 結構光掃描示意圖

1.3 結構光編解碼方案

從上節可知,為了區分每條光帶的位置,可以對光帶進行編碼,最直接的方式是采用不同灰階進行編碼,但如果采用灰階編碼,則對相機分辨率和環境要求很高,在解碼時會遇到很大困難。因此可以連續將多幅結構光產生的二進制光柵圖案,“1”代表投射白色光束,“0”代表投射黑色光束,以比特面的形式按權重順序投射在待測物體表面,光柵按照黑白相間水平或垂直排布。通過相機捕獲光柵圖案即可確定每條光帶的編碼值,從而得到光柵在待測物體表面的畸變信息。若投影水平像素個數為M的垂直光柵圖案,則可由公式(3)生成,x,y表示圖像坐標,n表示第n幅投影圖像。結果如圖6所示。

圖6 二進制結構光編碼圖案

光柵圖案的編碼方案分為直接二進制編碼和格雷碼編碼。如圖7所示,由于直接二進制編碼會有像素點始終處于黑白光柵的邊緣,因此這種編碼方式對噪聲十分敏感。而格雷碼編碼方式則不會產生這種情況,誤差會大大減小。且在同等權重的比特面中,格雷碼的光柵寬度比直接二進制碼的寬度大一倍,簡化了相機的圖像捕獲難度。

圖7 直接二進制編碼與格雷碼編碼圖案對比

格雷碼編碼可由直接二進制碼異或邏輯得到,如公式(4)所示。

2 基于數字微鏡器件的三維信息獲取設計

2.1 捕獲圖像的二值化算法

在圖像捕獲設備捕獲到所有的攜帶有畸變信息的光柵圖案后,首先要做的是圖像二值化,方便后續處理。此處共有兩種二值化方案,一種為取結構光投射全白圖案和投射全黑圖案投射時捕獲的圖像亮度平均值,如公式(5)所示。

另一種二值化方法是使用互為反相的結構光圖案投射在物體表面,采用互補結構光光柵圖案分別投射到待測物體表面,比較兩幅圖像中的像素點,如第一幅圖像的亮度值大于第二幅圖像,則認為坐標為(x,y)的像素點p(x,y)= 1,反之,p(x,y)= 0?;榉聪嗟慕Y構光圖案使需要投射的圖像數目加倍,但可以省去二值化閾值的計算,避免亮度不均勻時造成的閾值不準確,使圖像二值化更準確快捷。且由于數字微鏡器件的快速開關性能,投射加倍圖像增加的時間可忽略不計。二值化前后如圖8所示。

圖8 圖像二值化前后對比

2.2 結構光解碼及畸變量獲取

圖像二值化的工作完成后,首先要將格雷碼編碼的圖像還原成直接二進制碼編碼的圖像,然后根據圖像中的畸變光帶提取出待測物體的畸變信息。

其中,格雷碼還原為二進制碼的編碼圖像過程如公式(6)所示,為公式(4)的逆過程。

格雷碼還原為二進制碼的圖像如圖9所示。

圖9 還原后的二進制碼圖像

最后,利用公式(7)可以從還原得到的二進制編碼圖像提取其中的光柵圖案的畸變量。

由于圖像捕獲設備與參考平面及待測物體間不可能完全平行,會存在一定的角度,導致水平方向上的一個線性畸變,若想消除這個畸變,則需要事先使用不同高度的標準待測物體得到其線性畸變參數。經過試驗測量,得到其線性畸變參數如圖10所示。

圖10 標準水平畸變

將待測物體的畸變量對應為待測物體高度,并使用之前的畸變量與水平坐標的線性系數進行修正。

最后,為了去除環境背景的影響,事先將不含有待測物體的環境進行上述二值化、編解碼、畸變量提取和水平畸變矯正等操作,然后用含有待測物體的處理結果減去環境背景,可得到僅由待測物體產生的畸變量,經過畸變量與水平坐標的線性系數修正,去除環境背景的影響,可以令無標定的三維視覺系統精度得到提高?;兞哭D換為三維圖像如圖11所示。

圖11 還原三維圖像

3 結束語

本文介紹了自主設計的,以ARM + FPGA為架構,基于數字微鏡器件的嵌入式三維信息采集系統,相比于普通的投影儀,本系統的投影刷新速度更快,控制接口眾多,便攜,適用于多種場合。本文還提出了一種三維信息獲取算法,通過利用結構光的快速開關特性,大幅提高了三維信息獲取速度。但本系統也存在一系列的不足之處。在二值化過程中,陰影區域可以采用一定的算法加以剔除,使最后的成像更為精確。此外,由于本系統采用了無標定算法,在提高三維信息獲取速度的同時,精度也有所降低。由此提出的改進算法為,可以通過投射水平方向光柵、斜向光柵等多種光柵圖案,充分利用數字微鏡器件的高速開關性能,在短時間內快速采集不同結構光圖案的畸變圖片,并進行處理,將從不同圖案中提取的畸變量進行聯合處理,可快速恢復出精確度更高的三維圖像。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 嵌入式
    +關注

    關注

    5069

    文章

    19022

    瀏覽量

    303421
  • 三維視覺
    +關注

    關注

    1

    文章

    16

    瀏覽量

    1742

原文標題:利用數字微鏡器件的嵌入式三維視覺系統

文章出處:【微信號:MEMSensor,微信公眾號:MEMS】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    ARMxy嵌入式計算機在機器視覺中的卓越表現

    處理系統和輸出顯示系統部分組成。嵌入式視覺系統硬件集成攝像頭模組和處理板,將圖像捕獲和圖像處理功能結合在一臺設備中。設備支持邊緣計算,接收
    的頭像 發表于 10-10 14:47 ?214次閱讀
    ARMxy<b class='flag-5'>嵌入式</b>計算機在機器<b class='flag-5'>視覺</b>中的卓越表現

    Abaqus軟件應用案例分享 三維

    Abaqus軟件應用案例分享 三維
    的頭像 發表于 09-20 15:05 ?267次閱讀

    用黑科技書寫“黑神話”,基于飛凌嵌入式RK3576核心板的三維掃描儀應用方案

    飛凌嵌入式FET3576-C核心板在三維掃描系統中扮演著至關重要的角色,作為三維掃描儀的主控設備,可以通過其強大的數據處理能力和豐富的接口資源,實現從數據采集到模型輸出的全流程控制,為
    的頭像 發表于 09-09 09:08 ?602次閱讀
    用黑科技書寫“黑神話”,基于飛凌<b class='flag-5'>嵌入式</b>RK3576核心板的<b class='flag-5'>三維</b>掃描儀應用方案

    機器視覺嵌入式中的應用

    機器視覺嵌入式系統中的應用是一個廣泛而深入的話題,涉及到許多不同的領域和技術。 機器視覺嵌入式系統
    的頭像 發表于 07-16 10:30 ?454次閱讀

    數字孿生三維可視化平臺

    數字孿生 三維可視化平臺作為當今智能化解決方案的前沿工具,奠定了數字孿生技術與三維可視化技術在各行業中的重要地位。
    的頭像 發表于 06-28 17:15 ?474次閱讀

    思看科技三維視覺數字化技術,加速形成新質生產力的全新引擎!

    在這個日新月異的數字化時代,三維視覺數字化技術正改變著智能制造產業的生產效率和質量,將各行業的生產力提升到了全新的高度,引領制造產業向新質生
    的頭像 發表于 06-13 16:06 ?332次閱讀
    思看科技<b class='flag-5'>三維</b><b class='flag-5'>視覺</b><b class='flag-5'>數字</b>化技術,加速形成新質生產力的全新引擎!

    三維可視:展現未來的視覺盛宴

    在當今數字化的時代,三維可視化技術正變得越來越重要。它不僅在電影、游戲和虛擬現實領域得到廣泛應用,還在建筑、醫療、教育等領域展現出強大的潛力。本文將深入探討三維可視化技術的定義、應用和未來發展,并
    的頭像 發表于 06-05 15:48 ?290次閱讀

    泰來三維|數字化工廠_煤礦三維掃描數字化解決方案

    采用大空間三維激光掃描儀對廠區內部進行架站精準三維掃描。廠區外部采用無人機傾斜攝影的方式獲取彩色模型數據,采集控制點坐標與三維點云進行坐標轉換融合點云數據,快速得到廠區內外完整的
    的頭像 發表于 05-29 11:55 ?433次閱讀
    泰來<b class='flag-5'>三維</b>|<b class='flag-5'>數字</b>化工廠_煤礦<b class='flag-5'>三維</b>掃描<b class='flag-5'>數字</b>化解決方案

    機器視覺系統讀取二碼-軟硬件配置方案

    機器視覺系統讀取二碼-軟硬件配置方案
    的頭像 發表于 05-24 00:56 ?573次閱讀
    機器<b class='flag-5'>視覺系統</b>讀取二<b class='flag-5'>維</b>碼-軟硬件配置方案

    泰來三維|三維掃描服務_三維掃描助力園區改造公園

    三維激光掃描儀利用激光反射測距原理,通過接受和返回的信號,獲取點云三維空間坐標。這種測量方式可以無接觸快速獲取大型建筑三維空間數據,實現實體建筑的高精度
    的頭像 發表于 05-07 11:44 ?247次閱讀
    泰來<b class='flag-5'>三維</b>|<b class='flag-5'>三維</b>掃描服務_<b class='flag-5'>三維</b>掃描助力園區改造公園

    嵌入式系統的外設器件選擇

    作者:DigiKey Editor 嵌入式系統除了最重要的為處理器選擇之外,配合的相關外設器件也是嵌入式系統的重要組成部分,包括內存、時鐘(
    的頭像 發表于 05-05 09:38 ?840次閱讀
    <b class='flag-5'>嵌入式</b><b class='flag-5'>系統</b>的外設<b class='flag-5'>器件</b>選擇

    新品全球首發!思看科技NimbleTrack靈動三維掃描系統

    測量,領跑工業計量“無線”新時代! 靈動三維掃描系統NimbleTrack,輕巧身型,自在隨行,集全無線、多功能等超凡性能于一身,精準駕馭中小型測量場景,成就絕妙之作。 其掃描儀和跟蹤器深度集成高性能芯片與
    的頭像 發表于 04-10 09:23 ?295次閱讀
    新品全球首發!思看科技NimbleTrack靈動<b class='flag-5'>式</b><b class='flag-5'>三維</b>掃描<b class='flag-5'>系統</b>!

    泰來三維|文物三維掃描,文物三維模型怎樣制作

    文物三維掃描,文物三維模型怎樣制作:我們都知道文物是不可再生的,要繼續保存傳承,需要文物三維數字化保護,所以三維
    的頭像 發表于 03-12 11:10 ?566次閱讀
    泰來<b class='flag-5'>三維</b>|文物<b class='flag-5'>三維</b>掃描,文物<b class='flag-5'>三維</b>模型怎樣制作

    泰來三維| 高精度工業3D掃描助力模具檢測和逆向設計“數字化”發展

    工業3D掃描系列包括手持激光三維掃描儀、跟蹤激光三維掃描系統、固定式藍光三維掃描儀, Fre
    的頭像 發表于 01-29 16:22 ?444次閱讀
    泰來<b class='flag-5'>三維</b>| 高精度工業3D掃描助力模具檢測和逆向設計“<b class='flag-5'>數字</b>化”發展

    三維視覺測量技術知識科普

    三維視覺測量技術按照測量過程中是否投射光源,獲取被測物體三維形貌信息的方法可以分為兩大類: 被動視覺測量和主動視覺測量。
    的頭像 發表于 01-03 11:47 ?809次閱讀
    <b class='flag-5'>三維</b><b class='flag-5'>視覺</b>測量技術知識科普