精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

淺析FPGA的圖像采集和快速移動物體檢測

電子工程師 ? 來源:微型機與應用 ? 作者:李翔翔 ? 2021-05-12 15:29 ? 次閱讀

摘 要: 提出了一種圖像采集和快速移動物體檢測的設計,即通過FPGA實現對攝像頭的初始化及數據采集,并通過自定義的傳輸協議將FPGA緩存中的數據傳輸給ARM7處理器,實現圖像數據的快速傳輸。根據適用范圍,本文提出了自適應二值化閥值及相關的檢測算法改進。

這對于小型的、低功耗實用型的監控系統具有一定的實用價值。近年來,計算機技術、通信技術、微電子技術迅猛發展,數字監控系統逐步從傳統方式的監控系統走向小型化、多樣化和智能化。監控系統的發展首先是從圖像采集開始的,本文根據項目需要提出了一種基于FPGA的圖像采集和移動物體檢測的設計方案,用以實現對特定背景下的圖像采集和移動物體快速檢測。

1 系統總體設計

本系統主要由攝像頭初始化模塊、圖像采集模塊、數據傳輸模塊和運動物體檢測模塊構成。本系統中所使用的FPGA[1]芯片型號是FUSION系列的AFS600。如果只是完成本文中所要實現的內容,則完全可以選擇更低性能的FPGA芯片,例如ProASIC3系列的A3P060;如果所選擇的芯片沒有片內RAM或者片內RAM很小,需要對本文的設計做適當的調整才能完成相應的功能。

本系統中,由FPGA模擬SCCB對攝像頭(OV7670)進行初始化,控制端獲取圖像時再啟動FPGA對一幅圖像進行采集,將采集到的數據放入一個雙端口的RAM存儲器中,并將數據傳輸給控制端。控制端間隔一段時間就通過FPGA采集一幅圖像,通過對這些連續的圖像進行處理,判定是否有移動物體出現,如果有則可以啟動報警系統。本系統中控制端是ARM7系列開發板,圖像采集的相關原理圖如圖1所示。

10608636146615.gif

2 FPGA圖像采集端

2.1 攝像頭的初始化

本系統實驗所使用的攝像頭是OV7670,其感官陣列共656×488個像素。OV7670通過SCCB總線控制,可以輸出整幀、子采樣、取窗口等方式的各種分辨率為8 bit的影響數據。用于VGA圖像顯示最高可達30幀/s。用戶可以完全控制圖像質量、數據格式和傳輸方式。攝像頭內部包含伽瑪曲線、白平衡、飽和度、色度等,這些設置均通過SCCB總線接口完成。

SCCB是和I2C相同的一個協議。SCCB由一根數據線(SIO_D)和一根時鐘線(SIO_C)構成,數據線是雙向傳輸的,時鐘線是由主機完全控制的。本系統中主機是由FPGA芯片來擔任的,對攝像頭初始化的過程只是由主機對攝像頭內部的寄存器寫入數據,不需要完成從攝像頭接收數據的過程,而且對攝像頭(OV7670)寄存器寫入指令的格式很統一。指令由3 B構成,第1個字節為命令字節,對于本文中的攝像頭其內容是0x42;第2個字節是一個8 bit寄存器地址;第3個字節為所要修改的寄存器內容。

根據以上分析,通過FPGA實現攝像頭初始化的過程簡化了SCCB傳輸協議,不再考慮接收數據;而且由于發送數據固定為24 bit,如果再加上起始、終止和確認位,總共需要傳輸的狀態位為29 bit,通過狀態機機制即可很輕松地編寫FPGA代碼。本系統中將實驗所產生的FPGA信號通過邏輯分析儀提取,結果如圖2所示。

10608932236403.gif

2.2 圖像采集

圖像采集要用到OV7670的3個同步信號,分別為VSYNC(場同步信號)、HREF(行同步信號)和PCLK(像素同步信號),三者的時序關系如圖3所示。VSYNC的上升沿表示一幀新圖像的到來,下降沿則表示一幀圖像數據采集的開始;HREF的上升沿表示一行圖像數據的開始,HREF為高電平即可開始有效的數據采集;

PCLK下降沿表明數據的產生,PCLK每出現一個下降沿,OV7670 攝像頭便傳輸一個像素數據。最后,當下一個VSYNC信號上升沿到來,表明一幀圖像輸出結束,同時表示下一幀圖像輸出開始。從圖3中可以看出,當PCLK下降沿到來時攝像頭就會更新輸出下一個數據;要通過FPGA采集圖像數據就要選定一個穩定的圖像數據采樣點,通過分析圖像可知,在PCLK為上升沿時最適合圖像數據的采樣。

10609023187167.gif

本系統中,FPGA采樣得到的數據暫存于一個雙端口的內部RAM緩沖存儲器中。當收到采集圖像命令時,系統首先復位雙端口RAM的寫地址,每當PCLK上升沿到來時FPGA將數據總線上的數據保存下來,接著再將獲得的數據寫入雙端口緩沖區中,每寫完一個數據便對寫地址做加1的操作。

其主要流程如圖4所示,在用Verilog語言實現對圖像數據采集時,檢測PCLK上升沿并將總線數據保存到寄存器是在一個周期內完成的,將寄存器中的數據存入雙端口RAM是在下一個周期完成的,即如果輸入時鐘為48 MHz,則通過FPGA可以對24 MHz的像素頻率(PCLK)的輸出圖像進行采集。其采集頻率即使對640×480的圖像也能達到30幀/s以上的速度。提高圖像采集的速度瓶頸關鍵在圖像從FPGA傳輸到控制端的過程中,因此提高數據的傳輸速度顯得非常重要。

10609230668632.gif

2.3 數據傳輸

本系統通過一個雙端口RAM存儲器來做緩沖,與使用外部SRAM相比,其好處是實現簡單、不需要外接SRAM芯片,同時作為FPGA內部RAM,其處理速度很快可以達到350 MHz。但是RAM緩沖區的大小有限,不能夠存儲一幅完整的圖像,如果控制端讀取數據太慢,可能會使原有的緩沖數據被覆蓋。從圖3中可以看出,在每一行數據傳輸結束后都有很長一段行同步時間,通過使用緩沖區可以有效利用這段時間來傳輸數據。

數據傳輸過程的實現流程如圖5所示,該數據傳輸過程中使用4根控制線和8根數據線。4根控制線分別是開始(start)、結束(finish)、接收狀態(R_ready)和發送狀態(S_ready)。圖5(a)為FPGA發送端的控制流程,圖5(b)為數據接收端的控制流程。發送端中rdata為從RAM緩沖區中讀出的數據,raddress為雙端口讀地址,waddress為雙端口寫地址,數據采集完畢為采集過程結束的標志。

10609409283052.gif

3 處理器控制端

3.1 移動物體檢測研究現狀

目前比較常用的運動物體檢測的方法主要有3種,分別是光流法、背景差法和幀差法。光流法的基本原理是給圖像中的每一個像素分配一個速度矢量,根據各個像素的速度矢量特征,對圖像進行動態分析[2],但光流計算方法相當復雜,且抗噪性能差;幀差法的基本原理是利用圖像序列相鄰兩幀之間的差異計算出變化的像素[3];背景差法的主要思想是通過對序列圖像建立一個背景模型,估算出當前的最優背景圖像,再通過對前景圖像與背景圖像的差分來判斷場景中的運動物體[4]。

3.2 移動物體檢測

由于處理速度和資源都十分有限,本系統需要通過無線網絡來傳輸圖像,在這樣的硬件條件下難以完成視頻采集,如果使用幀差法前后兩幀之間的差異可能會很大;并且本系統主要起到監控報警的功能,通常所監控的環境移動物體很少,所以選用背景差法進行運動物體檢測。

3.2.1 移動物體檢測流程

首先要獲取初始圖像,系統上電后將第一次獲取的圖像作為初始背景,初始背景并不一定準確,但是隨著時間的推移,在自適應背景更新的過程中背景將會越來越趨近于真實的背景;接下來,將采集到的圖像與背景做差,得到背景差圖像,再對背景差圖像做中值濾波處理;之后,對中值濾波后的背景差圖像做二值化,從而提取出移動物體即背景差圖中的白色部分,在對圖像二值化過程中,本系統根據實際應用環境采用自適應的二值化閾值。

3.2.2 中值濾波

由于噪聲和運動的相關性,會出現一部分殘留的噪聲和運動物體內部空洞的現象,需要利用形態學中開和閉運算進行必要的后處理。在眾多預處理方法中,中值濾波作為一種常用的圖像預處理方法,能夠有效地去除噪聲、平滑圖像,并能夠有效地保留圖像的邊緣信息,所以本系統采用中值濾波來處理圖像。

本系統所采用的是快速中值濾波[5]。快速中值濾波的處理過程為:首先獲得需要中值濾波處理的像素及其周圍像素,結果為一個3×3矩陣;然后分別計算每一行中3個數據的最大值max、中值med和最小值min;再在上面求得的3個最小值中求最大值max_of_min,最大值中求最小值min_of_max,中值中求中值med_of_med;最后在max_of_min、min_of_max和med_of_med中求中值middle,middle即為所求,把3×3矩陣的中間值換成middle就完成了對Data5的中值濾波處理。

3.2.3 自適應閾值

由于閾值的大小對移動物體的檢測主要表現在:當閾值定得較大時,會忽略背景差圖中的一些微小變化;當閾值定得太小,又會導致出現太多的移動物體,造成錯誤的移動物體檢測。因此,可以根據經驗給移動物體個數規定一個上限和一個下限。當檢測到的移動物體個數大于所規定的上限時就適當的增大閾值,當移動物體個數小于所設置的下限時就適當地增大閾值。

閾值的變化不是無限的,而是在所容忍的范圍之內變化的。本系統經過上述一系列處理后得到的結果如圖6、圖7所示:圖6為包含移動物體及背景的圖像,圖7為經過一系列處理后得到的對移動物體二值化處理后的結果,其中白色部分為移動物體。

3.2.4 背景自適應更新

現實環境中,即使是固定不變的背景也會因為天氣和光照條件的變化、周圍環境的影響、物體的經過以及攝像機的輕微抖動等因素而發生變化。因此在長期運行的運動檢測系統中背景的更新至關重要。背景更新一般有統計平均法和加權平均法兩種方法。統計平均即取幾幀圖像的平均值作為背景,其公式如下:

本系統采用的更新策略為加權平均,FK表示采集的圖像中扣除被判定為移動物的那部分圖像,對于移動物體部分,將會保留其原來的背景像素值。

本文重點介紹了圖像采集和移動物體檢測,系統主要著眼于對一個簡單實用型監控系統的研究,為此提出了一些有效的方法。隨著硬件技術的發展和芯片價格的下降,系統在日后可以作更大的改進和完善。

編輯:jq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • FPGA
    +關注

    關注

    1626

    文章

    21669

    瀏覽量

    601866
  • 圖像采集
    +關注

    關注

    2

    文章

    299

    瀏覽量

    41256
收藏 人收藏

    評論

    相關推薦

    《DNK210使用指南 -CanMV版 V1.0》第四十一章 YOLO2物體檢測實驗

    腳本)”按鈕后,將攝像頭對準物體,讓其采集物體圖像,隨后便能在LCD上看到攝像頭輸出的圖像,同時圖像
    發表于 11-14 09:22

    在目標檢測中大物體的重要性

    導讀實驗表明,對大型物體賦予更大的權重可以提高所有尺寸物體檢測分數,從而整體提升目標檢測器的性能(在COCOval2017數據集上使用InternImage-T模型,小
    的頭像 發表于 10-09 08:05 ?415次閱讀
    在目標<b class='flag-5'>檢測</b>中大<b class='flag-5'>物體</b>的重要性

    基于FPGA圖像采集與顯示系統設計

    源和固有的并行處理能力,在數字信號處理、硬件加速、汽車電子等領域得到了廣泛應用。在圖像采集與顯示系統中,FPGA能夠實現高速、并行的數據處理,顯著提高系統的實時性和性能。本文設計了一個基于FP
    的頭像 發表于 07-17 10:58 ?1714次閱讀

    圖像檢測圖像識別的原理、方法及應用場景

    圖像檢測圖像識別是計算機視覺領域的兩個重要概念,它們在許多應用場景中發揮著關鍵作用。 1. 定義 1.1 圖像檢測
    的頭像 發表于 07-16 11:19 ?3298次閱讀

    OndoSense推出用于防撞和定位的新型雷達傳感器 可以檢測到0.1米的物體

    reach WA(廣角)具有廣泛的檢測范圍,特別適合檢測車輛、人員或物體等障礙物以及定位機器人和機器。它甚至可以在0.1米的近距離內檢測靜態和移動
    的頭像 發表于 06-26 08:47 ?224次閱讀

    基于 FPGA 的目標跟蹤電磁炮系統

    ,救災物資投放,軍工等。 1.3主要技術特點 傳統運動物體識別一般基于光流法,計算量大,耗時長,對實時性要求 苛刻的情況下并不能適用,且變化的光線會被檢測為光流,對目標檢測造成 極大干擾。針對這種情況
    發表于 06-24 19:19

    微波移動檢測器對人體有影響嗎

    微波移動檢測器,又稱為微波雷達探測器,是一種利用微波技術進行移動物體檢測的設備。它廣泛應用于安全監控、交通管理、工業自動化等領域。然而,關于微波移動檢測器對人體是否產生影響的問題,一直存在爭議。 一
    的頭像 發表于 05-27 16:11 ?664次閱讀

    基于FPGA的實時邊緣檢測系統設計,Sobel圖像邊緣檢測FPGA圖像處理

    摘要 :本文設計了一種 基于 FPGA 的實時邊緣檢測系統 ,使用OV5640 攝像頭模塊獲取實時的視頻圖像數據,提取圖像邊緣信息并通過 VGA顯示。
    發表于 05-24 07:45

    使用RCWL-0516運動傳感器構建的智能路燈電路

    這種簡單而高度復雜的智能LED路燈電路在檢測到路燈下方移動物體時,會自動將路燈從低亮度切換到高亮度。
    的頭像 發表于 02-25 13:53 ?2051次閱讀
    使用RCWL-0516運動傳感器構建的智能路燈電路

    基于RCWL-0516的安全報警電路

    該安全報警電路使用 RCWL-0516 微波雷達運動傳感器,將檢測限制區域內的任何移動物體并打開警報聲。
    的頭像 發表于 02-25 13:48 ?1333次閱讀
    基于RCWL-0516的安全報警電路

    基于ST 紅外傳感器STHS34PF80 搭配菲涅爾透鏡針對投影機應用方案

    STHS34PF80 是一款紅外線感測器,可用于偵測靜止和移動物體的存及超溫條件。它采用獨特的 TMOS 技術測量物體的紅外線輻射,當物體位于視野內時檢測其存在或
    的頭像 發表于 01-30 14:16 ?859次閱讀
    基于ST 紅外傳感器STHS34PF80 搭配菲涅爾透鏡針對投影機應用方案

    實現穩定物體檢測所需的光電傳感器選擇方法和使用方法

    使用反射型傳感器時,應用上的各種要素將會影響光電傳感器的物體檢測。尤其對于黑色物體、光澤物體及透明物體等,使用傳統光電傳感器難以實現穩定的檢測
    的頭像 發表于 01-13 08:23 ?765次閱讀
    實現穩定<b class='flag-5'>物體檢測</b>所需的光電傳感器選擇方法和使用方法

    線掃相機速度和行頻的關系

    線掃相機是一種常見的工業視覺設備,通常用于快速捕捉運動物體圖像。與常規相機不同的是,線掃相機使用一個相對較短的曝光時間和一個類似掃描的技術來捕捉整個圖像。這種掃描方式可以幫助減少運
    的頭像 發表于 12-15 10:34 ?4362次閱讀

    使用傅里葉疊層成像對運動物體進行高分辨率成像

    傅里葉疊層成像技術將相位恢復算法與合成孔徑技術相結合,實現物體的高分辨率成像,可應用于微觀和宏觀成像領域。然而,其應用主要集中在靜止物體上,在實際場景中對運動物體的高分辨率成像留下了空白。
    的頭像 發表于 12-10 10:05 ?1009次閱讀
    使用傅里葉疊層成像對運<b class='flag-5'>動物體</b>進行高分辨率成像

    FPGA圖像處理方法

    圖像細節。 FPGA 圖像處理方法 1、圖像增強 兩大方法:空間域方法和時間域方法(以后再詳述) 2、圖像濾波 (1)平滑空間 濾波器 (2
    的頭像 發表于 12-02 13:15 ?1071次閱讀