電子發燒友網>電子資料下載>電子資料>Netduino上的立體視覺

Netduino上的立體視覺

2512920 2022-11-08 | zip | 3.01 MB | 次下載 | 免費

普通下載普通下載

資料介紹

描述

立體視覺一直是提取 3D 信息的最復雜和資源密集的過程之一。Netduino 3 以太網板配備 Cortex-M4 168 Mhz 微處理器，能夠對少量圖像數據進行密集執行。

該板還帶有 4 個可供使用的 UART 端口，非常適合串行通信相機。

我們能夠支持 OV528 協議與兩個串行相機進行通信并獲取兩張靜止物體的連續照片。在不久的將來，我們將應用其中一種立體視覺算法從獲取的圖像中提取 3D 信息。

該系統分為兩部分：項目的第一部分將管理硬件并按需獲取立體圖像，然后項目的第二部分將在內部計算所捕捉對象的 3D 坐標。

成分

1 / 3 ? Netduino 3 以太網

電腦立體視覺系統

立體視覺系統由一對已知水平位移和對稱對齊的數碼相機組成。這些數碼相機同時獲取圖像并計算 3D 空間信息。

我們將兩個攝像頭連接到木尺上，以測試攝像頭之間的不同水平位移以及它如何影響 3D 計算測量值。目前我們所做的唯一檢查是將相機與它們的焦軸（鏡頭中心）分開 3 英寸。

該系統由兩個能夠捕捉高達 640x480 圖像的串行相機組成。我們選擇選擇 320x240 的分辨率，以便更輕松地處理數據。尺寸越小，所需的處理資源就越少。

1 / 3 ?幾個攝像頭對齊

目前，錄制過程是順序的：設置攝像頭進行捕獲，發送快照命令，最后將圖像緩沖區讀取到應用程序。對攝像機 1 完成此過程，然后對攝像機 2 重復此過程。

圖像數據保存在 Netduino 3 的 SD 卡中。

if (_button.Read())
           {
               //Record image from camera 1
               Set4Capture(Camera1);
               Snap(Camera1);
               GetImage(Camera1);
               //Record image from camera 2
               Set4Capture(Camera2);
               Snap(Camera2);
               GetImage(Camera2);
           }

請注意，我們的目標不是實時 3D 計算和顯示，而是更多用于 3D 掃描的對象建模。

UART通信

Netduino 3 最多支持 4 個 UART 通道。我們使用 UART COM1 和 UART COM2 連接相機。

.NET MicroFramework 通過定義一個事件回調函數來支持 UART 設備，當系統通過一個活動端口接收到信息時將觸發該回調函數。

//Set event callback function  
       Camera2.DataReceived += SerialDataReceived;
       Camera1.DataReceived += SerialDataReceived;

事件函數定義如下。兩個攝像頭調用相同的事件函數并在內部檢查以查看哪個實例進行了調用。

接收到的數據存儲在本地內存數組中，然后移動到全局變量中，以便我們可以訪問它。接收到的數據量也被保存到一個全局變量中。

static void SerialDataReceived(object sender, SerialDataReceivedEventArgs e)
   {
       if ((e.EventType == SerialData.Chars) && (sender == Camera1))
       {
           const int BUFFER_SIZE = 1024;
           byte[] buffer = new byte[BUFFER_SIZE];
           int amount = ((SerialPort)sender).Read(buffer, 0, BUFFER_SIZE);
           if (amount > 0)
           {
               for (int index = 0; index < amount; index++)
               {
                   messageFromCam1[index] = buffer[index];
               }
               dataRead1 = true;
               dataSize1 = amount;
           }
       }
       else if ((e.EventType == SerialData.Chars) && (sender == Camera2))
       {
           const int BUFFER_SIZE = 1024;
           byte[] buffer = new byte[BUFFER_SIZE];
           int amount = ((SerialPort)sender).Read(buffer, 0, BUFFER_SIZE);
           if (amount > 0)
           {
               for (int index = 0; index < amount; index++)
               {
                   messageFromCam1[index] = buffer[index];
               }
               dataRead1 = true;
               dataSize1 = amount;
           }
       }
   }

發送命令并等待響應后的事件同步仍然是我們尚未克服的挑戰。我們將研究信號量或臨界區。復雜性是由于董事會實現了一個循環調度程序，該調度程序在等待變量更改狀態時添加了無限循環。這可能會使進程死鎖并將事件進程設置為饑餓模式。我們將在了解如何同步事件后立即報告項目的第二部分。

與此同時，我們通過蠻力解決同步問題。換句話說，如果我們沒有收到我們期望的確認流，那么我們會再次發送命令，直到收到正確的響應。您可以在下面的代碼中看到它。

           while (true)
           {
               clearBuffer(camDevice);
               sendCmd(camDevice, cmd, 6);
               cmdRet = readReply(camDevice, resp, ref dS2R);
               if (!cmdRet && dS2R < 6) continue;
               if (resp[0] == 0xaa && resp[1] == (0x0e | cameraAddr) && resp[2] == 0x0d && resp[4] == 0 && resp[5] == 0)
               {
                   if (dS2R == 12)
                   {
                       if (resp[6] == 0xaa && resp[7] == (0x0d | cameraAddr) && resp[8] == 0 && resp[9] == 0 && resp[10] == 0 && resp[11] == 0)
                           break;
                   }
               }
           }