近年來(lái),隨著改革開(kāi)放的不斷深化,人民生活水平有了極大的提高,更多的人參與到體育鍛煉中來(lái),運(yùn)動(dòng)員的水平也有了飛躍性地上升,在訓(xùn)練、比賽中提高效率顯得越來(lái)越重要。而在訓(xùn)練場(chǎng)地以及比賽現(xiàn)場(chǎng),如果能在不需要人工控制的情況下,就自動(dòng)將練習(xí)時(shí)擊出的大量乒乓球、網(wǎng)球以及可能構(gòu)成不安全因素的鉛球等球類(lèi)撿回,無(wú)疑會(huì)減少運(yùn)動(dòng)員或工作人員的不必要的勞動(dòng),極大地提高訓(xùn)練、比賽的效率。在我們普通民眾健身運(yùn)動(dòng)累了時(shí)也多么希望有這么一個(gè)工具能幫我們完成這些不必要的工作啊!
針對(duì)這一問(wèn)題,我們思考,是否可以設(shè)計(jì)一種自動(dòng)找球、撿球的小車(chē),它可以在運(yùn)動(dòng)場(chǎng)地中自動(dòng)尋找、識(shí)別、跟蹤散落在地上的球體,如發(fā)現(xiàn)符合此項(xiàng)訓(xùn)練球類(lèi)特征,小車(chē)將自動(dòng)調(diào)整運(yùn)動(dòng)接近此球,然后控制機(jī)械臂將進(jìn)入U(xiǎn)型槽的球體“收入囊中”,這既避免了不必要的勞動(dòng),提高了訓(xùn)練、比賽的效率,同時(shí)可以讓運(yùn)動(dòng)員更加專(zhuān)注地投入比賽,取得更好的成績(jī)。
基于上述考慮,本隊(duì)提出了如下設(shè)計(jì)方案---智能球類(lèi)回收車(chē)。
本作品是以PIC32單片機(jī)為核心微控制器,以自動(dòng)目標(biāo)跟蹤為主要工作方式的智能小車(chē)系統(tǒng),它由視頻采集分析模塊、智能小車(chē)驅(qū)動(dòng)模塊以及機(jī)械臂控制模塊等部分組成,此系統(tǒng)有自動(dòng)目標(biāo)尋找、識(shí)別、跟蹤、撿拾等功能。
利用此系統(tǒng),在乒乓球、網(wǎng)球等訓(xùn)練場(chǎng)地以及鉛球等危險(xiǎn)比賽現(xiàn)場(chǎng),可以在完全脫離工作人員控制的情況下,自動(dòng)找尋目標(biāo)撿拾訓(xùn)練、比賽用球。這樣就避免了工作人員或運(yùn)動(dòng)員不必要的工作,提高了訓(xùn)練效率,也避免了鉛球、鐵餅等比賽、訓(xùn)練中不安全事故發(fā)生的可能。在球類(lèi)比賽百花齊放、全民運(yùn)動(dòng)熱情高漲的今天,該系統(tǒng)的研發(fā)、生產(chǎn)、應(yīng)用必將具有重大的社會(huì)、經(jīng)濟(jì)效益。
系統(tǒng)功能概述
本系統(tǒng)的工作過(guò)程如下:
①通過(guò)攝像頭觀察球場(chǎng)范圍,尋找小球,當(dāng)視野中出現(xiàn)一個(gè)或多個(gè)完整的小球時(shí)根據(jù)近大遠(yuǎn)小選擇最大的一個(gè)調(diào)整小車(chē)位置使小球正好位于小車(chē)視野正中心。
②控制小車(chē)運(yùn)動(dòng),在運(yùn)動(dòng)過(guò)程中不斷校正小車(chē)方向,確定使其正對(duì)要撿起的小球,最后使小車(chē)到達(dá)小球位置。
③當(dāng)小球進(jìn)入車(chē)前設(shè)計(jì)的U型槽時(shí)觸動(dòng)傳感器使小車(chē)進(jìn)入撿球模式,控制一個(gè)位于小球上方類(lèi)似裝羽毛球的筒形狀的筒放下將小球壓入其中,完成撿球。
④繼續(xù)掃描其他目標(biāo)進(jìn)行撿拾,按遠(yuǎn)近關(guān)系依次撿完球場(chǎng)上所有的小球。攝像頭觀察檢測(cè)到?jīng)]有剩余小球時(shí)找尋返回位置標(biāo)志(比如紅色小旗)返回,完成任務(wù)。
本系統(tǒng)主要包括視頻采集分析模塊、智能小車(chē)驅(qū)動(dòng)模塊以及機(jī)械臂控制模塊等部分。
硬件模塊:
軟件流程:
我們的項(xiàng)目涉及到的軟件模塊主要由三個(gè)部分組成:
一、攝像頭定位模塊:攝像頭結(jié)合I2C連接到單片機(jī)上。主要進(jìn)行圖像收集,計(jì)算定位判斷,為下層小車(chē)控制提供運(yùn)行控制字。
二、小車(chē)控制模塊:根據(jù)上層提供的控制字,控制步進(jìn)電機(jī)進(jìn)行左轉(zhuǎn),右轉(zhuǎn),前進(jìn)的運(yùn)動(dòng)。這里考慮到小車(chē)是在運(yùn)行過(guò)程中,通過(guò)攝像頭收集到的數(shù)據(jù)進(jìn)行運(yùn)動(dòng)判斷,因此小車(chē)運(yùn)行的時(shí)間用定時(shí)中斷嚴(yán)格控制。每次小車(chē)轉(zhuǎn)彎精度為3度,前進(jìn)距離為12cm。
三、機(jī)械臂控制模塊:機(jī)械臂的控制模塊采用中斷控制,當(dāng)小車(chē)的u型槽前部判斷小球已進(jìn)入槽后,進(jìn)入機(jī)械臂中斷,控制機(jī)械臂向下運(yùn)動(dòng),套入小球后,再讓機(jī)械臂回到原處。接下來(lái)回到主程序繼續(xù)執(zhí)行下部操作。
下面,通過(guò)流程圖具體介紹軟件的運(yùn)行流程:
首先是主函數(shù):主函數(shù)是一個(gè)while的無(wú)限循環(huán):
接下來(lái)對(duì)上面的各個(gè)部分進(jìn)行說(shuō)明:
攝像頭拍照模塊采用查詢方式,攝像頭拍下照片,等待所有數(shù)據(jù)都傳給單片機(jī)后,標(biāo)志位flagd置1。這里攝像頭與單片機(jī)是運(yùn)用I2C進(jìn)行連接。流程圖如下:
對(duì)攝像頭采集進(jìn)來(lái)的圖片進(jìn)行輪廓分析,判斷小球的位置。未看到小球時(shí),小車(chē)原地旋轉(zhuǎn),然后再次進(jìn)行拍攝。當(dāng)看到多個(gè)小球時(shí),根據(jù)遠(yuǎn)近關(guān)系照成的平面上大小的不同,將最大的一個(gè)鎖定為目標(biāo)。然后根據(jù)小球的位置,向小車(chē)的控制模塊發(fā)送控制字,流程圖:
根據(jù)上一步送下來(lái)的控制字control對(duì)小車(chē)的運(yùn)動(dòng)進(jìn)行控制,小車(chē)的驅(qū)動(dòng)模塊接單片機(jī)的不同IO口,對(duì)IO給出不同的輸出分別控制小車(chē)向左旋轉(zhuǎn),向右旋轉(zhuǎn)以及前進(jìn)。旋轉(zhuǎn)以及前進(jìn)的精度通過(guò)定時(shí)中斷精確控制;流程圖如下:
有兩片塑料片做成的類(lèi)似人體靜脈瓣的裝置,當(dāng)小球進(jìn)入U(xiǎn)型槽后,由于該結(jié)構(gòu)使得小球不會(huì)再?gòu)牟壑忻撾x出去,并且再槽壁裝有傳感器,一旦小球入槽,則進(jìn)入下一步的中斷子程序,從而進(jìn)入撿球狀態(tài)。流程圖如下:
當(dāng)檢測(cè)到小球入槽后,就進(jìn)入該中斷。中斷首先將IO清零,防止小車(chē)仍然在運(yùn)動(dòng)。然后控制機(jī)械臂的電機(jī)轉(zhuǎn)動(dòng),實(shí)現(xiàn)升降。機(jī)械臂的筒口也是采用塑料片做成的類(lèi)似人體靜脈瓣的裝置,只用筒罩住球就能保證球不再掉出來(lái)。
視頻處理與自動(dòng)目標(biāo)識(shí)別模塊工作原理
1.1原理概述
攝像頭拍照模塊采用查詢方式,攝像頭拍下照片,等待所有數(shù)據(jù)都傳給單片機(jī)后,標(biāo)志位flagd置1。這里攝像頭與單片機(jī)是運(yùn)用I2C進(jìn)行連接。對(duì)攝像頭采集進(jìn)來(lái)的圖片進(jìn)行輪廓分析,判斷小球的位置。未看到小球時(shí),小車(chē)原地旋轉(zhuǎn),然后再次進(jìn)行拍攝。當(dāng)看到多個(gè)小球時(shí),根據(jù)遠(yuǎn)近關(guān)系照成的平面上大小的不同,將最大的一個(gè)鎖定為目標(biāo)。然后根據(jù)小球的位置,向小車(chē)的控制模塊發(fā)送控制字。
1.2 設(shè)計(jì)細(xì)節(jié)
本設(shè)計(jì)采用一種基于球色的球類(lèi)檢測(cè)方案。
球類(lèi)檢測(cè)是指: 在輸入圖像中確定是否有球體存在,如果有則確定其位置、大小的過(guò)程。球體檢測(cè)問(wèn)題的提出基于人臉識(shí)別,人臉識(shí)別的第一步就是要從圖像中檢測(cè)并定位出人臉的位置,隨著模式識(shí)別技術(shù)的發(fā)展以及自動(dòng)化程度的提高, 人臉檢測(cè)開(kāi)始作為一個(gè)獨(dú)立的領(lǐng)域進(jìn)行研究。
球體檢測(cè)方法主要有基于幾何特征的方法:基于球色模型的方法和基于統(tǒng)計(jì)理論的方法。本文將主要介紹一種基于球色的球體檢測(cè)算法!
1.2.1 色彩空間的選擇
為了對(duì)球色進(jìn)行分割, 把球體區(qū)域從背景中分離出來(lái), 需要使用適合不同光照條件下的可靠的球色模型!研究顯示:盡管不同種類(lèi)、不同材質(zhì)的球色看上去不同,但這種不同主要集中在亮度上, 在去除亮度的色彩空間里,不同球體的顏色分布具有聚類(lèi)性。本文中的球色模型就是在這樣的色彩空間里建立的。通常所用的表現(xiàn)彩色圖像的方法是R G B , 但是在這里, R G B 空間不再適合用來(lái)作為球色模型的色度空間,因?yàn)樵赗 G B 圖中, (r,g,b) 這三個(gè)分量不但代表著圖像的色彩分布, 而月還表示著圖像的亮度(圖像中每個(gè)像素的亮度等于其R G B 三個(gè)分量之和),而亮度是一個(gè)非常不穩(wěn)定的參量, 它很容易受到周?chē)h(huán)境的影響而導(dǎo)致分離球色區(qū)域的失敗。因此采用把亮度分離的色度空間能夠減小亮度的影響。
Y Cb Cr 色彩空間中的球色分布聚集在色度空間中一個(gè)較小的區(qū)域中, 它具有以下幾個(gè)優(yōu)點(diǎn):(1)具有與人類(lèi)視覺(jué)感知過(guò)程相類(lèi)似的構(gòu)成原理;(2) Y Cb Cr色彩空間格式廣泛地應(yīng)用在電視顯示等領(lǐng)域中, 也是許多視頻編碼, 如MPEG、JPEG 等標(biāo)準(zhǔn)中普遍采用的顏色表示格式;(3)Y Cb Cr色彩空間格式月有與HSI等其它一些色彩空間格式相類(lèi)似的將色彩中的亮度分量分離出來(lái)的優(yōu)點(diǎn)。
因此,本文最終選擇了Y Cb Cr色彩空間進(jìn)行球色建模。
1.2.2 球色的相似度計(jì)算
依據(jù)球體顏色在Y Cb Cr空間的概率分布特性,建立一個(gè)高斯球色模型,其概率密度函數(shù)用式(1)表示:
其中C 為協(xié)方差矩陣
在前面建立的球色模型的基礎(chǔ)上, 通過(guò)球色相似度計(jì)算公式:
可以計(jì)算單個(gè)像素的球色相似度值, 并且很容易得到整幅圖像的最大球色相似度值。每
一點(diǎn)像素的球色相似度值除以最大球色相似度值,作為i亥緣素點(diǎn)的灰度值,從而得到球色相似度。
由于我們傳輸?shù)膱D片屬于RGB模式,因此需要進(jìn)行顏色空間變化。
Y = 0.257*R + 0.504*G +0.098*B + 16;
Cr = 0.439*R - 0.368*G - 0.071*B + 128;
Cb = -0.148*R -0.291*G + 0.439*B +128;
1.2.3 圖像的二值化分割
二值圖像是指圖像中的每個(gè)像素只取兩個(gè)離散的值之一(如0, l) ,用數(shù)學(xué)公式表示為:
上式中, f 認(rèn)刃表示一幅數(shù)字圖像, x,y是該圖像中某個(gè)像素點(diǎn)的坐標(biāo)值,0 和1 表示該像素的像素取值。0 和1是個(gè)抽象的表示,并非實(shí)際像素值,它可以代表不同的顏色,在這里0代表黑色, 1代表白色, 所得到的圖就是一個(gè)黑白二值圖。將圖二值化是因?yàn)?二值圖像中的許多運(yùn)算是邏輯運(yùn)算而不是算術(shù)運(yùn)算, 所需的處理時(shí)間很短,計(jì)算速度快,而且算法也容易理解和實(shí)現(xiàn)。
二值化圖像可以通過(guò)選取適當(dāng)?shù)拈y值獲得。選擇合適的閥值是圖像二值化分割效果好壞的關(guān)鍵。通過(guò)對(duì)球體灰度圖像進(jìn)行分析可以發(fā)現(xiàn),真正的球色像素相比于非球色像素往往擁有更高的亮度,所以可以設(shè)定一個(gè)閥值,當(dāng)該點(diǎn)像素的近似度高于這個(gè)閥值則認(rèn)為該點(diǎn)為球色像素并置1,反之若低于該閥值則置0。
1.2.4 候選球體的確定
經(jīng)過(guò)平滑濾波處理后, 二值化圖中的部分噪聲可以被去除,但由于背景較復(fù)雜,受影響的因素很多, 圖中仍然會(huì)存在許多面積較小的非球體區(qū)域。為了減少算法的工二作量,需要進(jìn)一步排除這些不含球體的區(qū)域。因此對(duì)二值分割圖中的這些區(qū)域進(jìn)行比例結(jié)構(gòu)的分析,過(guò)濾掉不可能的球體區(qū)域,以確定最終的候選球體區(qū)域。
本文將用以下兩個(gè)方法對(duì)候選球體區(qū)域進(jìn)行篩選:
(1)區(qū)域的面積:去掉面積較小區(qū)域,即刪除面積小于30 以下的區(qū)域, 其面積為該區(qū)域中的白色像素點(diǎn)的個(gè)數(shù)。
(2) 區(qū)域的長(zhǎng)寬比:一般來(lái)說(shuō)球體(以網(wǎng)球?yàn)槔┑闹睆浇橛?.35cm至6.67cm之間,考慮到其他球體直徑可能大于網(wǎng)球, 故選取的范圍的上限可以適當(dāng)放大,經(jīng)過(guò)多次實(shí)驗(yàn)發(fā)現(xiàn), 當(dāng)把球體的選取范圍定在直徑為8cm的時(shí)候,真正的球體區(qū)域一般都能包含在內(nèi),不會(huì)被刪除。這個(gè)條件考慮到了真正包含球體區(qū)域的范圍大小, 排除了一些類(lèi)似球類(lèi)顏色但直徑不合要求的區(qū)域。
1.2.5 總結(jié)
綜上所述, 基于球色的球體檢測(cè)方法能較好的分割出可能的球體區(qū)域, 把接近于球體顏色的區(qū)域從圖像中分離出來(lái), 使得目標(biāo)區(qū)域能較好地提取。由于此算法首先篩選掉了一部分背景,減小了球體搜索范圍,故可以大幅度提高檢測(cè)的速度。對(duì)分割出來(lái)的可能球色區(qū)域幾何直徑的篩選, 進(jìn)一步排除了較為明顯的干擾區(qū)域, 在一定程度上減少了后續(xù)模板匹配過(guò)程的工作量。
2、小車(chē)驅(qū)動(dòng)工作模塊工作原理
該模塊充分應(yīng)用了pic32單片機(jī)存儲(chǔ)容量大, 運(yùn)算速度快,數(shù)據(jù)傳輸迅速的特點(diǎn),成功將Y Cb Cr色彩空間進(jìn)行球色建模的算法移植到單片機(jī)上實(shí)現(xiàn),大大縮減了成本。
單片機(jī)首先通過(guò)串口(38400Baud)接受攝像頭拍攝獲得的R G B圖像(70*70),然后將每個(gè)像素點(diǎn)的R,G,B轉(zhuǎn)成Y,Cr,Cb。接下來(lái)執(zhí)行上述所提“根據(jù)Y ,Cb,Cr色彩空間進(jìn)行球色建模”的算法(算法具體實(shí)現(xiàn)見(jiàn)附錄代碼,已做詳細(xì)注釋?zhuān)瑢?shí)現(xiàn)對(duì)小球的空間定位,判斷小球的重心與攝像頭中心的位置關(guān)系。再根據(jù)得到的位置關(guān)系,對(duì)單片機(jī)的IOA口賦值(0:停止,1:左轉(zhuǎn),2:右轉(zhuǎn),3:直行),從而驅(qū)動(dòng)小車(chē)的電機(jī)實(shí)現(xiàn)小車(chē)的運(yùn)作。
這里關(guān)于精度的判斷至關(guān)重要。我們經(jīng)過(guò)反復(fù)驗(yàn)證。最終選定:對(duì)于左轉(zhuǎn),右轉(zhuǎn)延時(shí)10個(gè)毫秒,從而實(shí)現(xiàn)X軸2個(gè)刻度的改變。對(duì)于前進(jìn)延時(shí)20個(gè)毫秒,從而實(shí)現(xiàn)Y軸3個(gè)刻度的變化。之所以選擇上面的轉(zhuǎn)彎以及前進(jìn)步長(zhǎng),是考慮到計(jì)算得到的重心與攝像頭中心可能存在的誤差,經(jīng)過(guò)我們的試驗(yàn)證明,上述誤差是不會(huì)影響最終結(jié)果的。
3、機(jī)械臂撿球模塊工作原理
有兩片塑料片做成的類(lèi)似人體靜脈瓣的裝置,當(dāng)小球進(jìn)入U(xiǎn)型槽后,由于該結(jié)構(gòu)使得小球不會(huì)再?gòu)牟壑忻撾x出去,并且再槽壁裝有傳感器,一旦小球入槽,則進(jìn)入下一步的中斷子程序,從而進(jìn)入撿球狀態(tài)。
當(dāng)檢測(cè)到小球入槽后,就進(jìn)入該中斷。中斷首先將IO清零,防止小車(chē)仍然在運(yùn)動(dòng)。然后控制機(jī)械臂的電機(jī)轉(zhuǎn)動(dòng),實(shí)現(xiàn)升降。機(jī)械臂的筒口也是采用塑料片做成的類(lèi)似人體靜脈瓣的裝置,只用筒罩住球就能保證球不再掉出來(lái)。
4、應(yīng)用前景分析
本智能球類(lèi)回收車(chē)是未來(lái)體育運(yùn)動(dòng)中電子系統(tǒng)的重要組成部分的基本模型。本系統(tǒng)將實(shí)現(xiàn)在復(fù)雜球場(chǎng)環(huán)境中自動(dòng)尋找、識(shí)別、跟蹤符合既定要求的目標(biāo)并回收的功能。
如果將來(lái)投入實(shí)地應(yīng)用,可采用更加專(zhuān)用的控制系統(tǒng)及硬件系統(tǒng),即可實(shí)現(xiàn)更高效率的工作,不僅可以撿拾網(wǎng)球等小球還可以撿拾籃球、排球等相對(duì)較大的球體以及甚至其他形狀的運(yùn)動(dòng)器材,使參加運(yùn)動(dòng)的人能全身心沉浸到運(yùn)動(dòng)帶來(lái)的歡樂(lè)中而不用管撿球等一些繁瑣且費(fèi)時(shí)費(fèi)力的工作。運(yùn)動(dòng)員可以進(jìn)行更加高效有序的訓(xùn)練,取得更好的成績(jī),體現(xiàn)本系統(tǒng)的設(shè)計(jì)初衷,彰顯本系統(tǒng)的社會(huì)、經(jīng)濟(jì)效益。
-
單片機(jī)
+關(guān)注
關(guān)注
6032文章
44525瀏覽量
633260 -
攝像頭
+關(guān)注
關(guān)注
59文章
4814瀏覽量
95474 -
PIC32
+關(guān)注
關(guān)注
2文章
155瀏覽量
27478
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論