智能制造結(jié)合了人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等新一代智能信息技術(shù),貫穿產(chǎn)品全生命周期,實(shí)現(xiàn)從了工廠到市場(chǎng)的聯(lián)動(dòng)。隨著機(jī)械裝備生產(chǎn)過(guò)程的進(jìn)一步智能化,生產(chǎn)信息的采集和處理過(guò)程顯得尤為重要。本文介紹了機(jī)器視覺技術(shù)的工作原理和關(guān)鍵技術(shù),以及機(jī)器視覺在智能制造中的應(yīng)用,并對(duì)機(jī)器視覺的應(yīng)用前景做出了分析和展望。
隨著制造業(yè)的發(fā)展,智能制造技術(shù)日漸成為實(shí)現(xiàn)制造的知識(shí)化、自動(dòng)化、柔性化以實(shí)現(xiàn)對(duì)市場(chǎng)的快速響應(yīng)的關(guān)鍵技術(shù)。其主要應(yīng)用包括基于神經(jīng)網(wǎng)絡(luò)的智能檢測(cè)、故障診斷、識(shí)別、設(shè)計(jì)、優(yōu)化,基于遺傳算法的優(yōu)化設(shè)計(jì),基于規(guī)則、基于框架的專家系統(tǒng),基于類比推理、歸納學(xué)習(xí)與基于實(shí)例推理的知識(shí)系統(tǒng),基于Agent技術(shù)的分布式智能制造系統(tǒng)等等[1]。智能制造主要關(guān)注于高端裝備制造,在制造過(guò)程中進(jìn)行分析推理、判斷、思考、決策等活動(dòng)。智能制造系統(tǒng)從原始的能量驅(qū)動(dòng)轉(zhuǎn)變?yōu)樾畔Ⅱ?qū)動(dòng),這對(duì)于制造系統(tǒng)的靈活性和數(shù)字化提出了很高的要求。在智能制造系統(tǒng)中,原始信息的采集是最基礎(chǔ)的工作,原始信息推動(dòng)著整個(gè)系統(tǒng)的決策和工作。機(jī)器視覺技術(shù)作為當(dāng)前的熱門技術(shù)之一,具有高度的靈活性,能適應(yīng)各種生產(chǎn)環(huán)境,擁有強(qiáng)大的理論支持,在智能制造領(lǐng)域得到了廣泛的應(yīng)用。本文針對(duì)于智能制造,介紹了現(xiàn)有文獻(xiàn)中機(jī)器視覺的相關(guān)關(guān)鍵以及其在制造過(guò)程中的相關(guān)應(yīng)用,并基于此探討機(jī)器視覺在未來(lái)先進(jìn)制造、智能制造中的應(yīng)用前景。
1
機(jī)器視覺中的關(guān)鍵技術(shù)
機(jī)器視覺在智能制造中主要用于視覺檢測(cè),關(guān)鍵技術(shù)包括圖像獲取、圖像預(yù)處理、圖像分割、圖像識(shí)別、檢測(cè)[2]。
1.1 成像系統(tǒng)
視覺信息是機(jī)器視覺技術(shù)的基礎(chǔ),一般而言,視覺信息采集系統(tǒng)主要包括了光源、成像、處理等數(shù)個(gè)環(huán)節(jié)。智能制造中典型的視覺信息采集系統(tǒng)如圖1所示:由光控電路控制的光學(xué)鏡頭在光源下獲取目標(biāo)圖像,經(jīng)傳感器于信號(hào)存儲(chǔ)電路之中保存,之后通過(guò)信號(hào)放大電路以及計(jì)算機(jī)的圖像處理,最終獲得目標(biāo)的視覺信息。
1.2 圖像預(yù)處理
由于獲取條件的不同和外界的各種干擾,經(jīng)過(guò)成像系統(tǒng)采集到的原始圖像往往存在著大量的噪聲和失真,這種數(shù)據(jù)無(wú)法直接用于視覺系統(tǒng)。為了消除外界環(huán)境對(duì)圖像采集的干擾,需要對(duì)圖像進(jìn)行預(yù)處理,例如通過(guò)圖像分析和識(shí)別等手段,消除使圖像質(zhì)量惡化的因素,使采集到的圖像能夠更有效的用于有效信息的提取。圖像預(yù)處理的降噪手段主要有以下幾種:
(1)均值濾波:其是一種線性濾波算法,用圖片中目標(biāo)像素周圍8個(gè)像素的平均值來(lái)代替該像素自身,從而達(dá)到降噪效果。但是該算法自身存在一定的缺陷,會(huì)破環(huán)圖像的細(xì)節(jié)部分,使其變得模糊,不能有效的去除噪點(diǎn)[3]。
(2)中值濾波:是一種基于統(tǒng)計(jì)排序理論的非線性濾波算法,其將待處理的像素點(diǎn)用周圍的8個(gè)或者24個(gè)像素點(diǎn)中的中值進(jìn)行替換,從而達(dá)到降噪的目的[3]。
(3)高斯濾波:其為一種線性平滑濾波算法,用于處理高斯噪聲,將待處理的像素點(diǎn)用周圍其他像素點(diǎn)的加權(quán)平均值代替。高斯濾波處理對(duì)于服從正態(tài)分布的噪聲特別有效[4]。
1.3 圖像分割
圖像分割是圖像處理和計(jì)算機(jī)視覺領(lǐng)域的基本工作,按照?qǐng)D像的灰度、顏色、紋理、形狀等特征,將圖像分割成若干區(qū)域,區(qū)域內(nèi)部具有高度的相似性,不同的區(qū)域呈現(xiàn)互異的特征。圖像分割的算法主要有全局能量最小化方法,例如模擬退火方法、動(dòng)態(tài)規(guī)劃方法、圖論方法等,以及局部能量最小化方法,如變分方法、ICM方法等[5]。其中,模擬退火方法盡管要求高,但是能夠適用較多類型的能量函數(shù);動(dòng)態(tài)規(guī)劃方法主要的問(wèn)題是無(wú)法有效求解高維的能量函數(shù);圖論法則可以拓展到多種能量函數(shù),實(shí)現(xiàn)最優(yōu)解的逼近,求解效率很高,因此采用范圍更為廣泛。
1.4 圖像識(shí)別
圖像識(shí)別基于圖像特征分析、運(yùn)動(dòng)分析、模式匹配等,主要的途徑包括:基于圖像分割,序列圖像識(shí)別方式,以及基于模式學(xué)習(xí)和和形狀匹配的識(shí)別方式等[6-8]。
2
機(jī)器視覺在智能制造中的應(yīng)用
機(jī)器視覺的應(yīng)用優(yōu)勢(shì)在于無(wú)需與被測(cè)物體進(jìn)行接觸,因此被測(cè)物體和測(cè)量裝置操作過(guò)程中都不會(huì)產(chǎn)生損壞,是一種相對(duì)于而言更安全可靠的檢測(cè)手段。此外,測(cè)量裝置的適用范圍和互換性都非常的廣泛,不僅僅局限于某一類物體。理論而言,機(jī)器視覺技術(shù)甚至可以用來(lái)探測(cè)人眼無(wú)法觀察到的部分,例如紅外線、微波、超聲波等,通過(guò)傳感器可以將這些信息進(jìn)行捕獲和處理,從而拓展了人類的視覺范圍。相對(duì)機(jī)器視覺而言,人類視覺容易受到個(gè)體狀態(tài)的影響,難以進(jìn)行長(zhǎng)時(shí)間的觀測(cè),在惡劣下表現(xiàn)不理想,因此,機(jī)器視覺技術(shù)常常用于長(zhǎng)時(shí)間檢測(cè)工作和在線處理,以及人類無(wú)法工作的極端環(huán)境下。
正是因?yàn)檫@些特性,機(jī)器視覺技術(shù)被廣泛應(yīng)用于工業(yè)生產(chǎn)的各個(gè)步驟。在智能制造體系中,機(jī)器視覺的應(yīng)用主要可以歸納為四個(gè)方向:尺寸測(cè)量、物體定位、零件檢測(cè)、圖像識(shí)別[9]。
2.1 尺寸測(cè)量
隨著制造工藝的不斷提高,工業(yè)產(chǎn)品尤其是大型構(gòu)件的外形設(shè)計(jì)日趨復(fù)雜。同時(shí),由于大型構(gòu)件的體積和重量限制,不便于經(jīng)常移動(dòng),給傳統(tǒng)的測(cè)量方式帶來(lái)了巨大的困擾。機(jī)器視覺測(cè)量技術(shù)是一種基于光學(xué)成像、數(shù)字圖像處理、計(jì)算機(jī)圖形學(xué)的無(wú)接觸的測(cè)量方式,擁有嚴(yán)密的理論基礎(chǔ),測(cè)量范圍更廣,而且相對(duì)于傳統(tǒng)測(cè)量方式而言,擁有更高的測(cè)量精度和效率。
根據(jù)不同的光照方式和幾何關(guān)系,視覺檢測(cè)方法可以分為兩種:被動(dòng)視覺探測(cè)和主動(dòng)視覺檢查。被動(dòng)視覺探測(cè)直接采用了原始圖像,這些在工業(yè)環(huán)境中獲取的原始圖像并沒有明顯的特征信息;而主動(dòng)檢測(cè)方式能夠主動(dòng)的去產(chǎn)生所需的特征信息,從而避免立體特征匹配困難,所以在工業(yè)檢測(cè)中應(yīng)用范圍更廣。
主動(dòng)視覺檢測(cè)方式包括激光測(cè)距、云紋干涉法、簡(jiǎn)單三角形法,結(jié)構(gòu)光法與時(shí)差法等方法。例如魏振忠[10]提出了一種基于結(jié)構(gòu)光視覺傳感器的物體測(cè)量方法,可用于提高大型工件的結(jié)構(gòu)光三維視覺的檢測(cè)精度。在結(jié)構(gòu)光方法的測(cè)量過(guò)程中,由于靶標(biāo)上的基準(zhǔn)坐標(biāo)點(diǎn)很難準(zhǔn)確落在結(jié)構(gòu)光平面上,導(dǎo)致空間坐標(biāo)的準(zhǔn)確獲取難以實(shí)現(xiàn)。在此測(cè)量方法中,通過(guò)一種基于雙重交比不變的結(jié)構(gòu)光視覺傳感器的標(biāo)定方法,并配合相應(yīng)的標(biāo)定靶標(biāo),從根本上解決了此問(wèn)題。
2.2 物體定位
傳統(tǒng)制造業(yè)中的焊接、搬運(yùn)、裝配等固定流程正在逐步被工業(yè)機(jī)器人取代,這些步驟對(duì)于工業(yè)機(jī)器人來(lái)說(shuō),只需要生成指定的程序,然后按照程序依次執(zhí)行即可。在機(jī)器人的操作過(guò)程中,零件的初始狀態(tài)(如位置和姿態(tài)等)與機(jī)器人的相對(duì)位置并不是固定的。這導(dǎo)致工件的實(shí)際擺放位置和理想加工位置存在差距,機(jī)器人難以按照原定的程序進(jìn)行加工[11]。隨著機(jī)器視覺技術(shù)以及更靈活的機(jī)器手臂的出現(xiàn),這個(gè)問(wèn)題得到了很好的解決,為智能制造的迅速發(fā)展提供了動(dòng)力。
2.3零件檢測(cè)
零件檢測(cè)是機(jī)器視覺技術(shù)在工業(yè)生產(chǎn)中最重要的應(yīng)用之一,在制造生產(chǎn)的過(guò)程中,幾乎所有的產(chǎn)品都面臨著質(zhì)量檢測(cè)。傳統(tǒng)的手工檢測(cè)存在著許多不足:首先,人工檢測(cè)的準(zhǔn)確性依賴于工人的狀態(tài)和熟練程度;其次,人工操作效率相對(duì)較低,不能很好的滿足大量生產(chǎn)檢測(cè)的要求;近年來(lái)人工成本也在逐步上升。所以,機(jī)器視覺技術(shù)被廣泛用于產(chǎn)品檢測(cè)中,主要的應(yīng)用包括:存在性檢測(cè)和缺陷檢測(cè)。
2.3.1存在性檢測(cè)
存在性檢測(cè)的對(duì)象包括某個(gè)部件、某個(gè)圖案或者是整個(gè)物體的存在性。在制造環(huán)節(jié)中,某些步驟的缺失或者加工缺陷會(huì)導(dǎo)致零部件的丟失,影響產(chǎn)品的品質(zhì),需要在進(jìn)行下一步工序或出廠前分揀出來(lái)待進(jìn)一步處理。通過(guò)前期的圖像采集和處理后,需要依靠顯著目標(biāo)檢測(cè)算法來(lái)進(jìn)行識(shí)別,從而得出顯著目標(biāo)是否存在的結(jié)論。
例如李牧等[12]提出了一種顯著目標(biāo)存在性檢測(cè)算法,利用中心周邊直方圖計(jì)算出的顯著圖,提取目標(biāo)區(qū)域與圖像中心點(diǎn)距離、目標(biāo)區(qū)域位置分布方差、目標(biāo)區(qū)域在圖像邊緣的分布、目標(biāo)區(qū) 域分布熵、圖像顯著圖的直方圖等5種特征進(jìn)行分類,并利用投票的方式最終確定輸入圖片是否包含顯著目標(biāo)。通過(guò)數(shù)據(jù)集驗(yàn)證,能夠有效識(shí)別出指定目標(biāo)的存在性。
2.3.2表面缺陷檢測(cè)
表面缺陷檢測(cè)的對(duì)象為二維平面上的元素,包括孔洞、污漬、劃痕、裂紋、亮點(diǎn)、暗點(diǎn)等常見的表面缺陷,這些缺陷特別是孔洞和裂紋等,可能嚴(yán)重影響產(chǎn)品質(zhì)量和使用的安全性,準(zhǔn)確識(shí)別缺陷產(chǎn)品非常重要。這方面的研究如岳文輝[13]提出了一種CCD (Charge Coupled Device)圖像獲取系統(tǒng),利用使用最普遍的電荷耦合器件CCD,在熒光磁粉無(wú)損檢測(cè)技術(shù)的基礎(chǔ)上,使用CCD進(jìn)行圖像采集,然后使用相關(guān)算法進(jìn)行圖像處理和模式識(shí)別,來(lái)檢測(cè)表面缺陷的類型和程度。
圖2 系統(tǒng)圖像處理和識(shí)別流程圖
零件檢測(cè)相關(guān)的工作流程一般大致如圖2所示。盡管系統(tǒng)針對(duì)于不同的對(duì)象和目的,但是其圖像處理和圖像識(shí)別內(nèi)核差異不大。圖像處理和識(shí)別都是從采集的圖像出發(fā),經(jīng)過(guò)單色化處理、閾值處理,圖像膨脹處理,孤點(diǎn)濾波等預(yù)處理之后,對(duì)圖像的特征進(jìn)行提取并描述,最終輸出結(jié)果。
2.4 圖像識(shí)別
圖像識(shí)別利用機(jī)器視覺技術(shù)中的圖像處理、分析和理解功能,準(zhǔn)確識(shí)別出一類預(yù)先設(shè)定的目標(biāo)或者物體的模型。在工業(yè)領(lǐng)域中的主要應(yīng)用有條形碼讀取、二維碼掃描識(shí)別等,以往多用NFC標(biāo)簽等載體進(jìn)行信息讀取,需要與產(chǎn)品進(jìn)行近距離接觸。而隨著工業(yè)攝像機(jī)等硬件設(shè)備的更新?lián)Q代,二維碼等標(biāo)識(shí)可以被遠(yuǎn)距離讀取和識(shí)別,而且攜帶的信息更豐富,可以將所有產(chǎn)品信息寫入二維碼,而無(wú)需聯(lián)網(wǎng)查詢信息[14]。
3
機(jī)器視覺的發(fā)展和問(wèn)題
盡管機(jī)器視覺在智能制造中已經(jīng)得到的長(zhǎng)足的發(fā)展,但是就目前的應(yīng)用現(xiàn)狀而言,還存在一些發(fā)展的瓶頸。
最為首先的就是精度問(wèn)題。傳統(tǒng)制造測(cè)量尺寸都具有一個(gè)標(biāo)準(zhǔn)化的測(cè)量精度,而機(jī)器視覺中則主要采用基于像素的分辨率來(lái)衡量。盡管目前就鏡頭和感光原件如CCD和CMOS的制造工藝已經(jīng)獲得了很大的進(jìn)展,分辨率6000x4000pixel已經(jīng)比較常見,甚至還有20000x14000pixel也已實(shí)現(xiàn),但是測(cè)量精度仍未實(shí)現(xiàn)標(biāo)準(zhǔn)化。
另一個(gè)則可能是機(jī)器視覺輸出結(jié)果的可靠性問(wèn)題。一般而言,產(chǎn)品位置,光照強(qiáng)度,外部環(huán)境等都會(huì)都最終基于機(jī)器視覺所輸出的結(jié)果產(chǎn)生影響,尤其是在精度要求比較高的時(shí)候。隨著測(cè)量條件、環(huán)境、被測(cè)物表面特性等改變,尤其是在一些強(qiáng)光或溫度的干擾下,機(jī)器視覺的應(yīng)用會(huì)受到很大的限制。然而,這種測(cè)量環(huán)境的普適性很難通過(guò)一種標(biāo)準(zhǔn)化的的方法實(shí)現(xiàn)解決。
算法上的可靠性也會(huì)對(duì)機(jī)器視覺的廣泛應(yīng)用產(chǎn)生影響。目前,針對(duì)于不對(duì)場(chǎng)景下的機(jī)器視覺應(yīng)用,各類算法層出不窮,其精度和應(yīng)用范圍也存在差異。不同算法之間的差異,不僅會(huì)得到不同的測(cè)量結(jié)果,而且整合于一個(gè)系統(tǒng)之內(nèi)的難度也會(huì)加大。
同時(shí),機(jī)器視覺與生產(chǎn)系統(tǒng)一體化也是一個(gè)需要考慮的方面[15]。由于產(chǎn)品位置對(duì)于測(cè)量精度和可靠性都具有一定的影響,因此,在生產(chǎn)設(shè)備中嵌入機(jī)器視覺系統(tǒng)是最為適合的方法。然而,設(shè)備機(jī)器的再設(shè)計(jì)和制造會(huì)對(duì)這種應(yīng)用產(chǎn)生一定的壁壘,其需要保證產(chǎn)量和應(yīng)用價(jià)值的基礎(chǔ)上才能解決。目前中國(guó)的機(jī)器視覺市場(chǎng)相較成熟的自動(dòng)化產(chǎn)品應(yīng)用水平偏低,市場(chǎng)也遠(yuǎn)未飽和,未來(lái)還需要更多的研究者和實(shí)踐者的關(guān)注和參與。
伴隨著制造業(yè)的進(jìn)一步發(fā)展以及“中國(guó)制造2025”的提出,制造業(yè)迎來(lái)了新一輪的產(chǎn)業(yè)升級(jí),智能制造技術(shù)、智能數(shù)字化工程成為了制造業(yè)發(fā)展的重點(diǎn)。作為智能制造領(lǐng)域采集和處理生產(chǎn)信息的關(guān)鍵技術(shù),機(jī)器視覺表現(xiàn)出了巨大的優(yōu)勢(shì)。一方面,用智能裝備替代人工操作,避免了一切依賴人工而存在的弊端;同時(shí),這極大的拓展了生產(chǎn)環(huán)境和生產(chǎn)條件,無(wú)需近距離接觸危險(xiǎn)的工作環(huán)境;最后,隨著機(jī)器視覺裝備和算法的不斷革新和改進(jìn),機(jī)器視覺系統(tǒng)的準(zhǔn)確性和效率會(huì)得到進(jìn)一步的提升。
-
機(jī)器視覺
+關(guān)注
關(guān)注
161文章
4345瀏覽量
120111 -
智能制造
+關(guān)注
關(guān)注
48文章
5481瀏覽量
76261
原文標(biāo)題:【行業(yè)交流】數(shù)字化解決方案|智能視覺技術(shù)在智能制造中的應(yīng)用
文章出處:【微信號(hào):ilinki,微信公眾號(hào):智匯工業(yè)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論