描述

背景

全球已發(fā)現(xiàn)大約 18000 種鳥類，僅在印度，就有超過 15000 名已知的鳥類愛好者。這為收集數(shù)據(jù)和提供服務(wù)提供了足夠大的基礎(chǔ)。

該項(xiàng)目試圖通過 Nano 33 BLE Sense 的板載麥克風(fēng)連續(xù)收聽音頻來識(shí)別不同的鳥叫。聽到的鳥叫聲將被模型消耗，以將其歸類為受過訓(xùn)練的鳥類之一。

如果沒有聽到鳥叫，那么音頻將被歸類為背景噪聲，因?yàn)槲覀冊(cè)谟?xùn)練期間也包括了背景噪聲。這個(gè)項(xiàng)目可以幫助那些對(duì)觀鳥感興趣并想了解鳥叫的棲息地或模式的人。

概述

• 將 Arduino Nano 33 BLE Sense 與 Edge Impulse 連接
• 構(gòu)建機(jī)器學(xué)習(xí)模型
• 將模型部署到設(shè)備

將 Arduino Nano 33 BLE Sense 與 Edge Impulse 連接

Edge Impulse 完全支持 Arduino Nano 33 BLE Sense，這是一款包含 Cortex-M4 微處理器、運(yùn)動(dòng)傳感器、麥克風(fēng)和 BLE 的緊湊型開發(fā)板。該工作室支持對(duì)原始數(shù)據(jù)進(jìn)行采樣、模型開發(fā)和部署訓(xùn)練有素的機(jī)器學(xué)習(xí)模型。它的價(jià)格約為 30 美元，可從 Arduino 和各種分銷商處購買。

這可以通過從Edge Impulse docs安裝系統(tǒng)上的所有依賴項(xiàng)來輕松實(shí)現(xiàn)。

使用 Edge Impulse 框架配置閃存 Nano 33 BLE 感應(yīng)后，我們可以繼續(xù)下一步。

構(gòu)建機(jī)器學(xué)習(xí)模型

我們需要大量鳥類數(shù)據(jù)，要找到數(shù)量和質(zhì)量都高的數(shù)據(jù)是不切實(shí)際的，我們從Xeno-Canto獲取特定鳥類的數(shù)據(jù)，這是一個(gè)致力于分享來自世界各地的鳥類聲音的大型數(shù)據(jù)庫.

我們挑選了我們地區(qū)常見的 4 只鳥。

• 亞洲科爾
• 笑翠鳥
• 方尾卷龍
• 玫瑰環(huán)鸚鵡

構(gòu)建數(shù)據(jù)集

我們?yōu)槊恐圾B下載了大約 20-25 個(gè)音頻文件，并使用名為 Audacity 的軟件進(jìn)行預(yù)處理。然后繼續(xù)增加數(shù)據(jù)，同時(shí)注入噪音。這幫助我們?yōu)樯鲜鏊兴膫€(gè)標(biāo)簽以及單獨(dú)的噪聲標(biāo)簽生成了 200 個(gè) 10 秒的文件。

我們現(xiàn)在有一個(gè)平衡的數(shù)據(jù)集，其中每個(gè)標(biāo)簽的訓(xùn)練數(shù)據(jù)為 33 分 20 秒，測(cè)試數(shù)據(jù)為 8 分 20 秒。

?

?

設(shè)計(jì)沖動(dòng)

一旦培訓(xùn)到位，您就可以產(chǎn)生沖動(dòng)。脈沖獲取原始數(shù)據(jù)，將其切割成更小的窗口，使用信號(hào)處理塊提取特征，然后使用學(xué)習(xí)塊對(duì)新數(shù)據(jù)進(jìn)行分類。信號(hào)處理塊用于通過為相同的輸入返回相同的值來使原始數(shù)據(jù)易于處理，而學(xué)習(xí)塊則從以前的經(jīng)驗(yàn)中學(xué)習(xí)。

經(jīng)過一些實(shí)驗(yàn)，我們確定了以下參數(shù)：

• 窗口大小 = 2500 毫秒
• 窗口增加 = 1250 毫秒

我們可以通過設(shè)置小于窗口大小的窗口增加來構(gòu)建重疊窗口。每個(gè)重疊窗口都是傳達(dá)樣本標(biāo)簽的獨(dú)特音頻示例，盡管它們可能包含可比較的數(shù)據(jù)。我們可以通過使用重疊窗口來充分利用訓(xùn)練數(shù)據(jù)。

現(xiàn)在，選擇塊：

• 處理模塊 - 音頻 (MFE)
• 學(xué)習(xí)塊 - 神經(jīng)網(wǎng)絡(luò) (Keras)

?

?

配置 MFE 塊

在探索了 Mel-filter-bank 能量特征參數(shù)的一些變化之后，我們確定默認(rèn)值是最好的。

?

?

配置神經(jīng)網(wǎng)絡(luò)模型

Edge Impulse 工作室中神經(jīng)網(wǎng)絡(luò)模型的默認(rèn)值給出了最好的結(jié)果。

?

?

分類新數(shù)據(jù)

為了確保模型在新數(shù)據(jù)和以前未見過的數(shù)據(jù)上的工作效果與在訓(xùn)練數(shù)據(jù)上一樣好，我們可以使用工作室提供的“實(shí)時(shí)分類”選項(xiàng)。

單擊左側(cè)菜單中的實(shí)時(shí)分類。您的設(shè)備應(yīng)顯示在“分類新數(shù)據(jù)”面板中。通過單擊開始采樣捕獲 5 秒的背景噪音。

我們使用我們的智能手機(jī)和 Arduino Nano 33 BLE Sense 對(duì)數(shù)據(jù)進(jìn)行了實(shí)時(shí)分類。

模型測(cè)試

除了訓(xùn)練數(shù)據(jù)外，每個(gè) Edge Impulse 項(xiàng)目都有一個(gè)測(cè)試數(shù)據(jù)集。測(cè)試數(shù)據(jù)集立即與 Live 分類中采集的樣本一起保存，模型測(cè)試頁面顯示所有測(cè)試數(shù)據(jù)。

要使用為測(cè)試而捕獲的樣本，應(yīng)相應(yīng)地編輯預(yù)期結(jié)果。單擊?圖標(biāo)并選擇編輯預(yù)期結(jié)果，然后輸入相關(guān)標(biāo)簽，如下所示。

?

?

現(xiàn)在，使用表格左側(cè)的復(fù)選框選擇樣本，然后單擊 Classify selected。

我們可以觀察到模型的準(zhǔn)確性已經(jīng)根據(jù)測(cè)試數(shù)據(jù)進(jìn)行了評(píng)級(jí)。

模型故障排除

正如預(yù)期的那樣，模型的性能在第一次嘗試時(shí)并不總是很好，這可能是由于幾個(gè)因素。一些有助于提高模型準(zhǔn)確性的修改是：

• 搜索異常/低質(zhì)量數(shù)據(jù)的數(shù)據(jù)集。
• 改變窗口大小和窗口增加等參數(shù)。
• 學(xué)習(xí)和處理模塊的參數(shù)變化。或者如果有更合適的塊，請(qǐng)更改塊。（例如，在 MFCC 和 MFE 之間切換）。
• 采樣時(shí)間的變化。
• epoch數(shù)的調(diào)整。

將模型部署到設(shè)備

• Edge Impulse 項(xiàng)目>部署。
• 創(chuàng)建包含沖動(dòng)和所有外部所需庫的完整庫。選擇 Arduino library 并單擊 Build 創(chuàng)建庫

?

?

• 下載并解壓 .zip 文件。
• 打開 Arduino IDE > 選擇 Sketch > Include Library > Add.ZIP library。
• 找到文件夾（不要進(jìn)入文件夾），然后選擇選擇。
• 然后，通過轉(zhuǎn)到文件 > 示例 > 項(xiàng)目名稱 - Edge Impulse > static_buffer 來加載示例。

示例應(yīng)用程序現(xiàn)在將加載脈沖。

?

?

。

Edge Impulse 公共項(xiàng)目

Bird 聲音分類器可作為 Edge Impulse 上的公共項(xiàng)目使用，其中包含所有數(shù)據(jù)集和模型。你可以自己測(cè)試一下。