描述

動(dòng)機(jī)與背景

傳統(tǒng)的基于視覺的野生動(dòng)物監(jiān)測方法受到天氣條件、相機(jī)的視野、目標(biāo)生物的大小及其接近程度的限制。可以通過其他渠道更可靠地監(jiān)測野生動(dòng)物的替代技術(shù)有很大的空間：如聲學(xué)監(jiān)測。

聲學(xué)監(jiān)測為監(jiān)測野生動(dòng)物提供了一種可靠、低成本且可擴(kuò)展的替代方案，并具有檢測有害人類活動(dòng)的額外好處：雖然偷獵和伐木可能無法看到，但它們更容易聽到。

當(dāng)然，聲學(xué)監(jiān)測并不是一個(gè)新概念。但是，大多數(shù)產(chǎn)品只記錄；他們不分析。這會(huì)產(chǎn)生大量原始數(shù)據(jù)，超出研究人員單獨(dú)分析的人力。目前，保護(hù)組織經(jīng)常求助于大型科技公司來處理他們的原始數(shù)據(jù)。這不僅使保護(hù)主義者處于被動(dòng)狀態(tài)，將重點(diǎn)放在歷史數(shù)據(jù)上，而且還為小規(guī)模的地方保護(hù)工作構(gòu)成了重大障礙。此外，這也阻礙了聲學(xué)監(jiān)測系統(tǒng)充當(dāng)警報(bào)的潛力。

Agouti：我們的產(chǎn)品

鑒于這些考慮，Agouti 是一款智能、防風(fēng)雨的聲學(xué)監(jiān)測設(shè)備，可以輕松部署用于音頻數(shù)據(jù)的記錄和分析。

我們使用 edgeML 來自動(dòng)標(biāo)記關(guān)鍵事件類的麥克風(fēng)數(shù)據(jù)，例如昆蟲聲音和鳥鳴、人類活動(dòng)（例如車輛）和日志記錄（例如電鋸噪音），并將這些標(biāo)簽與其各自的音頻一起存儲(chǔ)以供人工檢查。我們還記錄溫度、濕度和光傳感器的讀數(shù)，以將音頻與現(xiàn)實(shí)世界聯(lián)系起來，準(zhǔn)確量化環(huán)境如何影響物種的行為。

Agouti 廣泛涉及“挑戰(zhàn) 2：野生動(dòng)物/生物多樣性保護(hù)”。具體來說，我們同時(shí)解決兩個(gè)問題：

• 對(duì)瀕臨滅絕的野生動(dòng)物進(jìn)行非侵入式監(jiān)控：我們的聲學(xué)記錄系統(tǒng)會(huì)定期對(duì)其周圍的音景進(jìn)行 5 秒的錄音，然后對(duì)其進(jìn)行分析并與音頻一起存儲(chǔ)。
• 人類與野生動(dòng)物沖突預(yù)防/緩解：通過檢查音頻中的可疑活動(dòng)聲音（如伐木或運(yùn)輸噪音），我們可以檢測對(duì)環(huán)境有害的非法活動(dòng)。

簡而言之，刺豚鼠

?

因此，如上所示，Agouti 使用 Wio 終端來收集數(shù)據(jù)和顯示預(yù)測，而 Raspberry Pi 用于處理和存儲(chǔ)數(shù)據(jù)。我們決定使用 Raspberry Pi 有兩個(gè)原因

1. 我們嘗試的一些更簡單的模型根本無法以合理的準(zhǔn)確度進(jìn)行音頻分析。所以我們不得不使用一個(gè)太大而無法在 Wio 上運(yùn)行或運(yùn)行的 AI 模型，但又足夠小以適應(yīng) RPi。

2. RPi 可以寫入容量遠(yuǎn)大于 Wio 16GB SD 卡槽的 USB 存儲(chǔ)設(shè)備。

現(xiàn)在，讓我們來看看我們是如何創(chuàng)建 Agouti 的。此處引用的所有代碼和其他支持文件都可以在我們的GitHub存儲(chǔ)庫中訪問，其中包含設(shè)置我們系統(tǒng)每個(gè)部分的詳細(xì)說明。

第 1 部分：人工智能訓(xùn)練

這是最難的一點(diǎn)。我們嘗試了許多各種規(guī)模的模型架構(gòu)，最終我們堅(jiān)持的方法是遷移學(xué)習(xí)。與訓(xùn)練新模型相反，遷移學(xué)習(xí)顯著減少了所需的訓(xùn)練時(shí)間和資源。通過利用預(yù)訓(xùn)練模型的高級(jí)模型架構(gòu)，它還可以提高準(zhǔn)確性。

對(duì)于我們的訓(xùn)練，我們使用了谷歌的預(yù)訓(xùn)練模型YAMNet 。YAMNet 分析輸入音頻數(shù)據(jù)的 Mel Spectrogram，這是一個(gè)根據(jù)人類聽覺對(duì)不同頻率的敏感度有偏差的頻譜圖。它是一個(gè)主要由卷積層組成的模型，在 Google 的 AudioSet 數(shù)據(jù)集上進(jìn)行訓(xùn)練，并輸出對(duì)應(yīng)于 521 個(gè)預(yù)定義類中的每一個(gè)的分?jǐn)?shù)數(shù)組。

然后我們選擇了另一個(gè)數(shù)據(jù)集ESC-50 ，它主要包含環(huán)境噪聲，因此更適合我們的目的。這里的音頻數(shù)據(jù)為 5s 16khz。YAMNet 從音頻生成嵌入，我們在這些嵌入上訓(xùn)練最終分類器。因?yàn)?YAMNet 將音頻數(shù)據(jù)切成 0.96 秒的幀，所以我們 5 秒的記錄產(chǎn)生了一個(gè)嵌入數(shù)組。為了解決這個(gè)問題，我們采用了一個(gè) 128 單元的 LSTM 模型，該模型對(duì)這個(gè)數(shù)據(jù)數(shù)組進(jìn)行循環(huán)操作。

為了進(jìn)一步提高我們模型的魯棒性，我們添加了音頻增強(qiáng)：時(shí)間軸的拉伸/壓縮、頻率調(diào)制、隨機(jī)噪聲的混合、諧波失真等。這不可避免地會(huì)降低訓(xùn)練時(shí)的準(zhǔn)確性，但會(huì)在訓(xùn)練中獲得更好的性能應(yīng)用。

為了使模型的最終預(yù)測更加直觀，我們還創(chuàng)建了模型混合內(nèi)容的混淆矩陣。如下所示：

所以，它做得很好（我們計(jì)劃改進(jìn)大約 60% 的驗(yàn)證準(zhǔn)確度）

?

一旦最終的分類器層被訓(xùn)練出來，我們就對(duì)其進(jìn)行量化并將其轉(zhuǎn)化為可以在 Pi 上輕松運(yùn)行的 TFlite 模型。

您可以在此處使用我們在 Google Colab 上的實(shí)際實(shí)現(xiàn)。

以下是人工智能分析 YouTube 音頻的一些片段：

第 2 部分：Wio + RPi 串行

我們非常感謝 Seeed Studios 為我們提供免費(fèi)的 SenseCAP K1100 傳感器原型套件。我們使用 Wio 終端從其內(nèi)置的光傳感器和 microhpone 以及附加的 Grove SHT40 溫度和濕度傳感器中獲取讀數(shù)。

您會(huì)記得，Wio 終端負(fù)責(zé)所有傳感器數(shù)據(jù)并通過其麥克風(fēng)記錄音頻，而 Raspberry Pi 運(yùn)行大型 AI 聲學(xué)模型（太大而無法安裝在 Wio 上）并使數(shù)據(jù)能夠存儲(chǔ)到 USB具有大存儲(chǔ)空間的驅(qū)動(dòng)器。兩者之間的通信是通過串口實(shí)現(xiàn)的：

• Raspberry Pi 在啟動(dòng)時(shí)向 Wio 發(fā)送命令
• Wio 抓取傳感器數(shù)據(jù)并記錄 16k 幀音頻數(shù)據(jù)，然后將其發(fā)送回 Pi。然后 Pi 做了一些事情：
• Pi 測量 Wio 獲取音頻數(shù)據(jù)所需的時(shí)間，自動(dòng)校準(zhǔn)每幀之間的延遲，以便 Wio 每秒準(zhǔn)確返回 16000 幀。
• Pi 將原始音頻數(shù)據(jù)轉(zhuǎn)換為介于 -1 和 1 之間的 numpy 數(shù)組，然后將其傳遞給 YAMNet 以提取 YAMNet 預(yù)測和嵌入
• 然后將 YAMNet 嵌入通過我們的自定義模型傳遞以提取更高級(jí)別的音頻信息
• 來自 YAMNet 和我們的自定義模型的預(yù)測結(jié)合起來給出最終的音頻標(biāo)簽
• 如果自上次存儲(chǔ)音頻以來已經(jīng)過去了足夠長的時(shí)間，或者如果音頻被標(biāo)記為危險(xiǎn)，則 Pi 將音頻數(shù)據(jù)及其預(yù)測標(biāo)簽（作為 JSON）一起寫入 USB
• Pi 將預(yù)測的音頻標(biāo)簽和校準(zhǔn)的延遲時(shí)間發(fā)送回 Wio
• Wio 顯示預(yù)測的音頻標(biāo)簽，再次記錄音頻數(shù)據(jù)（這次使用新的延遲值），然后循環(huán)繼續(xù)

同樣，我們的 GitHub 存儲(chǔ)庫中提供了設(shè)置RPi和 Wio 的完整說明。

第 3 部分：外殼

為了保護(hù)硬件免受外部環(huán)境的破壞，我們在 Onshape 上設(shè)計(jì)了一個(gè)防水外殼，使用 3mm 透明亞克力板，使用激光切割機(jī)成型。

我們決定使用亞克力板，因?yàn)樗鼈兡陀们抑亓枯p，并且具有易于激光切割的額外好處。外殼也是完全透明的，以確保屏幕可見。此外，外殼設(shè)計(jì)中包含一個(gè)小窗口，用于將溫度和濕度傳感器（位于外部）連接到 Wio（位于內(nèi)部）。保護(hù)殼的所有底座部分均采用指接設(shè)計(jì)，具有很強(qiáng)的穩(wěn)定性和強(qiáng)度，并最大限度地提高了用于連接和形成整個(gè)盒子的丙烯酸水泥的粘合性。

而且……我們做到了！

?

?

?

?

1 / 3 ? Agouti 包裝在亞克力外殼內(nèi)

?

最終產(chǎn)品

這是一段 Agouti 在行動(dòng)中的視頻，它用背景中的飛機(jī)檢測人類噪音：

下面是鏈接到音頻文件的 JSON 文件的示例：

{
    "category": "chainsaw", # Final audio tag
    "class": "sawing",      # Big class that tag falls into
    "humidity": 51.6,       # Humidity value
    "light": 170,           # Light sensor value
    "original": "chainsaw", # Prediction from our model
    "temperature": 20.09,   # Temperature value
    "yamnet": [             # YAMNet prediction at each frame
        "Engine",
        "Breathing",
        "Vehicle",
        "Vehicle",
        "Vehicle",
        "Vehicle",
        "Frying (food)",
        "Breathing",
        "Rattle",
        "Engine"
    ]
}

并且...所有音頻文件都已正確存儲(chǔ)到 USB 上：

USB 上有什么

?

未來的改進(jìn)

未來，我們設(shè)想進(jìn)行以下更改以改進(jìn) Agouti：

• 支持通過 LoRaWan 發(fā)送分析的音頻標(biāo)簽和傳感器數(shù)據(jù)，因此可以立即刷新數(shù)據(jù)和警告（我們確實(shí)有準(zhǔn)備好通過 Lora 將傳感器數(shù)據(jù)發(fā)送到 Helium 的代碼，但連接存在問題，可能與 Lora 覆蓋有關(guān)）
• 太陽能電池板可實(shí)現(xiàn)更長時(shí)間的連續(xù)運(yùn)行
• 使移植的 ML 模型更準(zhǔn)確，并且能夠識(shí)別更多的音頻類
• 使用更好的麥克風(fēng)并以更高的速率采樣

學(xué)分

感謝我來自 Team Enigma 的其他 3 位隊(duì)友，他們參與了這個(gè)項(xiàng)目的開發(fā)：

Dylan Kainth主要用于處理硬件的 Wio 方面，建議使用 Pi 以及許多其他事情

Alex Yi主要用于幫助人工智能，研究不同的算法，并提出不同的音頻增強(qiáng)

Mark Zeng設(shè)計(jì)了機(jī)箱并對(duì) Edge Impulse 進(jìn)行了一些研究