描述

隊員：鄧子輝（zd13）、黃星昊（xh28）、杜樂義（ld31）、蔣天成（tj16）

前言

雖然在這個最終項目中有多種選擇，但我們最終決定進行喚醒詞檢測。由于智能設備現在在我們的生活中非常普遍，因此這種檢測對于在不聯系后端服務器的情況下檢測喚醒詞非常有用。我們想接觸一些日常生活中實用且常用的東西，所以就來了。

至于應用架構，從TinyML微稿中我們知道，對于每一個機器學習項目，至少要有五個步驟：

1. 獲取輸入

2. 預處理輸入以提取適合輸入模型的特征

3. 對處理后的輸入進行推理

4. 對模型的輸出進行后處理以理解它

5. 使用結果信息使事情發生

在這個項目中，我們主要遵循上述規則，但有一些變化。

首先，我們必須先處理原始音頻數據，然后再將其作為輸入送入模型。此外，我們必須修改分類模型以滿足輸出字符串（“YES”或“NO”）而不是可能值的要求。

過程

我們使用 Arduino Nano 33 BLE 訓練了一個機器學習模型，它應該對輸入進行分類和識別，并將輸入分為三個不同的輸出：“是”、“否”和“未知”。我們選擇用于訓練的數據集是語音命令數據集，它由 65,000 個 30 個短詞的一秒長話語組成，在線眾包。

我們在這里要做的是將我們的原始數據從單詞預處理為音頻類型。我們可以通過用頻譜圖表示輸入詞來做到這一點。

結果

實際上，我們添加了一些創新的技巧來訓練模型。從下面的demo我們可以看到，當輸入為“YES”時，黃燈會亮3秒，當輸入為“NO”時，黃燈會熄滅3秒，當輸入是未知的東西，光沒有任何反應。

?

?