您是否開始使用Qualcomm?Snapdragon?神經(jīng)處理引擎（NPE）SDK？我上次發(fā)布了關(guān)于物聯(lián)網(wǎng)設(shè)備邊緣的深度學(xué)習(xí)，并介紹了如何使用SDK在GPU，DSP和CPU上執(zhí)行人工智能（AI）工作負(fù)載。

從那以后，我們?cè)黾恿宋覀冊(cè)赟NPE SDK中支持的深度神經(jīng)網(wǎng)絡(luò)（DNN）的數(shù)量和強(qiáng)度。為了幫助您找到創(chuàng)新之輪，在本文中，我將介紹如何使用這些DNN將AI應(yīng)用于各種物聯(lián)網(wǎng)設(shè)備和使用案例，包括情景感知AI。

如何在物聯(lián)網(wǎng)的使用AI

首先，我們發(fā)現(xiàn)，雖然不少開發(fā)商希望在物聯(lián)網(wǎng)使用AI，沒有全面的資源，告訴他們?nèi)绾文軌蚴褂盟Ｋ麄兛梢哉业揭淮涡缘陌咐芯亢蛻?yīng)用案例，但不是一個(gè)統(tǒng)一的視圖，所以這里有一個(gè)表格，從我們的角度來看有一個(gè)完整的概述：

頂部的列標(biāo)題是AI成熟的邊緣設(shè)備的類型。沿著側(cè)面的行顯示用例的多樣性，按照視覺和音頻排序。在它們交叉的地方，您會(huì)發(fā)現(xiàn)可以使用NPE SDK中支持的神經(jīng)網(wǎng)絡(luò)構(gòu)建的應(yīng)用程序。簡而言之，人工智能有望加速物聯(lián)網(wǎng)機(jī)器人，家庭中心，智能助理或耐用智能助理追蹤器在物聯(lián)網(wǎng)領(lǐng)域的應(yīng)用，通過視覺和音頻分析引入情感維度。

在網(wǎng)絡(luò)邊緣的設(shè)備上快速高效地運(yùn)行推理工作負(fù)載將成為物聯(lián)網(wǎng)設(shè)備間的重要區(qū)別。培訓(xùn)和推斷通常都在云端運(yùn)行，但是當(dāng)您在Qualcomm Technologies的物聯(lián)網(wǎng)平臺(tái)上構(gòu)建時(shí)，您不再需要依靠云進(jìn)行推斷。您可以通過運(yùn)行DNN在DSP上優(yōu)化Snapdragon計(jì)算核心：CPU，GPU和Qualcomm Hexagon?矢量擴(kuò)展（HVX）來推斷設(shè)備上的高能效異構(gòu)計(jì)算。

在HVX上運(yùn)行DNN不僅可以為您提供音頻和可視化分析，而且還可以釋放GPU的4K和1080p相機(jī)功能，如交錯(cuò)式高清晰度分辨率（sHDR），時(shí)間降噪（TNR）和多個(gè)視頻流。

隨著推理和人工智能轉(zhuǎn)移到智能手機(jī)等設(shè)備，隱私成為消費(fèi)者和企業(yè)的首要任務(wù)。在邊緣運(yùn)行AI通過??保持?jǐn)?shù)據(jù)離開網(wǎng)絡(luò)并離開云來優(yōu)先解決這個(gè)問題。您的用戶會(huì)感謝您尊重他們的隱私，提供可靠性并減少延遲。

在邊緣部署可視化分析

首先，我們來探討邊緣的可視化分析。家庭監(jiān)控系統(tǒng)使用攝像頭為家庭成員提供家庭內(nèi)正在發(fā)生的事情。機(jī)器人和無人機(jī)使用視覺分析來繪制其環(huán)境并在障礙物周圍導(dǎo)航。

要在上述表格中的邊緣設(shè)備上運(yùn)行可視化分析，您需要具有合適大小的DNN，并具有恰當(dāng)?shù)耐评砗蜏?zhǔn)確性平衡。考慮這些可視化分析的用例：

· 對(duì)象檢測和分類 - 除YOLOv2模型外，更新的模型（如SSD和MobileNets）基于較輕的神經(jīng)網(wǎng)絡(luò)。根據(jù)您的應(yīng)用程序（消費(fèi)者，家庭，企業(yè)，智慧城市），您可以每秒獲得5到20次推理。

· 人臉檢測和識(shí)別 - 更快的R-CNN可獲得50或100個(gè)感興趣區(qū)域（ROI）的最高準(zhǔn)確度。還有VGG-16，單次探測器（SSD）和MobileNets。

· 場景分類 - MobileNets。

· 視頻摘要 - 長短期記憶（LSTM）可用于概括體育視頻等內(nèi)容，也可用于圖像字幕。

· 食品檢測和分類 - ImageNet。

在邊緣

設(shè)備（如智能家居助理和語音控制揚(yáng)聲器）部署音頻分析時(shí)，需要在邊緣進(jìn)行音頻分析以獲取語音用戶界面（VUI）和會(huì)話界面。

為什么在邊緣而不是云端運(yùn)行這些分析？可穿戴設(shè)備，家庭中心，伴侶機(jī)器人和智能家電的采用持續(xù)增長，因此，保持VUI和設(shè)備上的目標(biāo)聲音檢測有助于讓消費(fèi)者關(guān)注隱私。在設(shè)備上運(yùn)行它們也有助于通過將分析工作負(fù)載排除在云之外來幫助減少延遲。

與可視化分析一樣，音頻分析非常適合異構(gòu)計(jì)算以及在Snapdragon移動(dòng)處理器上運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）。Snapdragon上DSP核心的高能效計(jì)算能力還能夠在邊緣嵌入自動(dòng)語音識(shí)別（ASR）和自然語言處理（NLP）或音頻分類。

考慮這些用于音頻分析的DNN用例：

· 音頻分類 - RNN

· 自動(dòng)語音識(shí)別 - CNN / LSTM

· 語音激活 - 高斯混合模型（GMM）

NPE SDK中的新神經(jīng)網(wǎng)絡(luò)支持

之前，NPE SDK提供了對(duì)AlexNet，Inception v1，Inception v3和ResNet50的支持。在我上一篇文章發(fā)布后的幾個(gè)月里，我們已經(jīng)擴(kuò)展了對(duì)幾個(gè)可用于構(gòu)建視覺和音頻分析應(yīng)用程序的網(wǎng)絡(luò)的支持：

· 更快的R-CNN - 基于使用py-faster-rcnn的區(qū)域提案網(wǎng)絡(luò)提高檢測的準(zhǔn)確性。

· MobileNets - 用于對(duì)象檢測，面部屬性和大規(guī)模地理定位的更小和優(yōu)化的網(wǎng)絡(luò)，其精度較低。

· SSD - 為傳統(tǒng)SSD網(wǎng)絡(luò)提供支持。

· VGG-16 - 用于高度精確的對(duì)象分類基準(zhǔn)模型。

· LSTM - 提供對(duì)音頻分析的支持，包括嵌入式ASR / NLP。

部署Snapdragon神經(jīng)處理引擎

下圖說明了NPE在云中和設(shè)備上的作用。

NPE SDK包含用TensorFlow和Caffe / Caffe2在云中訓(xùn)練的網(wǎng)絡(luò)轉(zhuǎn)換工具。您將經(jīng)過培訓(xùn)的網(wǎng)絡(luò)作為.dlc文件遷移到Qualcomm Technologies SoC運(yùn)行時(shí)環(huán)境。

對(duì)于設(shè)備上的執(zhí)行和推理，SDK還為每個(gè)計(jì)算核心CPU，GPU和Hexagon DSP提供調(diào)試和性能優(yōu)化工具。借助SDK，您可以優(yōu)化應(yīng)用程序，以便在最適合其用例的內(nèi)核上運(yùn)行工作負(fù)載。

下一步行動(dòng)

如果您尚未開始在物聯(lián)網(wǎng)中探索AI并創(chuàng)建創(chuàng)新設(shè)備和應(yīng)用程序，現(xiàn)在可以下載NPE SDK，文檔和示例代碼。