我們之前討論過，訓練過程是機器學習的第一階段，而推理則緊隨其后，為機器學習的第二階段。在訓練階段，算法會生成新模型或把預訓練模型重新調整用于特定應用，并幫助模型學習其參數。在推理階段，會根據學習得到的參數對新數據進行預估和決策。

學習需要大量的時間、計算能力和電力，相反，推理階段需要較少的處理能力，并且也消耗較少的功率。但是，正如之前部分“解析人工智能：訓練”所述，對于物聯網設備，中央云中的傳統計算方式可能會占用大量資源。處在網絡邊緣的每個物聯網節點都收集大量數據，從而使邊緣到云端（以及相反從云端到邊緣）的數據傳輸既昂貴又緩慢。“邊緣計算”可以直接執行大多數計算，并且僅在完全必要時才將相關信息傳輸回云端（反之亦然），從而無需依靠基于云的服務器來進行所有處理。雖然在網絡邊緣進行計算可以減少數據傳輸成本和時間，但該模型也具有某些缺點。例如，網絡邊緣的物聯網設備需要大量的處理能力來滿足學習和推理需求，這與物聯網設備要求的高能效原則背道而馳。這正是AI邊緣計算加速器能夠解決的問題。

AI加速器

基于軟件和硬件的AI加速器都可加快機器學習。硬件加速可以針對訓練、推理或兩者兼有。在某些情況下，硬件加速器可以降低功耗。而在其他情況下，硬件加速器可以提高處理能力。目前有幾種主要類型的芯片或處理器可用于硬件加速，這些包括中央處理器（CPU）、圖形處理器（GPU）、現場可編程門陣列（FPGA）、片上系統（SoC）、專用集成電路（ASIC）、視覺處理器（VPC）和神經形態（neuromorphic）集成電路。除了硬件加速器之外，市場上的解決方案還包括基于軟件的方式，例如機器學習框架可用于改善AI軟件開發和優化系統性能。

CPU和GPU

CPU是AI傳統上使用的硬件加速器。盡管CPU一般被設計為通用型器件，但它們通常不足以支持模型生成和推理所需的大量計算。因此，包括ARM（通過DynamIQ產品）和三星（通過Exynos 9系列）等公司已經開始創建AI專用芯片。在ARM和三星等公司選擇繼續使用AI專用CPU的同時，其他公司則正在轉向GPU。

GPU起源于視頻游戲行業，專為處理海量數據集而構建，非常適合用于機器學習。由于GPU具有比CPU更多的單片處理單元和更高的吞吐量，以及更高的并行處理能力，因此能夠顯著減少計算時間。此外，GPU的單個處理單元比CPU所使用的多個單元更加小巧，從而使GPU更適合于需要小巧和靈活解決方案的空間受限物聯網設備。可提供AI專用GPU的公司包括AMD（Radeon Instinct）、NEC（SX-Aurora）、NVIDIA（DGX）和高通（Adreno）等。

FPGA

盡管CPU和GPU擁有相當大的處理能力，并且對于加速學習和推理非常有效，但它們卻需要花費大量時間和能量在內存和處理之間傳輸數據。由于CPU和GPU的電路密度相當高，因此經常會由于過熱而導致系統故障。對于位于遠端的物聯網設備，高能耗和潛在系統故障是難以接受的缺點，需要找到一種方法可以將某些任務轉移到更節能的硬件上，這一點非常必要。

基于可編程邏輯的FPGA 是一種能夠在生產后由客戶或設計人員現場重新配置的一種器件。雖然 FPGA 通常不如 CPU 或 GPU 強大，但通過芯片自身內部計算而不是數據傳輸，能夠為某些計算（如乘法、加法、集分、微分和指數等）提供快速處理。盡管FPGA提供了更大的靈活性，但它往往相當笨重，因此要實現物聯網設備的小型化是此類芯片的一大挑戰。能夠提供面向AI應用芯片的主要公司包括NVIDIA（TensorRT）和Xilinx。此外，微軟也正在使用FPGA芯片來加速推理，英特爾目前正在擴展其FPGA產品組合。?

SoC

SoC包含有多個電子器件的組合（微處理器、微控制器、數字信號處理器、片上存儲器、硬件加速器等）。由于多個組件集成到單一半導體基底，SoC比微控制器芯片功能更加強大。在智能手機中，SoC可以集成視頻、音頻和圖像處理功能。ARM已經開發了機器學習處理器和對象檢測處理器，這些處理器能夠在未來集成到SoC中。隸屬華為集團的海思（HiSilicon）半導體部已經得到ARM的IP授權，以創建最初用于手機和平板電腦的SoC。此外，HiSilicon正在為華為制造升騰芯片（Ascend）。SoC領域的另一大廠商是Arteris，該公司正在開發一種片上網絡互連交換矩陣技術（FlexNoC），許多移動和無線公司都在使用該技術。由于Arteris在知識產權方面占據主導地位，因此對該市場有更宏觀的掌握。可能很快會有其他公司在AI SoC市場發揮重要作用，這些包括英特爾（通過其Movidius子公司）、恩智浦、瑞薩、東芝、德州儀器和意法半導體等。

ASIC、VPU和神經形態芯片

ASIC 專為加速深度學習算法中的訓練而構建，包括 Google 的Edge TPU和英特爾的 Nervana都是此類ASIC芯片。視覺處理單元（VPU）旨在加速機器視覺任務，并運行卷積神經網絡（CNN）等機器視覺算法，因此 VPU 視頻處理功能不同于 GPU，GPU不提供相同類型的專用任務處理。英特爾的Movidius Myriad芯片、Google的Pixel視覺內核、微軟的HoloLens、Inuitive的NU系列和Mobileye的EyeQ等都是一些視覺處理單元例證。

無論是數字芯片還是模擬芯片都各有不足：數字電路精準，但耗能巨大，而模擬電路則具有低延遲和低能耗，但精度不夠。因此，研究人員正在尋找一些新方法，結合數字和模擬芯片的技術優勢，同時回避兩者的弱點。受人腦的啟發，神經形態芯片的設計在本質上采用數字架構，但采用模擬電路進行混合信號處理。IBM 的 TrueNorth 是一個神經形態處理器，面向傳感器數據模式識別和智能等應用。此外，哥倫比亞大學、斯坦福大學的"硅片中的大腦（Brains in Silicon）"項目以及DARPA支持的密歇根大學IC實驗室都在從各個方面研究神經形態系統的實現。

機器學習框架

AI 加速器還包括軟件。例如，機器學習框架可以是接口、程序庫或工具，有助于降低與機器學習相關的復雜性，以便開發人員能夠更快、更輕松地構建模型并優化性能。此類框架采用如Python 或 Java等特定語言構建，一些深受市場歡迎的開源機器學習框架來自亞馬遜（AWS）、Apache、Caffe2、Keras、Theano、微軟（Azure）和Google（TensorFlow）等廠商。此外，一些公司還提供內部平臺。例如，英特爾的 OpenVINO 工具包是一個軟件和硬件加速器，可優化CNN模型的推理。另外，高通的Snapdragon是一個移動平臺和軟件加速器，IBM則有Watson機器學習加速器平臺，而華為最近推出了MindSpore AI框架。

AI?起步

貿澤電子（Mouser）現在可提供各種硬件，能夠幫助客戶構建實現AI的初始模塊。英特爾的即插即用Neural?Compute Stick 2??可以幫助工程師盡早實現對深度神經網絡進行原型設計，它采用公司自身的?Movidius X VPU?提供極具吸引力的能效和性能組合，能夠達到4TOPS。高度緊湊的AAEON UP AI?核心處理模塊基于小型?PCI?Express格式，主要面向工業計算。它還配備了英特爾Movidius VPU，其中采用?Myriad 2 2450，具有?512Mb DDR?內存，以及?12?個VUW?可編程SHAVE內核和專用視覺加速器。Gumstix的?Aerocore 2?板?采用陣列式NVIDIA Jetson TX1和TX2 CUDA內核，使其具有強大的并行處理能力，還包括ARM Cortex-M4微控制器和眾多外設，特別適用于物體識別、生產線檢測等多種機器視覺應用。

展望未來

目前NVIDIA在工業AI應用中仍然占據主導地位，大多數新加入廠商都專注于IoT AI領域。GreenWave?和Reduced Energy Microsystems處于低功耗芯片領域，而?Mythic?和Syntiant正在開發基于電池供電的處理器。與上述情況類似，Wiliot正在制造一種藍牙芯片，可由周圍環境中的無線電輻射供電。在巨大的并行數據處理市場，有Vathys、Graphcore、Cerebras和Wave Computing等廠商。與此同時，Hailo Technologies?和Horizon Robotics等公司正在開發用于自動駕駛汽車的專用芯片。在深度學習領域，BrainChip已經成功開發出第一個尖峰式（spiking）神經處理器，Thinci推出了流式圖形處理器，Gyrfalcon?正在開發一種具備專有AI處理內存（APiM）技術的深度學習處理器。最后，在Groq，曾經設計Google?TPU的前Google公司設計師正在開發一種超低延遲芯片。隨著在機器學習領域取得驚人的進展，物聯網邊緣計算仍存在許多技術挑戰，軟件和硬件開發人員都在不斷努力，以便在卓越的處理性能和更高的能效等方面實現最佳的平衡。