人工智能、云計算、邊緣計算之后，一個新的時髦詞匯出現了——邊緣AI（Edge AI）！相比于傳統的云端AI，邊緣AI具有將計算和推斷能力推向離數據源更接近的位置的優勢，可以提供了更快速、更安全、更隱私保護的數據處理和決策能力，使得人工智能能夠更好地應用于各種邊緣設備和應用場景中。這種本地化處理方式使得設備能夠在幾毫秒內做出決策，而無需互聯網連接或云服務。這意味著，當設備產生數據時，本地算法可以立即使用這些數據進行計算和決策。

邊緣AI的定義可以歸結為在邊緣計算環境中實現人工智能。在邊緣計算中，計算任務通常在網絡的邊緣完成，即在生成數據的設備上，如相機或汽車等。與傳統的集中式云計算不同，邊緣AI不需要將數據傳輸到遠程數據中心進行處理，而是在設備本身進行計算和決策。以智能相機為例，它能夠在相機側檢測到事件，并能否根據檢測到的事件做出相應的決策。 總的來說，隨著人工智能技術的日益普及，邊緣人工智能正在逐漸嶄露頭角，搭載AI能力的設備涵蓋汽車，無人機，監控攝像頭等應用場景，出貨量也在快速的成長，如下圖所示。

按類別劃分的AI邊緣設備出貨量 如上圖所示，邊緣AI計算的需求范圍可能包括數億計的工業和消費設備，因此任何單一的架構都不太可能滿足所有這些需求。在微控制器和相對低端的芯片上運行推理模型是可以的，但大多數機器學習功能需要從基于FPGA、ASIC和其他SoC配置的一長串可選CPU附加項，以及GPU和CPU的組合，有時還需要由Google的TPU等特殊用途的ASIC來增強。 大部分的增強都是以加速器的形式出現的。這些FPGA、SoC、ASIC和其他專用芯片旨在幫助資源受限的基于x86的設備通過一層接一層的分析標準處理大量圖像或音頻數據，因此app可以正確地計算和加權每個數據的值。英特爾和英偉達已經向邊緣AI市場發起沖擊。

英偉達的Jetson這樣的產品并不能令人信服。Jetson是一個GPU模塊平臺，具有7.5W的功率預算，只有英偉達更典型產品的70W功率的一小部分，但對于一般不超過5W的邊緣應用來說還是太高了。有很多IP公司正在為神經網絡尋求加速，因此有足夠的選擇使加速器開始成為邊緣設備推理的需求。” 但是，要想在潛在的億萬個設備上添加ML加速和支持，將需要更多的可定制性、更低的成本，以及更專門針對資源受限設備上ML應用需求的規范——這意味著，如果要取得成功，整個市場將需要更好的處理器。 神經推理需要數萬億次乘法累加運算，因為模型從其公式矩陣的一層提取數據，盡管每一層可能需要不同的數據大小，而且其中一些設備可能在輸入設置為8位整數而不是16位整數時運行得更快。

Xilinx試圖利用其在FPGA和系統級設計方面的經驗，推出新的產品系列和路線圖，以滿足盡可能多的邊緣/設備市場的需求。 Xilinx在去年春天討論了這個想法，但直到10月才正式宣布，該公司描述了一個自適應計算加速平臺，該平臺“利用CPU、GPU和FPGA的力量來加速一切應用”。 Xilinx的演示描述了一個廣泛的產品線、使用案例列表和有關其AI引擎核心的詳細信息，其目標是提供比傳統方法的單位芯片面積高出3~8倍的性能，并提供高性能DSP能力。

與此同時，FlexLogix創建了一個使用低DRAM帶寬的可重構神經加速器。芯片的面積和功率的目標規格將在明年上半年完成，并在下半年流片。推理引擎將充當CPU，而不僅僅是一個更大，更漂亮的加速器。它提供了模塊化、可擴展的架構，旨在通過減少移動數據的需要以及通過改進數據和矩陣計算的加載方式來減少瓶頸，從而降低移動數據的時間和精力成本。

該芯片將DRAM專用于單個處理器塊，而不是將其作為一個大內存池進行管理。DRAM不能同時將數據饋送到芯片的多個部分。將DRAM作為流入一個處理器塊的大內存池處理，這是范諾依曼架構的典型特征，但它不會成為神經網絡的成功架構。

Xilinx，FlexLogix和其他公司蜂擁到了一個仍處于發展中的邊緣推理市場，顯示出市場和SoC、FPGA制造商提供良好技術以應對它們的能力的廣泛信心，但這并不能保證他們能夠克服安全、隱私、現狀的慣性和其他無形的問題。同樣，FPGA、ASIC和SoC加速ML的市場仍處于起步階段。

當一個新市場發展起來時，看到許多新的參與者和新方法是正常的。FPGA和ASIC供應商也在其中，因為這些技術使一家知道自己在做什么的公司能夠快速生產出合理的產品。不過，標準最終將在一兩年內回歸，這將穩定所涉及的參與者的數量和專長，并確保與其他市場的互通性。

審核編輯：黃飛