在科技行業，如果沒有人提及推理、人工智能 （AI） 和機器學習 （ML），您幾乎無法進行對話。然而，重要的是要注意，雖然所有這些術語都是相互關聯的，但它們也有很大的不同。

在本文中，我們將解釋基本差異并強調使用基于張量處理的邊緣 AI 技術的重要性，特別是在邊緣和嵌入式系統中。與基于圖形處理單元 （GPU） 的解決方案相比，張量處理技術 （TPU） 可提供更高效、更具成本效益的性能。我們還將提供一些示例用例，說明您將來可以在哪些地方找到邊緣 AI 解決方案。

ML 和推理的基礎知識

ML 是指使用代表性數據來訓練模型以使機器能夠學習如何執行任務的方法。這個過程可能是高度計算密集型的，每條新的訓練數據都會產生數萬億次操作。訓練過程的迭代特性與實現高精度所需的非常大的訓練數據集相結合，推動了對極高性能浮點處理的需求。ML 培訓最好作為數據中心基礎設施實施，可以在許多不同的客戶之間攤銷，以證明高昂的資本和運營費用是合理的。

推理是使用經過訓練的模型為新數據生成可能匹配的過程，該數據與模型訓練所基于的所有代表性數據相關。推理旨在提供可以在幾毫秒內得出的快速答案。推理的示例包括語音識別、實時語言翻譯、機器視覺和廣告插入優化決策。雖然推理需要一小部分的訓練處理能力，但它仍然遠遠超出了傳統的基于中央處理器 （CPU） 的系統所提供的處理能力，尤其是對于計算機視覺應用而言。這就是為什么如此多的公司正在轉向基于張量的加速解決方案，無論是在 SoC 上作為 IP 還是作為系統內加速器，以實現邊緣所需的亞秒級響應時間。現實情況是，在視覺系統中花費一分鐘甚至幾秒鐘來處理圖像并不是很有用。工業視覺系統正在尋求毫秒級的處理速度。

將訓練與推理分開

為推理工作負載部署訓練中使用的相同硬件可能意味著過度配置具有加速器和 CPU 硬件的推理機。過去十年為 ML 開發的 GPU 解決方案不一定是大規模部署 ML 推理技術的最佳解決方案。下圖是 TPU 加速器與 GPU 加速器的完美示例。很明顯，與基于 GPU 的 AGX 解決方案相比，TPU 加速器能夠提供更低的功耗、更低的成本和更高的效率，同時仍然為推理應用程序提供令人信服的性能水平。

接近 ML 訓練和推理解決方案時的另一個重要考慮因素是軟件環境。如今，有許多流行的庫正在使用，例如用于 NVIDIA GPU 的 CUDA、TensorFlow 和 PyTorch 等 ML 框架、Keras 等優化的跨平臺模型庫等等。這些工具集對于 ML 模型的開發和訓練至關重要，但在推理應用程序方面，需要一組不同且更小的軟件工具。

推理工具集專注于在目標平臺上運行模型。推理工具支持將經過訓練的模型移植到平臺。這可能包括一些算子轉換、量化和主機集成服務，但這是模型開發和訓練所需的一組相當簡單的功能。

推理工具受益于從模型的標準表示開始。開放式神經網絡交換 （ONNX） 是表示 ML 模型的標準格式。顧名思義，它是一個開放標準，并作為 Linux 基金會項目進行管理。ONNX 等技術允許訓練和推理系統解耦，并為開發人員提供了為訓練和推理系統選擇不同優化平臺的自由。

示例視覺應用

隨著 ML 和推理處理器技術的不斷進步和發展，應用層出不窮。以下只是您將來可能會看到這項技術的幾個地方。

工廠、醫院、零售店、金融機構等企業的邊緣服務器。例如，在工業領域，人工智能可用于幫助管理庫存、檢測缺陷，甚至在缺陷發生之前進行預測。在零售領域，它可以啟用姿勢估計等功能，使用計算機視覺技術檢測和分析人體姿勢。從該分析中獲得的數據可以使實體零售商更好地了解其商店中的人類行為和人流量，從而使他們能夠以最大限度地提高零售額和客戶滿意度的方式開設商店。

適用于機器人、工業自動化/檢測、醫學成像、科學成像、監控和物體識別相機、光子學等應用的高精度/高質量成像。 例如，機器學習方法已被證明可以通過處理數字 X 射線來檢測癌癥。這樣做的過程是開發一個 ML 模型，該模型旨在處理 X 射線圖像，通常使用經過訓練的語義分割算法來檢測癌癥。在訓練階段，放射科專家識別出的癌癥圖像用于訓練網絡以了解什么不是癌癥、什么是癌癥以及不同類型的癌癥是什么樣子。訓練的 ML 模型越多，它們在最大化正確診斷和最小化錯誤診斷方面就越好。這意味著機器學習既依賴于智能模型設計，但同樣重要的是依賴于大量（如數十萬到數百萬）精心策劃的數據示例，其中癌癥已被專家識別。

智能購物車——幾家公司正在開發和部署能夠識別產品的智能購物系統，而不是通過其 UPC 條形碼，而是通過包裝本身的視覺外觀。此功能允許購物者只需將產品放入卡中或將其放在結帳系統上，而無需查找 UPC 代碼并使用 UPC 激光掃描儀進行掃描。這項技術使購物過程更準確、更快捷、更方便。

做出正確的決定

公司需要評估當今所有可用的解決方案，并根據其特定用例做出最佳選擇。他們也不能僅僅假設所有 AI 解決方案都最好在 GPU 設備上實現，因為基于 TPU 的解決方案提供了更高的處理效率和更低的硅利用率，從而降低了功耗和成本。

審核編輯：郭婷