1. 產(chǎn)業(yè)趨勢

近年來，物聯(lián)網(wǎng)和工業(yè)物聯(lián)網(wǎng)的快速發(fā)展促發(fā)了從云端到設(shè)備端AI處理的重要轉(zhuǎn)變。越來越多設(shè)備需要能夠在端側(cè)運行人工智能任務(wù)，從而最大限度地減少安全問題、數(shù)據(jù)傳輸成本和延遲。在為物聯(lián)網(wǎng)和工業(yè)物聯(lián)網(wǎng)應(yīng)用程序選擇SoC或MCU時，運行AI/ML任務(wù)的能力逐步成為必備條件。

嵌入式設(shè)備通常面臨資源限制，在嵌入式平臺上如何高效運行人工智能算法成為新挑戰(zhàn)。Codasip工程團隊從軟件和硬件的角度研究了如何讓它變得更容易。我們使用Codasip L31 RISC-V內(nèi)核和Codasip Studio，探索并定制了與CPU流水線緊密耦合的高效緊湊的人工智能加速器的設(shè)計。

2. 項目概述

Codasip工程團隊使用TensorFlow Lite for Microcontrollers（TFLite Micro）作為專用人工智能框架，對Codasip L31 RISC-V核進行了定制，并對使用標準指令集（ISA）的L31性能和包含了AI加速器指令的自定義擴展后的L31性能進行了比較。該AI加速器使用不到200行CodAL代碼即可實現(xiàn)，性能提高了5倍以上，功耗降低了3倍以上。該項目凸顯了Codasip Studio工具所提供的定制設(shè)計靈活性和CodAL易用性的優(yōu)勢。這些工作大幅提高了神經(jīng)網(wǎng)絡(luò)（NN）在嵌入式RISC-V核上的性能。

3. 應(yīng)用開發(fā)

我們使用了基于Codasip L31 RISC-V核的TensorFlow Lite Micro運行卷積神經(jīng)網(wǎng)絡(luò)進行圖像分類。神經(jīng)網(wǎng)絡(luò)（NN）架構(gòu)包含兩個卷積和池化層、至少一個完全連接層、矢量化非線性函數(shù)、數(shù)據(jù)大小調(diào)整和歸一化操作（圖1）。

? ? ? ? ? ? ? ? ? ? ? ? ?圖1?卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

我們采用了著名的“MNIST手寫數(shù)字分類”作為基準來評測，使用Codasip Studio分析器（圖2）來分析圖像分類任務(wù)。通過Codasip Studio軟件可以很容易地看出哪些代碼部分是最為關(guān)鍵的，占用了最多的處理器時間，這些部分將是優(yōu)化的主要目標。

?圖2 Codasip Studio分析器 報告

通過基準評測顯示，約84%的周期用于圖像卷積函數(shù)，該函數(shù)是由深度嵌套的for循環(huán)實現(xiàn)。為了進行簡單的3x3卷積，通用RISC-V處理器必須運行9條加載指令、9次乘法運算和8次加法運算，并且存在一些流水線停滯的開銷。因此，卷積似乎是優(yōu)化的主要目標。

圖3?卷積加速器原理

所提出的卷積加速器方案如圖3所示。它與核心流水線緊密耦合，并基于可以存儲多個圖像行的FIFO寄存器鏈。通過將圖像像素推送到FIFO，并讀取某些FIFO元素，從而可以在單個處理器時鐘周期內(nèi)訪問單個卷積所需的所有圖像數(shù)據(jù)，避免來自存儲器的多次加載。修改后的ALU* 通過圖像像素與卷積權(quán)重的并行乘法，并將結(jié)果相加。該加速器由幾條自定義指令控制，可以在單個時鐘周期內(nèi)完成卷積結(jié)果，從而顯著減少了整個圖像卷積所需的時間。

所描述的加速器也可以用行業(yè)標準的常用硬件描述語言來實現(xiàn)，然而CodAL提供了一種更簡單、更緊湊的方法來實現(xiàn)。

圖4 CodAL與HDL（Veriflog）比較

CodAL是一種專門為處理器描述而設(shè)計的高級語言。它有助于簡化某些標準處理器功能的定義，例如寄存器文件、緩存、緊密耦合存儲器和片上調(diào)試器。生成的CodAL描述比其他HDL所提供的要緊湊得多（圖4）。

由于這種緊湊性，上述卷積加速器可以僅用200行代碼在CodAL中實現(xiàn)。它包括了硬件資源覆蓋率和自定義控制指令實現(xiàn)。由此產(chǎn)生的加速器設(shè)計可以處理多達64 x 64個圖像，并構(gòu)成多達5 x 5個卷積。同時自動生成編譯器和分析器，進一步簡化了對加速器性能的評估。

4. 實施結(jié)論

通過添加卷積加速器和自定義指令，從而獲得了比標準L31 RISC-V核具有更好性能和更低功耗的定制L31核。

圖5?L31 RISC-V核 嵌入AI定制前后比較

圖像分類所需的時鐘周期數(shù)減少了5倍以上，功耗減少了3倍以上。后者與電池壽命直接相關(guān)，這意味著在一個充電周期之間，可以完成原來3倍的圖像分類。性能和功耗的大幅改善伴隨著硬件成本的提高，RISC-V核的硅面積增加了48%。這是由于增加了卷積加速器模塊內(nèi)部的并行乘法器，對于顯著的性能和功耗收益來說，這可以被認為是合理的成本。

（注：AI和ML應(yīng)用程序的計算要求各不相同。上面提供的定制設(shè)計示例僅供參考，并不代表是一個完整和最優(yōu)的解決方案。通過其他自定義指令和/或加速器設(shè)計可能會進一步改進PPA。）

審核編輯：黃飛

?