作者 | 中國科學院微電子研究所 劍白

前不久比特大陸推出其云端人工智能芯片--SOPHON(算豐)BM1682芯片，BM1682是比特大陸設計，并對圖像、視頻等處理給予額外輔助支持的人工智能硬件加速芯片，其峰值運算速度為3TFLOPs，可提供給用戶強大的硬件加速支持。近日，比特大陸又將推出其邊緣計算芯片BM1880，用于前端圖像、視頻、語音、自然語言等等深度學習硬件加速。

邊緣計算與云計算

想必云計算大家都不陌生，云計算又可稱之為“集中式”計算系統(tǒng)。在云計算系統(tǒng)當中必會構(gòu)建一個具有強大運算處理能力的云端中心，用戶們可以將自己的本地的復雜數(shù)據(jù)通過網(wǎng)絡傳輸?shù)皆贫耍柚贫藦姶蟮倪\算執(zhí)行能力來快速完成數(shù)據(jù)的處理任務。然而，云端計算并不是時時處處都“奏效”的，云端處理延時大、依賴于網(wǎng)絡通暢度的好壞，因此對于實時性要求高、數(shù)據(jù)隱私性高的應用，將數(shù)據(jù)傳至云端進行處理就十分的不合適。

邊緣計算的概念就因運而生，邊緣計算又可稱之“前端計算”。對于實時性要求高、數(shù)據(jù)保密性強、網(wǎng)絡資源不充足等情況下，邊緣計算可以近水樓臺先得月，及時的將數(shù)據(jù)處理完畢，只將必要的信息傳遞給云端即可。此種方式，對于本地采集的數(shù)據(jù)，端設備可以及時處理，并響應一些特殊的警報信息，及時的通知用戶做出應對反應。可以說，邊緣計算與云計算是局部與整體的關系，云計算負責“統(tǒng)籌”全局、處理復雜但實時性要求不高的信息，邊緣計算則負責守好自己的“一畝三分地”，對信息進行預處理并及時拋出異常警報，應對突發(fā)狀況。

比特大陸邊緣計算--BM1880芯片概覽

從BM1880最新披露的技術資料顯示，BM1880是聚焦于邊緣應用的深度學習推理人工智能芯片。其主要應用方向為圖像、視頻、以及其他類型的深度學習推理。產(chǎn)品支持豐富的AI功能：如人臉檢測、識別與表情分析；人體屬性與姿勢分析；物體檢測與識別；車牌識別；聲紋識別等等方面。

從功能模塊圖上看，BM1880是一塊對視頻、圖像進行人工智能處理有額外支持的人工智能芯片。

核心部分，BM1880包含一塊TPU(Tensor Processing Unit，張量計算單元)，該TPU包含512個MAC，支持Winograd卷積運算。TPU用于人工智能深度學習推理的硬件加速，可以極大的提高運算速度，加速系統(tǒng)的推理學習之星速度。同比特大陸的其余人工智能智能芯片相同，BM1880的TPU也配備了調(diào)度引擎以給張量處理器核心提供極高的帶寬數(shù)據(jù)流，對于8位數(shù)據(jù)寬度的數(shù)據(jù)，其計算速度高達1TOPs, 而在Wingorad卷積加速運算下，提供高達2TOPs 的算力。值得注意的一點是，BM1880的典型功耗僅僅有2.5W，卻能提供1TOPs的運算能力，對于邊緣計算已經(jīng)足夠。TPU中同時配置了2MB SRAM用于系統(tǒng)性能優(yōu)化、數(shù)據(jù)重用以提供最佳的編程靈活性。

BM1880同時提供CPU用于人工智能深度學習算法的編程操作。BM1880的CPU共有2部分，一個是應用處理器，由雙核ARM A53構(gòu)成，工作在1.5GHz；另一部分是精簡指令的RSIC-V處理器，由工作在1.0GHz的單核RISC-V構(gòu)成。

BM1880人工智能深度學習系統(tǒng)的運算結(jié)構(gòu)配置可謂恰到好處各司其能，雙核CPU用于執(zhí)行深度學習算法，TPU用于深度學習算法的硬件加速，單核CPU可以用于處理外設相關信息。該配置能夠很方便的實現(xiàn)滿足外設實時性、深度學習算法執(zhí)行流暢性的要求。

專屬功能上，BM1880配備了視頻處理子系統(tǒng)的硬件模塊，該模塊算是十分貼心了，在圖像視頻處理方面，用戶基本無需再添加外圍設備，可以大大減少產(chǎn)品開發(fā)成本。該視頻子系統(tǒng)位于功能圖的右半部分，包含MJPEG編/解碼器、H.264解壓器、視頻后處理器(Video Post Processor)三個部分。MJPEG編/解碼器、H.264解壓器的配備也十分符合當前網(wǎng)絡視頻資源的類型情況，視頻監(jiān)控設備最常用的視頻格式就是MJPEG和H.264，其中MJPEG作為監(jiān)控廠商最初采用的視頻編碼壓縮格式，網(wǎng)絡上和監(jiān)控視頻存檔資源中MJPEG占據(jù)中堅比例。H.264格式為有損壓縮格式，其壓縮算法相比于MJPEG更加先進，并且具有更高的壓縮比、更清晰的畫質(zhì)同時具有更快的傳輸速度。H.264是目前網(wǎng)絡、視頻監(jiān)控中常用的壓縮格式。視頻后處理器(Video Post Processor)部分可以給進入BM1880的視頻流進行預處理，該模塊支持深度學習中常用到視頻的操作，比如顏色空間轉(zhuǎn)換、尺寸剪裁、縮放等操作，通過硬件流水線的執(zhí)行視頻預處理，無需軟件部分的參與，極大的減少了CPU的工作量。

內(nèi)存方面BM1880配備了支持DDR3/DDR4，LPDDR3和LPDDR4四種規(guī)格的內(nèi)存的功能，用戶的程序和數(shù)據(jù)流均可存放在內(nèi)存當中，加速其算法執(zhí)行。

本地存儲方面BM1880同樣配備了常用的存儲設備接口，結(jié)合相應的設備，BM1880可以在本地讀取、存儲數(shù)據(jù)流，如當需要深度學習處理的數(shù)據(jù)存儲在本地的時候，系統(tǒng)就可以直接從本地中讀取圖像、視頻、或其他數(shù)據(jù)流進入內(nèi)存進行推理學習處理。存儲設備接口包括SD/SDIO、eMMC、SPI NOR閃存、NAND Flash等。SD/SDIO配備了高速功能，支持最高187.5MHz的工作速率，接口除了用于SD卡的讀寫之外還可以通過添加外設的情況下來增加藍牙、攝像頭、GPS、以及802.11 a/b/g/n無線等功能，高速的接口速度可以滿足大數(shù)據(jù)流的傳輸要求。eMMC最大支持32GB閃存，用戶可以根據(jù)需求選擇合適的閃存接入系統(tǒng)，進行存儲/讀取等操作。同時，BM1880可以支持NAND Flash 也可以支持SPI NOR Flash。

BM1880還配備了2個以太網(wǎng)接口和USB接口。以太網(wǎng)接口支持百兆和千兆速率。USB接口配備了一個高速USB3.0接口和一個支持主/從的OTG2.0的接口。BM1880除了可以從本地存儲設備讀取數(shù)據(jù)流信息之外，還可以通過以太網(wǎng)接口和USB接口接收來自外設或主機傳輸?shù)膱D像、視頻、以及其他類型的流數(shù)據(jù)進行深度學習推理運算或其他視覺處理任務。

調(diào)試接口配備了通用的JTAG接口，同過JTAG接口用戶可以方便、快捷的下載程序以及調(diào)試程序。

BM1880在功能性外設接口方面也提供的充足的支持：BM1880配備了4個通用串行接口UART、5個I2C接口、通用GPIO口以及16路PWM輸出。UART接口以及I2C接口也可以提供低速通信功能，與外設進行交互。數(shù)量上UART為4路，I2C為5路，用戶可以根據(jù)開發(fā)需求方便的連接足夠多的外置傳感器，這點可以看出BM1880在設計上還是很貼心的，用戶在開發(fā)上基本上無需為接口不足而煩憂。通用GPIO口和16路PWM可以提供強大的反饋控制功能，在深度學習邊緣計算當中，對于需要及時處理的突發(fā)警報情況，BM1880核心程序可以通過直接驅(qū)動GPIO口或PWM接口來及時的對外界設備進行應急處理或進行警報提醒。

BM1880是重點面向圖像、視頻深度學習處理的邊緣計算人工智能芯片，除了對圖像/視頻的強力支持意外，還配備了2路音頻信號I2S接口。該接口可以支持音頻信號的輸入和輸出功能，芯片本身只提供了接口，并未配備響應的硬件編碼解碼，相關的編碼/解碼工作可以由軟件部分完成。

BＭ1880的軟件支持和開發(fā)生態(tài)鏈

在人工智能深度學習產(chǎn)品開發(fā)的過程中，用戶選定人工智能深度學習硬件芯片以后，由于硬件往往是固定不可調(diào)節(jié)的，此時軟件支持將是用戶更為關心的點。強大的軟件支持意味著流暢的開發(fā)速度、穩(wěn)定的產(chǎn)品性能以及較低的時間、投入成本。恰恰比特大陸在其開發(fā)生態(tài)鏈上具有完善的開發(fā)體系，給與其人工智能芯片完整的支持。同其余款深度學習人工智能芯片BM1680/BM1682一樣，官方對于BM1880同樣也由強大的軟件支持。比特大陸對BM1880用戶提供了強大的深度學習模型編譯器以及軟件SDK開發(fā)包，用戶無需為程序算法移植花費太多精力——主流的深度學習架構(gòu)，如Caffe和Tensorflow，都可以輕松的移植到BM1880平臺上。同時，常見的神經(jīng)網(wǎng)絡模型，如CNN/RNN/DNN等模型也均可以在BM1880上被執(zhí)行。

BM1880應用模式

通過上述軟硬件部分的解析可以看出，BM1880具有不俗的深度學習硬件加速能力。顯然除了讓BM1880作為協(xié)處理器進行邊緣計算以外，在非巨大運算量的場合，如局部視頻監(jiān)控等方面，BM1880作為主處理器也是完全可以勝任的。BM1880具有豐富的外設和高速的通信接口，配合其1TFLOPs的巔峰算力，作為前端處理非常合適了。下圖為BM1880的常見應用方式有3種：

第一種是“云端-邊緣”計算系統(tǒng)，即“邊緣計算”的方式。在“云-端”方式中，系統(tǒng)不僅要對四面八方涌來的數(shù)據(jù)做處理，還要對異常情況進行監(jiān)測，一旦監(jiān)測到異常情況，“端”部分就需要及時的拋出異常并給出處理方案以保證端系統(tǒng)的安全性。在系統(tǒng)中，云部分主要負責前端通過通信鏈路(如網(wǎng)絡)發(fā)送的復雜數(shù)據(jù)流的處理，以及統(tǒng)籌整個人工智能深度學習系統(tǒng)；而在端部分，如在視頻監(jiān)控中，結(jié)合傳感器端系統(tǒng)可以通過本地的簡單處理，就可以及時發(fā)現(xiàn)火災、結(jié)合人臉識別/動靜物等操作也可以及時發(fā)現(xiàn)盜竊等情況；BM1880處于系統(tǒng)的前端，中心云處理部分負責系統(tǒng)的調(diào)度和深度學習中復雜數(shù)據(jù)的推理學習。同時該方式可以減輕系統(tǒng)對網(wǎng)絡資源的依賴性。由于BM1880處于本地位置最接近原始數(shù)據(jù)流的源頭，可以率先對進入系統(tǒng)的數(shù)據(jù)流進行初步分析，發(fā)現(xiàn)異常情況，并將前期處理在前端部分完成，然后將壓縮、精簡后的數(shù)據(jù)傳至云端，再由云端進行處理。

第二種應用方式是BM1880作為協(xié)處理器進行工作。BM1880可以很容易開發(fā)成為一個協(xié)處理器，運行人工智能深度學習程序的主機將需要進行深度學習推理的圖像、視頻、以及其他類型的數(shù)據(jù)流傳輸給BM1880，BM1880借助其自身強大的推理學習能力進行快速計算，然后結(jié)果返回給主機，主機再進行處理。

第三種應用方式就是BM1880可作為主處理器進行工作。BM1880具有強大的深度學習運算能力，高達1TFLOPs的運行速度加上高速的CPU，在很多情況下，是完全可以勝任做為主處理器進行人工智能深度學習推理的任務的。下圖就是其應用框架圖。BM1880作為主處理器直接接收圖像、視頻、以及其他類型的數(shù)據(jù)流進行深度學習推理運算，根據(jù)推理結(jié)果可直接通過控制接口對外部設備進行實時調(diào)控。

BM1880官方產(chǎn)品

在BM1880的基礎上，比特大陸還推出了部分以BM1880為核心的人工智能產(chǎn)品。簡單介紹一下各款產(chǎn)品。

USB人工智能算力棒：該款產(chǎn)品對于廣大開發(fā)者來說可謂是溜溜溜了！USB輕輕一插，PC搖變算力王！單從外觀上看，鋁合金的外殼，精致的散熱外盒，科技感十足。此時USB人工智能算力棒中BM1880就是一個協(xié)處理器的應用方式了，用戶在PC或者是其余支持USB接口的設備上運行深度學習算法時，往往礙于自身設備的性能算法導致執(zhí)行緩慢，換設備費錢費時不劃算，有此USB人工智能算力棒，只要輕輕接入用戶主設備，大量的深度推理過程統(tǒng)統(tǒng)交給算力棒，釋放主設備資源，助力系統(tǒng)流暢度。

USB人工智能模塊：該產(chǎn)品為集成了BM1880的PCB人工智能算力模塊。由圖可以看到，這是一個最小化的系統(tǒng)。客戶在需要深度學習推理的產(chǎn)品中可以直接采用添加此模塊，無需重新繪制電路板。結(jié)合該模塊，任何產(chǎn)品都可以輕輕松松實現(xiàn)AI功能。

BM1880開發(fā)板：該部分無需多做說明了。對于人工智能深度學習的初學者和研究者，一塊開發(fā)板是其入門進階的最好選擇。集成的硬件系統(tǒng)，體系完善的學習資料，充足的代碼示例無疑是開發(fā)學習人員的最佳選擇。