因?yàn)?a href="http://www.nxhydt.com/v/tag/150/" target="_blank">人工智能的持續(xù)火熱，AI芯片在過(guò)去幾年里如雨后春筍般在全球各地冒出來(lái)。這就驅(qū)動(dòng)行業(yè)去探索評(píng)估AI芯片性能的最優(yōu)方法。

就如傳統(tǒng)的芯片設(shè)計(jì)師追求PPA、CPU對(duì)比MIPS、GPU衡量Pixel和Texture一樣，一個(gè)好的評(píng)估方法能夠讓開(kāi)發(fā)者可以針對(duì)場(chǎng)景進(jìn)行設(shè)計(jì)，同時(shí)可以指導(dǎo)研發(fā)調(diào)整優(yōu)化防線，引導(dǎo)客戶(hù)進(jìn)行正確選擇，同時(shí)能夠促進(jìn)行業(yè)有序協(xié)同向前發(fā)展。

快速提升的AI算法和落后的衡量方法

地平線聯(lián)合創(chuàng)始人&技術(shù)副總裁黃暢在日前于深圳舉辦的2020全球人工智能和機(jī)器人峰會(huì)上指出，Intel聯(lián)合創(chuàng)始人戈登摩爾在1965年提出摩爾定律，這揭示信息技術(shù)進(jìn)步速度的定律得到了充分的行業(yè)驗(yàn)證。但進(jìn)入最近幾年，半導(dǎo)體工藝已經(jīng)接近了尾聲。

“與此同時(shí)，AI對(duì)算力的要求大幅度增加，那就意味著如果我們?nèi)绻麅H靠半導(dǎo)體工藝的提升來(lái)滿(mǎn)足快速增長(zhǎng)AI需求，那就變得不甚現(xiàn)實(shí)。”黃暢說(shuō)。為此大家都開(kāi)始將目光投向計(jì)算效率。

以ImageNet為例，作為AI領(lǐng)域的奧林匹克競(jìng)賽，它吸引了學(xué)術(shù)界和產(chǎn)業(yè)界的關(guān)注，而在過(guò)去的發(fā)展中，則分為三個(gè)階段：第一階段是通過(guò)算法專(zhuān)家精心設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，不斷增加計(jì)算量提升ImageNet的精度；到了第二階段的ResNet，它的精度、計(jì)算量都有顯著提升；在后續(xù)幾年，來(lái)自谷歌等等各個(gè)領(lǐng)域的專(zhuān)家通過(guò)手工設(shè)計(jì)新的網(wǎng)絡(luò)結(jié)構(gòu)，不斷地推動(dòng)這個(gè)算法演進(jìn)，使得我們可以以更低的計(jì)算量達(dá)到更高的精度。

“ 從2016年到2018年，我們發(fā)現(xiàn)在ImageNet上的精度基礎(chǔ)趨近飽和，精準(zhǔn)度始終保持在80%的水平，精度發(fā)生飽和之后，大家開(kāi)始關(guān)注計(jì)算的效率，越來(lái)越多的效率也得到了重視，并推出了非常多輕量級(jí)網(wǎng)絡(luò)”，黃暢補(bǔ)充說(shuō)。“去年EfficientNet的推出更是震驚了長(zhǎng)期關(guān)注ImageNet的所有的學(xué)術(shù)研究者”，黃暢強(qiáng)調(diào)。

他指出，EfficientNet的基準(zhǔn)網(wǎng)絡(luò)和硬件無(wú)關(guān)，它只關(guān)注計(jì)算量本身，也就是進(jìn)行了多少次乘法或加法的運(yùn)算，其中最小的網(wǎng)絡(luò)只有0.4G，并且還能自動(dòng)化搜索網(wǎng)絡(luò)的所有結(jié)構(gòu)。此外，它還要搜索層次、圖像分別率，所帶來(lái)的的不僅是參數(shù)提升了，分辨率也同時(shí)提升了，有助于它提升圖像識(shí)別的精度。

然而回到人工智能的性能評(píng)估領(lǐng)域，從TFLOPS，到TOPS，再到近三年MLPerf的崛起，AI芯片依然沒(méi)能找到準(zhǔn)確的衡量標(biāo)準(zhǔn)。以MLPerf為例，雖然這個(gè)評(píng)估標(biāo)準(zhǔn)給大家提供了一個(gè)展現(xiàn)AI芯片能力的平臺(tái)，但它依然面臨著幾方面的挑戰(zhàn)，這與他們?cè)跍y(cè)試前必須選定模型有關(guān)。“模型更新非常慢，根本無(wú)法及時(shí)反應(yīng)整個(gè)算法效率的提升。而模型又非常少，也很難反映各個(gè)精度上速度全貌”，

由此可見(jiàn)，為AI芯片建立一個(gè)新的衡量標(biāo)準(zhǔn)勢(shì)在必行。

全新的芯片AI性能評(píng)估方式——MAPS

在黃暢看來(lái)，評(píng)估芯片的AI性能，可以從準(zhǔn)、快、省這三個(gè)維度來(lái)看。其中“準(zhǔn)”是反映實(shí)際需求任務(wù)上的算法精度，比如說(shuō)圖像分類(lèi)里面我們用Top-1或者Top-5的精度判斷它是不是準(zhǔn)；“快”的方面，通常有延遲和吞吐率兩個(gè)維度，前者更側(cè)重于處理單個(gè)任務(wù)的最快反應(yīng)時(shí)間，后者應(yīng)用于你可以在服務(wù)器層面上用最大的處理方式處理它的吞吐率；“省”就是看它的成本和功耗。

“對(duì)于AI芯片的性能評(píng)估來(lái)講，準(zhǔn)和快是兩個(gè)非常重要的因素”。黃暢強(qiáng)調(diào)。

基于此，地平線提出了新的芯片AI性能評(píng)估方式——MAPS，即MeanAccuracy-guaranteed processing speed（在精度有保障范圍內(nèi)的平均處理速度）。這個(gè)新方式的提出，是想在精度有保障的范圍測(cè)出芯片的平均效能表現(xiàn)，并得到一個(gè)全面、完整、客觀和真實(shí)的評(píng)估。按照黃暢的說(shuō)法，這個(gè)全新的評(píng)估方式對(duì)行業(yè)來(lái)說(shuō)有六大創(chuàng)新之處：

第一，它可以可視化芯片的Benchmark，我們可以通過(guò)可視化的圖形更精確的表達(dá)；

第二，我們關(guān)注真實(shí)、面向結(jié)果的需求，只在乎精度和速度，不在乎中間任何關(guān)于算法的取舍和選擇；

第三，可以統(tǒng)一表示精度與速度，關(guān)注主流精度區(qū)間；

第四，隱藏與最終結(jié)果無(wú)關(guān)的中間變量，包括模型、輸入大小、批處理的量是多大；

第五，通過(guò)這種方法可以在算力之外幫助用戶(hù)理解這個(gè)芯片到底能跑多快以及多好，最終留有最大的空間引導(dǎo)客戶(hù)使用最優(yōu)的方式使用這顆芯片，指導(dǎo)客戶(hù)使用這個(gè)芯片的最佳實(shí)踐。

第六，有最大的空間引導(dǎo)客戶(hù)使用最優(yōu)的方式使用這顆芯片，作為指導(dǎo)客戶(hù)使用芯片最佳實(shí)踐的這一點(diǎn)非常重要。

作為 AI 領(lǐng)域的奧林匹克競(jìng)賽，ImageNet 比賽產(chǎn)生了幾乎所有機(jī)器視覺(jué)中最重要的模型，它們?cè)?ImageNet 上的精度可充分遷移到其他機(jī)器視覺(jué)任務(wù)（如物體檢測(cè)、語(yǔ)義分割等）。在 ImageNet 的主流精度范圍（75~80%）下，速度最快的模型所代表的點(diǎn)（由精度和幀率確定）所圍多邊形面積大小即為芯片處理ImageNet AI任務(wù)的能力大小，其公式為MAPS = 所圍面積 /（最高精度-最低精度）。在演講現(xiàn)場(chǎng)，黃暢還展示了MAPS評(píng)估方式在在ImageNet上的定義與主流芯片測(cè)試結(jié)果。

上圖為MAPS評(píng)估方式下主流芯片測(cè)試結(jié)果，右一折線為地平線最新一代芯片測(cè)試結(jié)果 “如果我們用MAPS，它是更能真實(shí)反映AI性能指標(biāo)”，黃暢說(shuō)。如下圖所示，這主要由三個(gè)要素組成：第一是TOP/Watt、TOPS/$這樣的指標(biāo)，這是傳統(tǒng)的方式。等式右邊則是由理論峰值計(jì)算效能、有效利用率和AI算法效率構(gòu)成。

“我們希望有更多的軟件、算法工作者，在MAPS評(píng)估指導(dǎo)體系的啟發(fā)下，從自己最擅長(zhǎng)的能力上持續(xù)推動(dòng)AI芯片能力的發(fā)揮”，黃暢最后說(shuō)。
編輯：hfy