近日，國際測試委員會（BenchCouncil）在2020青島創(chuàng)新節(jié)期間舉辦的的智能計算機(jī)大會和芯片大會聯(lián)合主論壇上發(fā)布了國際首個智能超級計算機(jī)榜單HPC AI500。日本富士通公司奪得榜首，騰訊公司位列第四，中日美三國公司包攬榜單前九。

通過科學(xué)合理的實驗，HPC AI500榜單從人工智能性能評價標(biāo)準(zhǔn)AIBench中選取了最能代表智能超算應(yīng)用場景的測試程序：圖像分類和極端天氣分析（目標(biāo)檢測）。考慮到模型精度在人工智能領(lǐng)域的重要性，HPC AI 500使用每秒有效浮點操作數(shù)（VFLOPS）作為主要的性能指標(biāo)， 該指標(biāo)是一個兼顧系統(tǒng)性能和模型精度的指標(biāo)。除了VFLOPS，HPC AI500同時還使用訓(xùn)練人工智能模型所需時間和相應(yīng)模型所能達(dá)到的精度作為輔助指標(biāo)。

榜單顯示，來自日本富士通公司推出的智能超級計算機(jī)系統(tǒng)以每秒3.141億億次的有效浮點運算速度位列榜首。排名第二和第三的智能超級計算機(jī)系統(tǒng)分別來自美國谷歌公司和日本索尼公司，由中國騰訊公司推出的智能超級計算機(jī)系統(tǒng)則排榜單第四位。榜單上前三的智能超級計算機(jī)系統(tǒng)均通過使用大規(guī)模的人工智能加速器（如GPU，TPU等）和相應(yīng)的高性能算法來提高人工智能的性能。折桂的日本富士通公司的智能超級計算機(jī)系統(tǒng)使用了多達(dá)2048塊的Tesla V100GPU，并提出了新穎的通訊算法來優(yōu)化不同層次。

此外，國際測試委員會（BenchCouncil）還發(fā)布了智能芯片性能榜單，對近20款主流人工智能芯片配置進(jìn)行了性能排名。該排行榜基于最新的人工智能性能評價標(biāo)準(zhǔn)AIBench。AIBench旨在客觀公正、綜合全面地評價當(dāng)前蓬勃發(fā)展的各類人工智能系統(tǒng)，引領(lǐng)人工智能系統(tǒng)的研發(fā)走向正確的方向。它包含3個互聯(lián)網(wǎng)人工智能場景和17個人工智能任務(wù)，能夠反映真實的人工智能應(yīng)用場景，由國際測試委員會（BenchCouncil）聯(lián)合阿里、騰訊、微軟亞研、Paypal 等國內(nèi)外17家知名互聯(lián)網(wǎng)企業(yè)共同發(fā)布，是目前最全面的人工智能性能評價標(biāo)準(zhǔn)。

智能芯片性能榜單對多種硬件做了性能排名，對芯片購買方有借鑒意義，也對智能芯片的設(shè)計方向具有參考價值。對于圖像分類負(fù)載，Google出品的 TPU 性能達(dá)到英偉達(dá)GPU的8倍以上，但是通用性不及英偉達(dá) GPU，在部分負(fù)載上軟件開發(fā)者需要對其做針對性的優(yōu)化，會帶來額外的開發(fā)成本。同時榜單中可以看出，F(xiàn)acebook主導(dǎo)的開源軟件框架Pytorch 雖然支持 TPU，但是性能很差，尤其是 I/O 利用率遠(yuǎn)不及 Google 主導(dǎo)的軟件框架Tensorflow，導(dǎo)致 TPU 無法發(fā)揮全部性能。目前國內(nèi)很多廠商在智能芯片上的投入很大，但是卻忽視了與軟件開發(fā)框架的協(xié)同優(yōu)化。Google對TPU和Tensorflow的軟硬件協(xié)同設(shè)計與優(yōu)化值得國內(nèi)智能芯片廠商借鑒和學(xué)習(xí)。

另外，記者獲悉，2020年國際測試委員會成就獎和新星獎于10月31日揭曉。明尼蘇達(dá)大學(xué)David Lilja教授和蘇黎世聯(lián)邦理工大學(xué)Torsten Hoefler教授分別獲得成就獎和新星獎。

國際測試委員會發(fā)布面向現(xiàn)代負(fù)載的CPU性能評價標(biāo)準(zhǔn)。發(fā)布現(xiàn)代負(fù)載的性能評價標(biāo)準(zhǔn)BENCHCPU，旨在引導(dǎo)芯片產(chǎn)業(yè)轉(zhuǎn)向現(xiàn)代計算機(jī)應(yīng)用負(fù)載的新賽道，從而尋求新的突破。

針對現(xiàn)代應(yīng)用負(fù)載特征，BENCHCPU采用層次化分析方法，從應(yīng)用程序運行的計算邏輯、執(zhí)行邏輯、實際執(zhí)行三個層次對現(xiàn)代應(yīng)用負(fù)載進(jìn)行評測。BENCHCPU融合了現(xiàn)代應(yīng)用負(fù)載與傳統(tǒng)應(yīng)用負(fù)載。現(xiàn)代應(yīng)用負(fù)載主要為人工智能推斷程序、大數(shù)據(jù)分析程序， 傳統(tǒng)應(yīng)用負(fù)載主要為編譯、壓縮、仿真等應(yīng)用集合。這些應(yīng)用程序可以在多類處理器平臺上部署運行。BENCHCPU還會進(jìn)一步擴(kuò)展應(yīng)用負(fù)載范圍，并在計算邏輯層進(jìn)行負(fù)載精簡，推出評價標(biāo)準(zhǔn)測試集合。同時定義規(guī)范的測試流程，開展基于BENCHCPU的公開評測。

國際測試委員會（BenchCouncil）呼吁更多的工業(yè)界和學(xué)術(shù)界伙伴加入BENCHCPU項目。
責(zé)任編輯：YYX