如今,人工智能已成為普遍的流行語,但大多數(shù)消費(fèi)者可能不知道它如何與日常生活息息相關(guān)。分析人員和技術(shù)新聞界中的某些人可能還會(huì)嘲笑該術(shù)語用于某些幾乎不像真正的人工智能的技術(shù)的頻率。也就是說,除了強(qiáng)大的數(shù)據(jù)中心外,還有一些平臺(tái)對(duì)于AI處理和驅(qū)動(dòng)它們的NN(神經(jīng)網(wǎng)絡(luò))來說是很自然的。其中之一是AI推理(使用AI推理信息,而不是訓(xùn)練NN)在邊緣和口袋中,使用智能手機(jī)。
就像您想象的那樣,從Android到Apple的智能手機(jī)平臺(tái)差別很大,但是語音-文本翻譯和推薦器引擎(例如Google Assistant和Siri)等常見工作負(fù)載大量使用了常見的AI NN模型,在設(shè)備上執(zhí)行此操作可提高速度和延遲。
衡量移動(dòng)設(shè)備中的AI性能
隨著任何新設(shè)備的推出以及熱門新應(yīng)用的出現(xiàn),精通技術(shù)的消費(fèi)者和技術(shù)媒體成員希望能夠衡量和收集各種移動(dòng)生態(tài)系統(tǒng)中設(shè)備的相對(duì)性能。此外,目前智能手機(jī)測(cè)試和評(píng)論中的AI處理性能正在發(fā)展,因此,在主要的應(yīng)用商店中當(dāng)然會(huì)出現(xiàn)多種工具,這些工具聲稱能夠測(cè)量電話和其他移動(dòng)設(shè)備的AI性能。而且-您猜對(duì)了-這些應(yīng)用程序的創(chuàng)建肯定不盡相同。
為了解決這個(gè)問題,Marco和我深入研究了HotHardware,分析了三種主流AI基準(zhǔn)測(cè)試中各種旗艦Android手機(jī)的性能,這些基準(zhǔn)在某些情況下會(huì)產(chǎn)生截然不同的結(jié)果。
關(guān)鍵是要更好地了解實(shí)際測(cè)試的特定基準(zhǔn)度量標(biāo)準(zhǔn)。測(cè)試是否代表盡可能接近實(shí)際的工作負(fù)載?理想的基準(zhǔn)測(cè)試使用的是消費(fèi)者可能會(huì)使用的實(shí)際應(yīng)用程序,但短短的基準(zhǔn)測(cè)試可以使用流行應(yīng)用程序的相同核心軟件組件來代表實(shí)際的性能期望。在這種情況下,這意味著我們需要了解這些基準(zhǔn)測(cè)試工具要針對(duì)哪些NN進(jìn)行測(cè)試,以及要使用哪些數(shù)學(xué)精度和AI算法來處理這些工作量。
什么是AI基準(zhǔn)測(cè)試的正確標(biāo)準(zhǔn)?
使移動(dòng)設(shè)備具有良好的AI基準(zhǔn)的原因是一個(gè)相對(duì)較深的細(xì)微差別,但總之是幾乎所有的移動(dòng)NPU(神經(jīng)處理單元或?qū)S肁I引擎)都采用INT8或量化數(shù)學(xué)精度或FP16浮點(diǎn)精度,例如利用ResNet-34或Google的DeepLab-v3等流行的NN在應(yīng)用中進(jìn)行圖像分類和分割。那是貓還是狗?該相機(jī)拍攝應(yīng)采用哪種顏色平衡?這些問題是AI試圖從電話環(huán)境中推斷出答案的問題,至少在成像工作負(fù)載示例中,盡管還有很多其他問題。
當(dāng)前,INT8精度被認(rèn)為足以滿足大多數(shù)消費(fèi)類移動(dòng)應(yīng)用的需求,并且壓縮技術(shù)和高級(jí)量化技術(shù)的進(jìn)步繼續(xù)提高了移動(dòng)設(shè)備上的INT8精度,同時(shí)仍然獲得了與FP16相比更低的功耗。FP16提供更好的精度,但在關(guān)鍵的智能手機(jī)功耗預(yù)算上成本更高。
結(jié)果,大多數(shù)支持AI的移動(dòng)應(yīng)用都采用INT8來提高電源效率。但是,并非所有可用的基準(zhǔn)測(cè)試都以相同的方式權(quán)衡了移動(dòng)平臺(tái)的性能。一些應(yīng)用程序強(qiáng)調(diào)FP16的精度,即使實(shí)際上它的使用頻率不如INT8那樣高。此外,高通公司和其他公司的AI平臺(tái)SDK(軟件開發(fā)套件)針對(duì)INT 8進(jìn)行了高度優(yōu)化。因此,問題來了,就這些手機(jī)的真實(shí)AI性能而言,其中一些基準(zhǔn)測(cè)試應(yīng)用程序的各種測(cè)試結(jié)果到底意味著什么?和其他移動(dòng)設(shè)備?從HotHardware收集的分?jǐn)?shù)中可以看出,高通和華為在一些領(lǐng)先的移動(dòng)硅平臺(tái)上的排名大相徑庭。顯而易見,高通公司Snapdragon 865設(shè)備在INT8 NPU處理吞吐量方面以及在移動(dòng)應(yīng)用中可能更接近于當(dāng)前的實(shí)際AI性能方面似乎占據(jù)了領(lǐng)先地位。還值得指出的是,高通的Snapdragon移動(dòng)平臺(tái)目前還為美國(guó)絕大多數(shù)Android手機(jī)提供支持,因此該公司對(duì)生態(tài)系統(tǒng)的影響深遠(yuǎn)。
分析師從移動(dòng)AI的早期發(fā)展中汲取靈感
邊緣的人工智能和機(jī)器學(xué)習(xí)是一個(gè)瞬息萬變的領(lǐng)域,它提供的功能越來越強(qiáng)大且前景廣闊,將在許多方面豐富我們的日常生活。結(jié)果,基準(zhǔn)指標(biāo)和用于衡量它們的應(yīng)用程序也將必須隨著時(shí)間的推移而發(fā)展和變化。此外,與傳統(tǒng)的PC基準(zhǔn)一樣,新聞,技術(shù)愛好者和精明的消費(fèi)者將在未來幾天內(nèi)更加關(guān)注AI基準(zhǔn),因?yàn)锳I成為移動(dòng)體驗(yàn)和可用平臺(tái)解決方案中更為重要的組成部分市場(chǎng)。
因此,這些基準(zhǔn)應(yīng)用程序開發(fā)人員和媒體將有責(zé)任對(duì)構(gòu)成優(yōu)質(zhì)移動(dòng)AI基準(zhǔn)的精要點(diǎn)以及對(duì)您自己的個(gè)人口袋AI助手的性能進(jìn)行更真實(shí)的衡量。現(xiàn)在,如果基準(zhǔn)測(cè)試沒有采用常用的NN并切實(shí)代表INT8精度的重要性,您就不得不質(zhì)疑該測(cè)試對(duì)普通消費(fèi)者的價(jià)值。但是,這里沒有絕對(duì)值。當(dāng)前的格局正在以這種方式形成,但AI技術(shù)又以瘋狂的步伐發(fā)展,整個(gè)行業(yè)的其余部分將需要跟上發(fā)展。
-
移動(dòng)設(shè)備
+關(guān)注
關(guān)注
0文章
492瀏覽量
54650 -
AI
+關(guān)注
關(guān)注
87文章
30146瀏覽量
268421
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論