人工智能 (AI) 技術(shù)的深入應(yīng)用為數(shù)字化轉(zhuǎn)型注入了充沛的動能，引領(lǐng)著新一輪技術(shù)與產(chǎn)業(yè)的創(chuàng)新浪潮。隨著 AI 技術(shù)的不斷發(fā)展以及行業(yè)應(yīng)用的逐步成熟，AI 市場正在出現(xiàn)快速的增長。IDC 預(yù)計，中國人工智能市場規(guī)模在 2023 年將超過 147 億美元，到 2026年將超過 264 億美元¹。

在端到端的 AI 整體應(yīng)用流程中，AI 推理是其中的關(guān)鍵環(huán)節(jié)。在 AI 推理的算力設(shè)備選擇方面，CPU 服務(wù)器具備更強的靈活性、敏捷性，能夠支持大數(shù)據(jù)、云計算、虛擬化等多種業(yè)務(wù)的彈性擴展，方便部署和管理，滿足企業(yè)不同業(yè)務(wù)場景的動態(tài)資源需求。此外，通過面向 AI 工作負載的技術(shù)特性升級以及性能優(yōu)化，CPU 已經(jīng)能夠廣泛滿足用戶不同 AI 應(yīng)用對于算力的要求，在大量場景中的推理性能可比肩GPU，助力客戶節(jié)省成本，同時提升 AI 基礎(chǔ)設(shè)施的可靠性與敏捷性。

為了進一步提升旗下產(chǎn)品“神農(nóng) AI 中臺” 的性能，東華軟件股份公司（以下簡稱：東華軟件）和英特爾攜手，由東華軟件旗下的東華發(fā)思特 AI 團隊與英特爾技術(shù)團隊就神農(nóng) AI 中臺展開合作，將基于英特爾至強 可擴展處理器的服務(wù)器作為推理服務(wù)器，并通過OpenVINO 工具套件將神農(nóng) AI 引擎框架訓(xùn)練的模型進行量化，利用英特爾DL Boost 的矢量神經(jīng)網(wǎng)絡(luò)指令 (VNNI) 提高人工智能推理能力。在既有合作成果的基礎(chǔ)上，雙方將推理服務(wù)器中的處理器升級為第四代英特爾至強 可擴展處理器，將OpenVINO 工具套件升級為 2023 版，將推理速度提升了數(shù)倍以上。

聯(lián)合創(chuàng)新，神農(nóng)AI中臺在算力、
成本、敏捷性方面實現(xiàn)更好平衡

東華發(fā)思特研發(fā)的神農(nóng) AI 中臺具備人工智能中臺和模型 SaaS 服務(wù)能力，其推理引擎提供了豐富的版本，包含 OpenVINO版，為客戶提供豐富、高效的模型推理服務(wù)，在智慧城市、數(shù)字鄉(xiāng)村等場景有著廣泛的應(yīng)用。為了滿足業(yè)務(wù)發(fā)展和用戶增加的需要，在算力、成本、敏捷性等方面實現(xiàn)更卓越的平衡，東華發(fā)思特與英特爾進行了聯(lián)合創(chuàng)新。在進行測試之后，東華發(fā)思特發(fā)現(xiàn)，將神農(nóng) AI 中臺推理服務(wù)器的CPU 從英特爾 至強 黃金 6348 處理器升級為英特爾至強鉑金 8480+ 處理器之后，能夠最大程度上提升性能表現(xiàn)，同時保證較高的經(jīng)濟效益。

該方案除了搭載高性能、面向人工智能應(yīng)用進行優(yōu)化的第四代英特爾至強 可擴展處理器，還通過 OpenVINO 工具套件進行了性能優(yōu)化，并支持技術(shù)的持續(xù)創(chuàng)新。第四代英特爾至強 可擴展處理器與 OpenVINO 工具套件的結(jié)合可以進一步提升 AI 推理性能。OpenVINO 工具套件支持從邊緣到云的深度學習推理，可在包括英特爾 CPU、iGPU 和FPGA 在內(nèi)的英特爾硬件平臺（包括加速器）上部署并加速神經(jīng)網(wǎng)絡(luò)模型，能夠在保持精度的同時提高推理速度。OpenVINO工具套件支持開發(fā)人員使用行業(yè)標準人工智能框架、標準或自定義層，將深度學習推理輕松集成到應(yīng)用中。

東華發(fā)思特與英特爾合作，在以下方面進行了重點優(yōu)化：

針對復(fù)雜網(wǎng)絡(luò)的模型結(jié)構(gòu)壓縮技術(shù)：為壓縮網(wǎng)絡(luò)結(jié)構(gòu)，節(jié)省數(shù)據(jù)在內(nèi)存中的讀寫耗時，在讀取訓(xùn)練模型后，將對其網(wǎng)絡(luò)結(jié)構(gòu)進行深度分析，基于預(yù)設(shè)策略，將一些常見的線性算子進行融合處理。 針對多任務(wù)場景的跨平臺異構(gòu)加速技術(shù)：通過異步執(zhí)行策略，將推理任務(wù)平均分配到不同的 CPU 內(nèi)核資源上，減少多線程間的任務(wù)同步，提供網(wǎng)絡(luò)吞吐能力。同時能夠根據(jù)設(shè)備負載情況，自動將推理任務(wù)以模型子圖為單位，在 CPU 和 GPU上進行動態(tài)部署，全面激活英特爾 平臺的 iGPU 資源，提升設(shè)備使用率，降低項目整體成本。 在圖像識別等場景的深度學習中發(fā)揮優(yōu)勢：基于 MKL/MKLDNN對不同深度學習模型進行特定優(yōu)化，利用英特爾 至強可擴展處理器內(nèi)置的英特爾 深度學習加速技術(shù)對 INT8 提供更優(yōu)的支持。

英特爾 AMX加持
推理性能大幅提升

在本次優(yōu)化中，東華發(fā)思特重點利用了第四代英特爾至強 可擴展處理器內(nèi)置的英特爾AMX (Advanced Matrix Extensions)高級矩陣擴展加速引擎。英特爾AMX 采用了全新的指令集與電路設(shè)計，包含了一系列用于矩陣運算的指令集 TMUL，以及新的矩陣寄存器文件 TILEs。英特爾 AMX 還支持 INT8 和 BF16 數(shù)據(jù)類型。其中，BF16 能夠提供與 FP32 相似的精度，但是在 AI工作負載中的訓(xùn)練和推理方面能夠帶來大幅的性能提升。

為了驗證新方案對比舊方案的性能提升，東華發(fā)思特進行了一系列測試，其選擇的模型為圖像分類模型 ResNet50_vd，ResNet50_vd是一種深度卷積神經(jīng)網(wǎng)絡(luò)模型，它是在 ResNet50 的基礎(chǔ)上進行改進的。ResNet50 是一種非常流行的卷積神經(jīng)網(wǎng)絡(luò)模型，它在ImageNet 數(shù)據(jù)集上取得了很好的表現(xiàn)，但在訓(xùn)練過程中容易出現(xiàn)梯度消失或梯度爆炸等問題。ResNet50_vd 通過引入一些改進，使得網(wǎng)絡(luò)的訓(xùn)練更加穩(wěn)定，同時在性能上也有一定提升。

測試的軟硬件配置如表 1 所示，東華發(fā)思特分別測試了在其他配置不變的前提下，處理器升級所帶來的性能提升；以及在同樣硬件配置的前提下，不同模型精度所帶來的性能差異。

表 1. 測試軟硬件配置

	原有方案	新方案
處理器	2*英特爾至強金牌6348 處理器@ 2.60GHz	2*英特爾至強鉑金8480+ 處理器@ 2.0GHz
核數(shù)	28 *2	56 *2
內(nèi)存	24*32 GB DDR4 2933 MHz	16*16 GB DDR5 4800 MHz
操作系統(tǒng)	Ubuntu 20.04.5 LTS	CentOS Linux release 8.5.2111
神農(nóng)AI中臺	ShenNong-AI.2022 (OpenVINO)	ShenNong-AI.2022 (OpenVINO) ShenNong-AI.2023 (OpenVINO)

在第一輪測試中，東華發(fā)思特對比了神農(nóng)AI 中臺推理引擎（OpenVINO2022 版）分別在第三代/第四代英特爾 至強 可擴展處理器上的運行性能差異。對比第三代英特爾至強 可擴展處理器方案，第四代英特爾 至強 可擴展處理器將推理能力提升了約4.5 倍 (FPS)²，同時保持了推理準確度。

在第二輪測試中，東華發(fā)思特對比了在 INT8 與 BF16 精度下的性能差異。測試數(shù)據(jù)如圖 3 所示，INT8 處理模型在體積減少的同時，在推理性能上實現(xiàn)了 1.5 倍 (FPS) 的性能提升³。

第四代英特爾 至強 可擴展處理器
為客戶提供更低成本高收益的AI解決方案

眾所周知，硬件算力是AI推理引擎運行的關(guān)鍵因素之一，因此選擇合適的硬件設(shè)備對于推理引擎的性能和效率至關(guān)重要。雖然 GPU 服務(wù)器在深度學習模型推理方面具有較高的性能和效率，但是仍然存在一些不足之處。

首先，采用 GPU 服務(wù)器進行深度學習模型推理，需要專門的 GPU 硬件設(shè)備，這將帶來較高的硬件采購和配套設(shè)施建設(shè)成本。此外，GPU 服務(wù)器的應(yīng)用范圍受限，不夠靈活，難以適應(yīng)不同場景的需求。 其次，GPU 服務(wù)器上進行深度學習模型推理需要復(fù)雜的部署和調(diào)優(yōu)，門檻相對較高，難以滿足新增應(yīng)用快速上線的需求。相比之下，CPU 服務(wù)器具有更強的靈活性、敏捷性和可擴展性，適用于大數(shù)據(jù)、云計算、虛擬化等多種業(yè)務(wù)場景，方便部署和管理，能夠滿足企業(yè)不同業(yè)務(wù)場景的動態(tài)資源需求。 另外，隨著技術(shù)的不斷發(fā)展，CPU 在面向 AI 工作負載的技術(shù)特性升級和性能優(yōu)化方面也有了很大的進步。通過使用新的處理器架構(gòu)、加速器、向量計算單元等技術(shù)，CPU 已經(jīng)能夠廣泛滿足客戶不同 AI 應(yīng)用對于算力的要求。同時，CPU 的高可靠性和穩(wěn)定性也能夠保證算法的運行穩(wěn)定性和數(shù)據(jù)的安全性。

基于第四代英特爾 至強 可擴展處理器以及最新版的 OpenVINO 工具套件，英特爾提供的AI解決方案，使東華發(fā)思特神農(nóng) AI 中臺的 AI 推理性能得到提升的同時，使硬件采購成本以及空間、功耗和軟硬件調(diào)優(yōu)等成本則得到降低，為客戶帶來了以下價值：

[ 更好的性能表現(xiàn) ]

推理引擎通過使用最新的技術(shù)和硬件平臺，提高了推理性能和效率，從而可以更快地執(zhí)行深度學習模型的推理計算，在部分應(yīng)用場景中的性能表現(xiàn)比肩 GPU，為深度學習應(yīng)用提供更高效、更穩(wěn)定的支持。

[ 更低的成本和更高的效益 ]

推理引擎使用高效的 AI 工作負載加速方式，可以在保證性能的同時，降低硬件和軟件的成本，提高推理的效益。對比基于獨立 GPU 的方案，該方案的成本優(yōu)勢更加明顯。

[ 更好的兼容性 ]

推理引擎可以在不同的硬件平臺和操作系統(tǒng)內(nèi)核上運行，支持多種深度學習框架和模型，具有很好的兼容性和靈活性，可以滿足不同客戶的需求。

東華發(fā)思特與英特爾在現(xiàn)有合作基礎(chǔ)上，繼續(xù)探索第四代英特爾至強可擴展處理器在 AI 領(lǐng)域的推理性能潛力，證明了第四代英特爾至強 可擴展處理器在架構(gòu)和高級硬件特性方面的提升，有助于加速 AI 負載。切換到基于第四代英特爾 至強 可擴展處理器的基礎(chǔ)設(shè)施平臺后，東華發(fā)思特有望提高神農(nóng) AI 中臺的效益和性能，為客戶帶來更高效的 AI 服務(wù)。

面向新一輪 AI 領(lǐng)域的大變革，東華發(fā)思特與英特爾未來將深度整合AI 領(lǐng)域的技術(shù)合作，包括基礎(chǔ)設(shè)施和模型算法的優(yōu)化等，為客戶提供更先進的算法和模型，以及更靈活和更可擴展的計算架構(gòu)和平臺，助力客戶實現(xiàn)業(yè)務(wù) AI 的升級與轉(zhuǎn)型。

資料援引：1.https://www.idc.com/getdoc.jsp?containerId=prCHC50539823 ，截至 2023 年 6 月。

2.數(shù)據(jù)援引自東華發(fā)思特與英特爾截止 2023 年 5 月的內(nèi)部測試結(jié)果。測試配置：原有方案 — 雙路英特爾至強金牌 6348 處理器 @ 2.60GHz，28 核，768 GB 總內(nèi)存 (24*32 GB DDR4 2933 MHz)，Ubuntu 20.04.5 LTS，ShenNong-AI.2022 (OpenVINO)；新方案 — 雙路英特爾至強鉑金 8480+ 處理器 @ 2.0GHz，56 核，256 GB 總內(nèi)存 (16*16 GB DDR5 4800 MHz)，CentOS Linux release 8.5.2111，ShenNong-AI.2022 (OpenVINO) 和 ShenNong-AI.2023 (OpenVINO)。英特爾并不控制或?qū)徲嫷谌綌?shù)據(jù)。請您審查該內(nèi)容，咨詢其他來源，并確認提及數(shù)據(jù)是否準確。 3.數(shù)據(jù)援引自東華發(fā)思特與英特爾截止 2023 年 5 月的內(nèi)部測試結(jié)果。測試配置：雙路英特爾至強鉑金 8480+ 處理器 @ 2.0GHz，56 核，256 GB 總內(nèi)存 (16*16 GB DDR5 4800 MHz)，CentOS Linux release 8.5.2111，ShenNong-AI.2022 (OpenVINO) 和 ShenNong-AI.2023 (OpenVINO)。英特爾并不控制或?qū)徲嫷谌綌?shù)據(jù)。請您審查該內(nèi)容，咨詢其他來源，并確認提及數(shù)據(jù)是否準確。

想看更多“芯”資訊

用你的贊和在看告訴我們～

英