12月15日下午,在2023年英特爾新品發布會上,英特爾正式揭開了第五代至強可擴展處理器(代號Emerald Rapids)的神秘面紗。在會上,英特爾的合作伙伴京東云、阿里云和火山引擎也分享了其自身使用第五代至強開發新品服務器和大模型訓練的案例。
這款產品是英特爾最強AI性能的CPU,采用了Intel7工藝,該處理器擁有多達64 核,具備8 條 DDR5 通道,支持高達5,600 MT/s的傳輸速率,三級緩存是上一代產品的近 3 倍,且采用英特爾超級通道互聯2.0 以增加跨插槽內帶寬,提供高達20 GT/s的傳輸。
據悉,第五代至強可擴展處理器比較上一代產品,可以處理更多的AI工作負載,其迭代性能相較于上一代產品提升了21%,而在AI推理性能上,則擁有高達42%的提升,其內存帶寬也提升了16%。
相較上一代產品,第五代英特爾至強可擴展處理器可在進行通用計算時將整體性能提升高達21%,并在一系列客戶工作負載中將每瓦性能提升高達36%。對于遵循典型的五年更新周期并從更前一代處理器進行升級的客戶而言,總體擁有成本最多降低77%。
京東云服務器搭載第五代至強,整機提升123%,大模型推理能力提升51%!
京東科技京東云事業部硬件架構總監董可新表示,基于英特爾新一代處理器的京東云自研服務器全面支持京東雙十一大促。評測結果顯示,新一代至強可擴展服務器平臺比上一代整體提升了23%,一方面得益于新一代處理器更高的內存頻率,以及更大的L3 Cache等新的技術特性,另一方面得益于我們在和英特爾聯合定制的新一代CPU中,針對京東各個業務場景的性能需求進行了針對性的性能優化。
在AI應用方面,京東云服務器在通用的AI視覺類模型ResNet50推理性能測試中,比上一代平臺整體性能提升了38%。在通用的大語言模型Llama2-13B模型推理性能測試中,與上一代相比,提升高達51%,擁有出色的整體優化效果。
在剛剛過去的雙十一中,京東商城上超過60個品牌的營銷額突破了10億。在大促期間,每秒用戶訪問峰值同比提升了170%,京東智能客服為超過14億次的用戶提供了累計智能咨詢的服務。他指出,特別在智能營銷方面,京東實現了能夠根據產業洞察及帶貨思維進行服務的數字人,以及其他成本降低達90%的生成式AI應用。
英特爾和多家合作伙伴打造第五代Xeon生態合作圈
數據中心與人工智能集團副總裁兼中國區總經理陳葆立介紹了英特爾和百度云合作的最新成果。在針對大規模推理的早期測試,雙方使用700億參數的Llama 2開源大模型進行推理,采用了4臺內含第五代至強的服務器,并通過100G的高速網絡聯合在一起。結果是,相比單臺的服務器,其性能提升了2.85倍。從整個性能上看,在處理Llama 2 700億模型推理時,時間可以控制在87毫秒以內。
阿里云則展示了基于英特爾第五代至強可擴展處理器,推出新一代云實例。基于英特爾第五代至強芯片,阿里云第八代計算實例迎來了全面的計算升級。英特爾CPU在L3 Cache的3倍性能提升和內存帶寬16%的提升,在媒體處理、網站應用和AI應用等場景性能提升20%以上。
通義千問720億大模型近期在開源社區Hugging Face大模型排行榜上問鼎。阿里云非常重視云上用戶的數據安全,結合英特爾TDX技術,阿里云第八代機密計算實例可以保障用戶在整個AI推理過程中,模型和數據全流程的數據安全。用戶可以在英特爾AMX技術的加持下,在阿里云第八代實例上輕松部署通義千問。
陳葆立總結說:“以ChatGPT為例的生成式人工智能帶來了一個全新的火爆趨勢。我們看到非常多的中國本土企業,包括眾多軟、硬件公司正在加速推進AI在各行各業的應用和落地。目前在國內,已有超過20家的硬件伙伴,超過7家云服務商基于第五代英特爾至強可擴展處理器,準備好了全新的服務器和云服務。對中國的終端用戶來說,無論是對類型、規模以及應用有著如何多樣化的需求,都將擁有豐富的選擇。英特爾可靠的產業伙伴們,將會為用戶提供全面的產品以及服務。”
-
英特爾
+關注
關注
60文章
9900瀏覽量
171548 -
服務器
+關注
關注
12文章
9029瀏覽量
85205 -
AI
+關注
關注
87文章
30238瀏覽量
268471
發布評論請先 登錄
相關推薦
評論