與上一代產品相比,第五代英特爾 至強 可擴展處理器實現了令人驚喜的性能提升,能夠有助于進一步釋放星環科技分布式向量數據庫 Transwarp Hippo 的性能潛力,為用戶帶來強大的向量數據處理能力,這在大模型訓練等場景中有著重要的 意義,可幫助用戶更高效、 更精確地打造大模型產品。
— 朱珺辰
星環科技聯合創始人兼副總裁
百花齊放的大模型時代凸顯了分布式向量數據庫的關鍵角色,追求更高的數據庫性能成為推動大模型創新、釋放大模型潛力的重要方向。英特爾與星環科技的合作證明,第五代英特爾 至強 可擴展處理器可顯著提升 Transwarp Hippo 的性能表現,加速海量、多維向量數據處理,賦能智能時代變革。
— 唐炯
英特爾中國軟件技術合作事業部總經理
挑 戰
以大語言模型為代表的人工智能 (AI) 應用出現爆炸式增長背景下,企業對于非結構化數據的存儲與處理需求出現了快速增長,分布式向量數據庫得到了普遍應用。而隨著數據處理規模的增長,企業對于分布式向量數據庫的性能有著更高的要求,提升性能通常可以從以下幾個方面入手:
提升 CPU 性能
向量相似度檢索、高密度向量聚類等負載屬于 CPU 密集型負載,這導致 CPU 成為限制分布式向量數據庫性能提升的主要瓶頸,通過升級到新一代英特爾 至強 可擴展處理器平臺,將有助于提升數據庫的處理能力。
壓縮數據庫的海量數據數據庫中的海量數據帶來了巨大性能壓力。通過數據壓縮,將能夠減少存儲數據所需的空間,并相應地提高 I/O 性能。
對于數據庫進行性能優化通過水平擴展架構、基于 CPU 的向量化指令優化、多元芯片加速等技術,將有助于發揮并行檢索能力,為海量、多維向量處理提供強大算力支持。
解決方案概述
分布式向量數據庫在大模型應用中扮演著重要角色,大模型 + 向量數據庫的架構能夠讓大模型保持數據的實時性,使大模型擁有 “長期記憶”,解決模型需要多次二次訓練才能滿足不同業務需求。同時,通過多模態信息的向量化,幫助大模型滿足回答信息實時性要求。用戶可以通過表示學習的預處理方式,將文檔、圖片、音視頻等非結構化數據轉化為多維向量,并存儲在向量數據庫中,從而很好地解決大模型訓練中的實時性、精度校正等問題。隨著大模型等應用的快速發展,分布式向量數據庫的應用場景在不斷拓展,但也面臨著日趨嚴峻的性能挑戰。
星環科技與英特爾合作,推出了基于第五代英特爾 至強 可擴展處理器的 Transwarp Hippo 分布式向量數據庫解決方案。該方案利用第五代英特爾 至強 可擴展處理器帶來的強大算力,實現了約 2 倍的代際性能提升1 ,可有效滿足大模型時代海量、高維向量的存儲和計算需求,能夠幫助企業更好地應對大模型時代海量、多維向量數據的高并發和實時計算等挑戰。
星環科技分布式向量數據庫 Transwarp Hippo
星環科技分布式向量數據庫 Transwarp Hippo 作為一款企業級云原生分布式向量數據庫,基于分布式特性,可以對文檔、圖片、音視頻等多源、海量數據轉化后的多維向量進行統一存儲和管理。它能夠通過水平擴展架構,充分發揮并行檢索能力,實現毫秒級高性能數據檢索,結合相似度檢索等技術,幫助用戶快速挖掘數據價值。
與開源的向量數據庫不同,星環科技分布式向量數據庫 Transwarp Hippo 具備高可用、高性能、易拓展等特點,支持多種向量搜索索引,支持數據分區分片、數據持久化、增量數據攝取、向量標量字段過濾混合查詢等功能,很好地滿足了企業針對海量向量數據的高實時性檢索等場景。
圖 1. 星環科技分布式向量數據庫 Transwarp Hippo 產品架構
采用第五代英特爾 至強 可擴展處理器提升 2 倍性能2
為了進一步提升性能表現,星環科技驗證了基于第五代英特爾 至強 可擴展處理器的分布式向量數據庫 Transwarp Hippo 的性能表現。
第五代英特爾 至強 可擴展處理器擁有更可靠的性能,更出色的能效。它在運行各種工作負載時均可實現顯著的每瓦性能增益,在 AI、數據中心、網絡和科學計算的性能和總體擁有成本 (TCO) 方面亦有更出色的表現。相較上一代產品,第五代英特爾 至強 可擴展處理器可在相同功耗范圍內提供更高的算力和更快的內存。此外,它與上一代產品的軟件和平臺兼容,因此部署新系統時可大大減少測試和驗證工作。
圖 2. 第五代英特爾 至強 可擴展處理器帶來更多創新特性
為了驗證在升級為第五代英特爾 至強 可擴展處理器之后星環科技分布式向量數據庫 Transwarp Hippo 的性能表現,星環科技在選用了 Transwarp KNN search 評測程序,該評測程序模擬用戶的 top K 鄰近范圍查詢。測試數據如圖 3 所示,對比第三代英特爾 至強 可擴展處理器,基于第五代英特爾 至強 可擴展處理器的 Transwarp Hippo 性能是其 2.07 倍7 。
圖 3. 基于不同代際英特爾 至強 可擴展處理器的 Transwarp Hippo 性能對比
收 益
在搭配第五代英特爾 至強可擴展處理器之后,星環科技分布式向量數據庫 Transwarp Hippo 能夠提供強大的性能基礎,在大模型等場景創造巨大價值。
支撐數據的高效處理:基于第五代英特爾 至強 可擴展處理器的 Transwarp Hippo 能夠實現海量、高維度向量數據處理,并具備低時延、高精確度等優勢,可以滿足大模型訓練等場景對于數據處理能力的苛刻要求。 降低向量數據庫的總體擁有成本 (TCO):由于第五代英特爾 至強 可擴展處理器實現了代際性能的大幅提升,有助于提升 Transwarp Hippo 服務器節點的性能密度,幫助用戶節省在服務器采購、部署等方面的投資。同時,第五代英特爾 至強 可擴展處理器在性能提升的同時,具備更高的每瓦性能,有助于節省單位性能的能耗支出。 具備性能進一步提升潛力:除了更多的核心數量,更快的 IPC 性能之外,第五代英特爾 至強 可擴展處理器還搭載了英特爾 In-Memory Analytics Accelerator(英特爾 IAA)等硬件加速特性,有助于進一步提升數據庫等場景的性能。展 望
基于第五代英特爾 至強 可擴展處理器的星環科技分布式向量數據庫 Transwarp Hippo,提供了領先的性能表現,可以有效地解決大模型在知識時效性低、輸入能力有限、準確度低等問題。通過將最新資料、專業知識、個人習慣等海量信息向量化存儲在星環科技分布式向量數據庫 Transwarp Hippo 中,企業可以有效拓展大模型的應用邊界,讓大模型保持信息實時性,并能夠動態調整。
除了分布式向量數據庫 Transwarp Hippo 之外,星環科技與英特爾正在面向更多的產品與場景,驗證第五代英特爾 至強 可擴展處理器的性能表現,并通過軟硬件協同調優等方式,加速處理器的性能釋放,從而在加快海量數據處理的同時,幫助用戶節省在基礎設施方面的成本,提升投資回報率。
點擊下方閱讀原文了解更多信息
參考資料:
1 數據援引自截至 2023 年 11 月由星環科技開展的測試。測試配置 — 基準配置:雙路英特爾 至強 鉑金 8380 處理器,40 核,1024 GB 總內存 (16x64 GB DDR5 5600 MT/s),800 GB 固態盤, CentOS Stream 8,Kernel 5.19.0;新配置:雙路英特爾至強 鉑金 8592+ 處理器,40 核,1024 GB 總內存 (16x64 GB DDR4 3200 MT/s),800 GB 固態盤,CentOS Stream 8,Kernel 5.19.0。英特爾并不控制或審計第三方數據。請您審查該內容,咨詢其他來源,并確認提及數據是否準確。
2 數據援引自截至 2023 年 11 月由星環科技開展的測試。測試配置 — 基準配置:雙路英特爾 至強 鉑金 8380 處理器,40 核,1024 GB 總內存 (16x64 GB DDR5 5600 MT/s),800 GB 固態盤, CentOS Stream 8,Kernel 5.19.0;新配置:雙路英特爾 至強 鉑金 8592+ 處理器,40 核,1024 GB 總內存 (16x64 GB DDR4 3200 MT/s),800 GB 固態盤,CentOS Stream 8,Kernel 5.19.0。英特爾并不控制或審計第三方數據。請您審查該內容,咨詢其他來源,并確認提及數據是否準確。
3 與第四代英特爾 至強 處理器相比的平均性能提升,以 SPEC CPU rate、STREAM Triad 和 LINPACK 的幾何平均值為衡量標準。請參閱 intel.com/processorclaims 上的 [G1]:第五代英特爾 至強可擴展處理器。結果可能有所差異。
4 請參閱 intel.com/processorclaims 上的 [G12]:第五代英特爾 至強 可擴展處理器。結果可能有所差異。
5 請參閱 intel.com/processorclaims 上的 [G11]:第五代英特爾 至強 可擴展處理器。結果可能有所差異。
6 使用內置加速器在 AI、數據和網絡工作負載上進行測量,取得 1.46 到 10.6 倍的每瓦性能提升。請參閱 intel.com/processorclaims 上的 [A19-A25]、[D1]、[D2]、[D5] 和 [N16]:第五代英特爾 至強 可擴展處理器。結果可能有所差異。
7 數據援引自截至 2023 年 11 月由星環科技開展的測試。測試配置 — 基準配置:雙路英特爾 至強 鉑金 8380 處理器,40 核,1024 GB 總內存 (16x64 GB DDR5 5600 MT/s),800 GB 固態盤, CentOS Stream 8,Kernel 5.19.0;新配置:雙路英特爾 至強 鉑金 8592+ 處理器,40 核,1024 GB 總內存 (16x64 GB DDR4 3200 MT/s),800 GB 固態盤,CentOS Stream 8,Kernel 5.19.0。英特爾并不控制或審計第三方數據。請您審查該內容,咨詢其他來源,并確認提及數據是否準確。
實際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.Intel.com/PerformanceIndex
性能測試結果基于配置信息中顯示的日期進行測試,且可能并未反映所有公開可用的安全更新。詳情請參閱配置信息披露。沒有任何產品或組件是絕 對安全的。
具體成本和結果可能不同。
英特爾技術可能需要啟用硬件、軟件或激活服務。
英特爾未做出任何明示和默示的保證,包括但不限于,關于適銷性、適合特定目的及不侵權的默示保證,以及在履約過程、交易過程或貿易慣例中引 起的任何保證。
英特爾并不控制或審計第三方數據。請您審查該內容,咨詢其他來源,并確認提及數據是否準確。
-
英特爾
+關注
關注
60文章
9880瀏覽量
171480 -
cpu
+關注
關注
68文章
10824瀏覽量
211131
原文標題:第五代英特爾? 至強? 可擴展處理器助力星環科技分布式向量數據庫 Transwarp Hippo 實現大幅性能提升
文章出處:【微信號:英特爾中國,微信公眾號:英特爾中國】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論