IDC近日發布的《全球數字化轉型支出指南》2023年V1版預測:到2026年,中國數字化轉型支出規模預計超過6,000億美元,五年復合增長率將達到17.9%,增速位于全球前列1。面對海量、實時、在線的數據處理需求,分布式數據庫服務及數倉服務已經成為企業數字化轉型的基礎設施之一。相比傳統架構,分布式數據庫具有更高的并發和更低的時延,可實現敏捷的擴展,幫助企業提升投資回報。但同時,隨著企業用戶的增長,以及業務的持續創新,分布式數據庫必須具備更高的性能水平,以在特定的 SLA 標準下處理數據,幫助企業應對數據爆發式增長帶來的挑戰,充分釋放數據價值。
作為國產化分布式數據庫的重要一員,超聚變數字技術有限公司(以下簡稱:超聚變)推出的 FusionDB 憑借高性能、簡單易 用、穩定高可用、安全可靠等優勢,已經在眾多行業用戶中得到成功應用。目前,基于第四代英特爾 至強 可擴展處理器的FusionDB 數據庫解決方案,進一步釋放了在加速數據處理方面的潛能。同時,英特爾與超聚變緊密合作,基于英特爾 Open Analytic Toolkit 和英特爾 Quick Assist(英特爾 QAT)等技術對 FusionDB 數據庫進行了優化,解決了數據庫在加速優化索引訪問性能、物理備份性能、備份存儲空間占用以及總體擁有成本等方面面臨的瓶頸,打造了高性能數據庫系統,為用戶提供了流式、實時、離線、在線數據聚合等靈活的混合分析能力。
第四代英特爾 至強 可擴展處理器
及內置加速器提供算力基座
為解決上述性能挑戰,進一步增強 FusionDB 數據庫的性能優勢,超聚變與英特爾從硬件升級、軟件優化等多方面進行了深入合作,打造了極具性能的分布式數據庫解決方案。
在硬件層面,超聚變選擇了搭載第四代英特爾 至強 可擴展處理器的數據庫服務器作為基礎驗證平臺。第四代英特爾 至強 可擴展處理器通過創新架構增加了每個時鐘周期的指令,每個插槽多達 60 個核心,支持 8 通道 DDR5 內存,有效提升了內存帶寬與速度,并通過 PCIe 5.0(80 個通道)實現了更高的 PCIe 帶寬提升。第四代英特爾 至強 可擴展處理器提供了出色性能和安全性,可根據用戶的業務需求進行擴展。
此外,第四代英特爾 至強 可擴展處理器內置了多個加速器,諸如英特爾 In-Memory Analytics Accelerator(英特爾 IAA)、英特爾 高級矩陣擴展(英特爾 AMX)、英特爾Data Streaming Accelerator(英特爾 DSA)、英特爾 QAT 等高級硬件能力,能夠加速AI、數據分析、數據加解密等場景下的處理能力,滿足用戶的多樣化算力需求(圖1)。
圖1:第四代英特爾 至強 可擴展處理器為數據中心提供多種優勢
協同開展軟件優化
輕松突破索引訪問、端到端備份性能瓶頸
-
英特爾 Open Analytic Toolkit優化布隆索引訪問性能
數據庫 Postgres 內核默認使用 B-Tree 索引,但為了提升 FusionDB的索引性能,超聚變首先使用布隆索引替代 B-Tree 索引,實現了一定的性能提升。為進一步優化布隆索引的訪問性能,超聚變通過英特爾 Open Analytic Toolkit 應用了 AVX512 這一重要特性,以使用處理器的單指令多數據 (SIMD) 指令對索引過程進行矢量化,從而優化性能。英特爾 高級矢量擴展 512(英特爾AVX-512)是一套創新的指令集,提升了指令的吞吐能力,能夠更好地應對龐大的數據量以及數據庫中高維數據所帶來的性能壓力。
在實際優化過程中,超聚變利用英特爾 AVX-512 的矢量化方式,對 FusionDB 數據庫中創建索引和索引查詢的過程進行加速。在創建索引的過程中重點解決了數據哈希矢量化問題,從而實現了并行生成每列數據的布隆位圖。在索引查詢過程中實現了多路并行的布隆位圖比較,并支持變長布隆位圖。超聚變針對 FusionDB 數據庫索引執行時間測試的數據顯示(圖2),在啟用英特爾 AVX-512 之后,索引性能最高提升1.67倍2。
圖2:布隆索引訪問性能比較3-
英特爾 QAT幫助提升物理備份性能,大幅節約空間
物理備份是分布式數據庫的一個常用場景,為了提升備份效率,超聚變對于 FusionDB 數據庫備份緩存機制進行了優化,將備份緩存從 8kb 頁面調整為 64kb 頁面,從而降低了緩存的增量,提高了吞吐率,更有效地發揮資源性能,大幅提升了全量備份和增量備份等性能。
為了進一步提升 FusionDB 數據庫備份效率,超聚變利用英特爾QATzip 對于 FusionDB 數據庫 gs_probackup 中原有的緩存機制進行優化,在保證前向兼容的前提下,添加可通過參數配置大小的物理備份緩存,使得 CPU 能力得到充分的發揮,進一步提升了全量備份和增量備份性能(圖3)。英特爾 QAT 是英特爾面向高性能安全性、私鑰保護和壓縮/解壓縮等場景推出的一個硬件加速技術,能夠將相關負載從 CPU卸載到 QAT 中,有效提升應用程序和平臺的性能。第四代英特爾 至強 可擴展處理器集成了英特爾 QAT4.0,能夠更進一步釋放在私鑰保護和壓縮/解壓縮等場景的性能優勢。
圖3:備份速率比較4此外,超聚變還對比了當 NVMe 盤緩存大小均為 256KB,全量備份數據量均為 102 GB,并發數為 4 時的 QAT 與 lz4 壓縮性能比較。測試數據顯示,英特爾 QATzip 均能夠有效提升數據壓縮效率,提升數據備份恢復速度(圖4)。在使用英特爾 QATzip 之后,FusionDB 數據庫可以實現 50%5左右的壓縮率,進一步降低了對于存儲空間的占用,有助于降低存儲成本,提升數據庫系統的投資回報率。
圖4:QATzip/ lz4 壓縮算法的性能對比6
全面賦能
超聚變FusionDB數據庫優勢顯著
超聚變與英特爾的深度合作,解決了 FusionDB 數據庫面臨的多個瓶頸,在布隆數據索引、端到端文件備份等場景中提升了數據庫的性能表現,助力超聚變FusionDB 數據庫以更優的性能、穩定性、可用性為用戶提供服務。
首先,通過采用第四代英特爾 至強 可擴展處理器并使用英特爾Open Analytic Toolkit 進行軟件優化,FusionDB 數據庫能夠加速索引訪問速度,更有效地應對大規模業務在吞吐、時延方面的挑戰,提升業務服務能力,高效支撐性能敏感型業務。
第二,通過利用英特爾 QAT 加速,FusionDB 數據庫可縮短備份恢復時間,降低業務遷移成本,減少業務備份中斷時間,同時還可通過英特爾 QAT 硬件引擎卸載 CPU 的壓縮任務,降低對系統性能的影響。
第三,在使用英特爾 QAT 加速壓縮之后,FusionDB 數據庫實現了更高的壓縮率,有助于節省存儲空間,降低支出。此外,超聚變提供了基于第四代英特爾 至強 可擴展處理器的 FusionDB 數據庫一體機解決方案,能夠實現更深入的集成與優化,可以幫助客戶降低部署與調優的時間成本。
在各行各業廣泛開展數字化轉型的背景下,英特爾致力于為用戶提供不同場景的解決方案。基于第四代英特爾 至強 可擴展處理器及其內置加速器,用戶可以在 AI、分析、云和微服務、網絡、數據庫、存儲等類型的工作負載中獲得優化的性能。通過與強大的生態系統相結合,第四代英特爾 至強 可擴展處理器能夠幫助用戶構建更加高效、安全的數據中心基礎設施,助力企業數字化轉型。
資料援引:1 更多信息請見https://www.idc.com/getdoc.jsp?containerId=prCHC508559232,3 數據援引自超聚變和英特爾于 2023 年 4 月聯合進行測試的結果。測試配置:主節點 — 雙路英特爾 至強 鉑金 8480 處理器,56 核,256 GB 總內存 (8*32 GB),2*SSD (480 GB) + 2*NVMe(1.92 TB);備節點 — 雙路英特爾 至強 鉑金 8480 處理器,56 核,128 GB 總內存 (4*32 GB),2*SSD (480 GB) + 2*NVMe (1.92 TB)。英特爾并不控制或審計第三方數據。請您審查該內容,咨詢其他來源,并確認提及數據是否準確。實際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.Intel.com/PerformanceIndex
4,5,6 數據援引自超聚變和英特爾于 2023 年 4 月聯合進行測試的結果。測試配置:主節點 — 雙路英特爾 至強 鉑金 8480 處理器,56 核,7.3 TB NVMe;備節點 — 雙路英特爾 至強 鉑金 8480處理器,56 核,1.8 TB NVMe。英特爾并不控制或審計第三方數據。請您審查該內容,咨詢其他來源,并確認提及數據是否準確。實際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.Intel.com/PerformanceIndex
-
英特爾
+關注
關注
60文章
9888瀏覽量
171532 -
cpu
+關注
關注
68文章
10826瀏覽量
211160
原文標題:軟硬件協同創新優化打造高性能數據庫,超聚變和英特爾做了什么?
文章出處:【微信號:英特爾中國,微信公眾號:英特爾中國】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論