Redis是目前最流行的鍵值對存儲數據庫,憑借高性能和豐富的數據類型的特性,不僅可以作為緩存,還可以作為一個可持久化的數據庫存儲。隨著業務的發展和版本的迭代,必然會遇到內存不足、集群節點不夠和BUG等一系列問題。為了防止這些問題導致的系統故障,常常會把對內存、集群節點擴縮容和版本升級等操作作為工作考核的重要一項。這些操作都涉及了數據的遷移,所以,提供高效、安全的不停機數據遷移方案是非常有必要的。
現在,NineData 在支持業務不中斷的前提下,實現了配置簡單、穩定、高效、安全的數據遷移服務,很好地滿足版本升級、擴容、縮容等場景下對數據遷移和同步的需求。經實測,NineData 可在 2分鐘內完成2000萬個 key(5GB)數據的遷移,平均 遷移速度為 164398 個key/秒,性能是開源工具的2倍多。
1、傳統的遷移方案
目前,數據遷移主要的方式有:使用 RDB 遷移,或一些開源工具進行數據遷移。對于這些方式的遷移,會存在一些問題:
需要停機,對于拷貝 RDB 文件方式的遷移,不能保障在線業務,并且也不能兼容大版本升級。
準確性難保障,不支持數據檢測能力,遷移后的數據質量難以保障。
可靠性差,對于開源工具,遷移異常后,進程直接退出。
運維性差,不能進行暫停、限流、告警等操作。
2、高性能的遷移方案
NineData 提供的數據復制同時包含了數據遷移和數據同步的能力,在不影響業務的前提下,提供了高效、穩定、安全的遷移能力。相較于傳統遷移比,NineData 的 Redis 數據遷移能力有如下優勢:
?? 簡單易用
一分鐘即可完成任務配置,并全自動化完成任務遷移。
?? 強勁性能
通過動態攢批、隊列優化、流式內存管理等核心技術,遷移性能達到16萬key/秒,性能是開源遷移工具的2倍,有效保障遷移效率。
?? 高可靠
結合新型斷點、異常診斷及豐富的修復手段,對于遷移過程中可能出現軟硬件故障,提供完善的容災能力,大大提高了遷移的成功率。
通過上述優勢,保證了 NineData 在 Redis 遷移場景下的領先性。另外,NineData 還提供了對比功能,包含全量、快速和不一致復檢的對比方式,并且也支持不同的對比頻率。在遷移或復制結束后,通過對比,有效地保障數據的質量。
3、操作使用
NineData 在提供強大遷移能力的同時,也保證了使用的簡單性,只需1分鐘就能完成遷移任務的配置,實現完全自動化的數據遷移過程。下面我們來看下整個任務的配置過程:
3.1 遷移鏈路的配置
遷移鏈路的配置
1. 配置任務名稱,選擇要遷移的源和目標實例。
2. 選擇復制類型,數據遷移選擇結構和全量復制(數據遷移)。
3. 根據需要,選擇合適的沖突處理策略。
3.2 選擇遷移對象
選擇遷移對象
選擇遷移對象:可選擇不同 DB 進行遷移。
3.3 配置映射對象
配置映射對象
配置映射:可以把源實例的多個數據庫(0~15)映射到目標實例的指定1個或多個數據庫,通過該映射能力可以實現類似于 MySQL 多源復制的場景。
3.4 預檢查
預檢查
通過完善的檢查項,保證了遷移任務的穩定性。到此,我們就完成了一個高效、安全的 Redis 遷移任務的配置,當完成配置并啟動任務后,NineData 會自動啟動全量復制及增量復制過程,實現全自動化的數據遷移。
同時,為了提供更好的遷移體驗,NineData 針對遷移過程提供了完善的觀測、干預能力。其不但提供對象遷移的詳細狀態、進展、詳情,還通過監控和日志透露后臺線程的內部執行情況,幫助用戶全方位追蹤遷移進展。同時,還針對運行過程中可能出現的異常情況,提供基礎診斷和遷移限流能力,讓用戶能夠自主快速地診斷并修復鏈路,保障遷移穩定性。遷移期間的信息:
NineData針對遷移過程提供了完善的觀測能力
NineData提供完善的可干預能力
NineData提供基礎診斷和遷移限流能力
4、總結
NineData 基于全量復制、增量日志復制技術,提供了高效、安全可靠的 Redis 不停機遷移方案。當然,除了 Redis,NineData 已經支持數十種常見數據庫的遷移復制,實現數據庫遷移、數據容災、數據雙活、數據倉庫實時集成等業務場景。同時,除了 SAAS 模式外,還提供了企業專屬集群模式,滿足企業最高的數據安全合規要求。目前,NineData已在運營商、金融、制造業、地產、電商等多個行業完成大規模應用實踐。
審核編輯 黃宇
-
數據傳輸
+關注
關注
9文章
1848瀏覽量
64485 -
開源
+關注
關注
3文章
3254瀏覽量
42408 -
Redis
+關注
關注
0文章
371瀏覽量
10846
發布評論請先 登錄
相關推薦
評論