精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Redis 大數據量高速遷移,2000W key不到2分鐘!

數據庫小組 ? 來源:數據庫小組 ? 作者:數據庫小組 ? 2023-09-12 15:40 ? 次閱讀

Redis是目前最流行的鍵值對存儲數據庫,憑借高性能和豐富的數據類型的特性,不僅可以作為緩存,還可以作為一個可持久化的數據庫存儲。隨著業務的發展和版本的迭代,必然會遇到內存不足、集群節點不夠和BUG等一系列問題。為了防止這些問題導致的系統故障,常常會把對內存、集群節點擴縮容和版本升級等操作作為工作考核的重要一項。這些操作都涉及了數據的遷移,所以,提供高效、安全的不停機數據遷移方案是非常有必要的。

現在,NineData 在支持業務不中斷的前提下,實現了配置簡單、穩定、高效、安全的數據遷移服務,很好地滿足版本升級、擴容、縮容等場景下對數據遷移和同步的需求。經實測,NineData 可在 2分鐘內完成2000萬個 key(5GB)數據的遷移,平均 遷移速度為 164398 個key/秒,性能是開源工具的2倍多。

1、傳統的遷移方案

目前,數據遷移主要的方式有:使用 RDB 遷移,或一些開源工具進行數據遷移。對于這些方式的遷移,會存在一些問題:

需要停機,對于拷貝 RDB 文件方式的遷移,不能保障在線業務,并且也不能兼容大版本升級。

準確性難保障,不支持數據檢測能力,遷移后的數據質量難以保障。

可靠性差,對于開源工具,遷移異常后,進程直接退出。

運維性差,不能進行暫停、限流、告警等操作。

2、高性能的遷移方案

NineData 提供的數據復制同時包含了數據遷移和數據同步的能力,在不影響業務的前提下,提供了高效、穩定、安全的遷移能力。相較于傳統遷移比,NineData 的 Redis 數據遷移能力有如下優勢:

?? 簡單易用

一分鐘即可完成任務配置,并全自動化完成任務遷移。

?? 強勁性能

通過動態攢批、隊列優化、流式內存管理等核心技術,遷移性能達到16萬key/秒,性能是開源遷移工具的2倍,有效保障遷移效率。

?? 高可靠

結合新型斷點、異常診斷及豐富的修復手段,對于遷移過程中可能出現軟硬件故障,提供完善的容災能力,大大提高了遷移的成功率。

通過上述優勢,保證了 NineData 在 Redis 遷移場景下的領先性。另外,NineData 還提供了對比功能,包含全量、快速和不一致復檢的對比方式,并且也支持不同的對比頻率。在遷移或復制結束后,通過對比,有效地保障數據的質量。

3、操作使用

NineData 在提供強大遷移能力的同時,也保證了使用的簡單性,只需1分鐘就能完成遷移任務的配置,實現完全自動化的數據遷移過程。下面我們來看下整個任務的配置過程:

3.1 遷移鏈路的配置

wKgZomUAFgKAGTXFAAT9gTprfts621.jpg

遷移鏈路的配置

1. 配置任務名稱,選擇要遷移的源和目標實例。

2. 選擇復制類型,數據遷移選擇結構和全量復制(數據遷移)。

3. 根據需要,選擇合適的沖突處理策略。

3.2 選擇遷移對象

wKgaomUAFgOAR9pBAARC9Qm8gqU180.jpg

選擇遷移對象

選擇遷移對象:可選擇不同 DB 進行遷移。

3.3 配置映射對象

wKgZomUAFgOAefhRAARDPj_iFzY630.jpg

配置映射對象

配置映射:可以把源實例的多個數據庫(0~15)映射到目標實例的指定1個或多個數據庫,通過該映射能力可以實現類似于 MySQL 多源復制的場景。

3.4 預檢查

wKgaomUAFgSALmWqAAYiv2zSalQ287.jpg

預檢查

通過完善的檢查項,保證了遷移任務的穩定性。到此,我們就完成了一個高效、安全的 Redis 遷移任務的配置,當完成配置并啟動任務后,NineData 會自動啟動全量復制及增量復制過程,實現全自動化的數據遷移。

同時,為了提供更好的遷移體驗,NineData 針對遷移過程提供了完善的觀測、干預能力。其不但提供對象遷移的詳細狀態、進展、詳情,還通過監控和日志透露后臺線程的內部執行情況,幫助用戶全方位追蹤遷移進展。同時,還針對運行過程中可能出現的異常情況,提供基礎診斷和遷移限流能力,讓用戶能夠自主快速地診斷并修復鏈路,保障遷移穩定性。遷移期間的信息

wKgZomUAFgWAbGseAAbFCaKQEZI809.jpg

NineData針對遷移過程提供了完善的觀測能力

wKgaomUAFgaAFSf0AAW9F3NV8z4056.jpg

NineData提供完善的可干預能力

wKgZomUAFgaAUjXRAAXHHgxDSTo964.jpg

NineData提供基礎診斷和遷移限流能力

4、總結

NineData 基于全量復制、增量日志復制技術,提供了高效、安全可靠的 Redis 不停機遷移方案。當然,除了 Redis,NineData 已經支持數十種常見數據庫的遷移復制,實現數據庫遷移、數據容災、數據雙活、數據倉庫實時集成等業務場景。同時,除了 SAAS 模式外,還提供了企業專屬集群模式,滿足企業最高的數據安全合規要求。目前,NineData已在運營商、金融、制造業、地產、電商等多個行業完成大規模應用實踐。

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據傳輸
    +關注

    關注

    9

    文章

    1848

    瀏覽量

    64485
  • 開源
    +關注

    關注

    3

    文章

    3254

    瀏覽量

    42408
  • Redis
    +關注

    關注

    0

    文章

    371

    瀏覽量

    10846
收藏 人收藏

    評論

    相關推薦

    emc數據遷移工具的使用指南

    在當今快速發展的信息技術領域,數據遷移成為了企業IT戰略中不可或缺的一部。隨著數據量的激增和業務需求的變化,企業需要將數據從一個存儲系統
    的頭像 發表于 11-01 15:55 ?200次閱讀

    1分鐘了解臺式電腦系統備份:NVMe PCIe SATA M.2雙協議SSD輕松拷貝不求人

    需求 在工作環境下不僅要存儲大量文文件、項目文件,還有軟件、系統映像文件等關鍵數據需要定期備份。傳統的備份方式,例如透過外接硬盤或云端備份,雖然可以達到基本需求,但如果備份的數據量龐大,傳輸速度便成為
    發表于 10-15 15:39

    藍牙Mesh模塊多跳大數據量高帶寬傳輸數據方法

    通過多個跳數進行通信,從而實現大范圍的覆蓋。然而,隨著數據量的增加和帶寬需求的提高,如何在藍牙Mesh網絡中實現高效、穩定的多跳大數據量高帶寬傳輸數據成為了一個亟待解決的問題。本文將介紹一種基于藍牙Mesh模塊的多跳
    的頭像 發表于 05-28 11:23 ?669次閱讀
    藍牙Mesh模塊多跳<b class='flag-5'>大數據量</b>高帶寬傳輸<b class='flag-5'>數據</b>方法

    老板不看必后悔!壹晨激光2000w手持激光焊接機價格大跳水

    標題:《2000W 手持激光焊接機的價格范圍》 2000W 手持激光焊接機的價格一般在 2 萬元到 3 萬元左右,具體價格取決于品牌、型號、配置等因素。不同品牌的 2000W 手持激光
    的頭像 發表于 04-07 16:35 ?356次閱讀

    Redis開源版與Redis企業版,怎么選用?

    點擊“藍字”關注我們數以千計的企業和數以百萬計的開發人員Redis開源版來構建應用程序。但隨著用戶數量、數據量和地區性的增加,成本、可擴展性、運營和可用性等問題也隨之而來。Redis企業版
    的頭像 發表于 04-04 08:04 ?969次閱讀
    <b class='flag-5'>Redis</b>開源版與<b class='flag-5'>Redis</b>企業版,怎么選用?

    數據安全沒保障?GaussDB(for Redis) 為你保駕護航

    未知的 key,實際上可能面臨數據庫信息丟失和記錄篡改的風險。 作為一個重視技術的團隊,我們始終將用戶信息安全和使用體驗放在第一位。對于這次用戶使用開源 Redis 遇到的問題,我們盤點了 GaussDB(for
    的頭像 發表于 03-28 22:09 ?644次閱讀
    <b class='flag-5'>數據</b>安全沒保障?GaussDB(for <b class='flag-5'>Redis</b>) 為你保駕護航

    GaussDB(for Redis) 特性揭秘:大 key 治理

    ? 從 DBA 的視角看,大 Key 無疑是引起 Redis 線上問題的常見原因。為了解決大 Key 隱患,業務首先要遵守合理的開發規范,減少大 Key 的產生和訪問依賴。但有時大
    的頭像 發表于 03-28 22:06 ?651次閱讀
    GaussDB(for <b class='flag-5'>Redis</b>) 特性揭秘:大 <b class='flag-5'>key</b> 治理

    金升陽推出一款2000W機殼電源—LMF2000-20Bxx系列

    根據市場需求,金升陽持續拓寬機殼開關電源功率段,本次推出的是2000W機殼電源——LMF2000-20Bxx系列。
    的頭像 發表于 03-13 18:21 ?1596次閱讀

    MySQL單表數據量限制:為何2000萬行成為瓶頸?

    很多人認為:數據量超過500萬行或2000萬行時,引起B+tree的高度增加,延長了索引的搜索路徑,進而導致了性能下降。事實果真如此嗎?
    的頭像 發表于 02-27 10:38 ?5738次閱讀
    MySQL單表<b class='flag-5'>數據量</b>限制:為何<b class='flag-5'>2000</b>萬行成為瓶頸?

    大數據技術是干嘛的 大數據核心技術有哪些

    的核心技術,包括數據采集、存儲與管理、處理與分析等方面。 一、大數據技術背景和概念 1.1 背景 隨著互聯網技術的迅猛發展,人們可以通過各種途徑產生、獲取和傳輸數據,使數據量呈現爆炸式
    的頭像 發表于 01-31 11:07 ?3092次閱讀

    分鐘,自動完成Redis數據遷移

    NineData提供了高效、安全的Redis不停機數據遷移方案。與傳統遷移方案相比,NineData具備簡單易用、強勁性能和高可靠性的優勢。通過優化核心技術,NineData的
    的頭像 發表于 01-08 11:34 ?400次閱讀
    一<b class='flag-5'>分鐘</b>,自動完成<b class='flag-5'>Redis</b><b class='flag-5'>數據</b><b class='flag-5'>遷移</b>

    行業新星:2000W激光手持焊接機,壹晨激光開啟高效焊接新時代

    產品質量。今天,我們有幸為您揭開這款2000W激光焊接機的神秘面紗,它將以卓越的性能,譜寫高效焊接的新篇章。 一、高功率輸出的巨匠 這款2000W激光焊接機在激光器上采用了先進的工藝,可以實現高功率的輸出,如同強大的引擎,推動
    的頭像 發表于 12-27 13:39 ?352次閱讀
    行業新星:<b class='flag-5'>2000W</b>激光手持焊接機,壹晨激光開啟高效焊接新時代

    2000w 激光除銹清洗機產品介紹

    電子發燒友網站提供《2000w 激光除銹清洗機產品介紹.pdf》資料免費下載
    發表于 12-22 11:24 ?2次下載

    誰說MySQL單表行數不要超過2000W

    網上看了一篇文章《為什么說MySQL單表行數不要超過2000w》,親自實踐了一下,跟原作者有不同的結論。原文的結論是2000W左右性能會成指數級的下降,而我的結論是:隨著數據量成倍地增加,查詢的時間也剛好是成倍增加,是成正比的。
    的頭像 發表于 12-15 10:02 ?997次閱讀
    誰說MySQL單表行數不要超過<b class='flag-5'>2000W</b>?

    redis hash底層實現原理

    Redis是一個開源的內存數據庫,使用鍵值對存儲數據。其中,Redis中的數據結構之一就是哈希(Hash),它提供了一種將多個字段(Fiel
    的頭像 發表于 12-04 16:27 ?562次閱讀