精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

mysql磁盤碎片整理

京東云 ? 來源:jf_75140285 ? 作者:jf_75140285 ? 2024-08-27 15:26 ? 次閱讀

背景

數據結轉過程中經常進行 delete 操作,產生空白空間,如果進行新的插入操作,MySQL將嘗試利用這些留空的區域,但仍然無法將其徹底占用,于是造成了數據的存儲位置不連續,以及物理存儲順序與理論上的排序順序不同,久而久之就產生了碎片。

碎片治理思路

根據線上處理經驗總結比對4種處理磁盤碎片優缺點

?

治理方案 優勢 缺點 備注
將數據量巨大的表設計成分區表,按時間分區 通過結轉分區數據,刪除分區釋放磁盤碎片,磁盤IO抖動秒級別,對線上業務影響小 ?
估算數據量,每個分區不超過3億數據350G為佳;庫存流水,訂單表這些表應該在創建時就應該設計成分區表,避免以后磁盤碎片痛點
重建表存儲引擎,重新組織數據(ALTER TABLE tablename ENGINE=InnoDB;) ?
整理過程加鎖,周期長,且對線上業務影響較大:10億數據量,1000G,tp99會持續超過60s 謹慎操作
主從切換(DBA可使用一個磁盤更大的干凈的庫,進行主從切換) ?
涉及面廣,牽扯范圍較大,處理時長在分鐘級 謹慎操作
創建臨時表進行數據雙寫最后進行數據庫表名切換 零延遲,無抖動,對線上無任何影響 需要磁盤空間較大 ?

?

創建分區表

wKgaombNf52AKKGpABCZGfhqC9I055.png

上述分區表,在某一分區內數據結轉完成后,

ALTER TABLE warehouse_stock_flow drop PARTITION p24;

當然不是所有的表都是可以創建分區表的。如果某一張數據表在很長一段時間內沒有進行數據結轉,且無法創建分區表的話,可以利用以下方法。

?

表名切換

如果某一張數據表在很長一段時間內沒有進行數據結轉,可以創建臨時表,通過大數據將某一結轉周期內數據推送至臨時表,在代碼層面進行數據的雙寫,最后再通過表名更換的方式進行表名轉換。其實,治理磁盤碎片最好的方法就是刪除表,不同業務對數據的要求不同。如果有可能的話新建一個臨時表。

利用rename語句對數據庫表信息進行修改,不會鎖表,可以達到零延遲,無抖動,對線上無任何影響。

wKgZombNf56AMgbUAAQwDHqV6Cg590.png

rename table xx_record to xx_record_temp1,xx_temp to xx_record,xx_record_temp1 to xx_record_temp;

總結

不管是使用云還是商城數據庫,只要使用mysql,必然會遇到Mysql碎片問題痛點,數據量大的業務表應該設計成分區表方便磁盤碎片整理,降低維護成本和業務影響。碎片清理前后,IO性能會上升,SQL執行效率更快。所以,在日常運維工作中,應對碎片進行定期清理,保證數據庫有穩定的性能和充足的空間。

擴展

提到提高IO性能,在緊急情況下還可以考慮開啟刷盤(設置 sync_binlog=0;innodb_flush_log_at_trx_commit=0),但開啟刷盤會有數據丟失風險(集團數據庫模板配置參數默認sync_binlog=1;innodb_flush_log_at_trx_commit=1)。

附件

mysql數據庫核心參數介紹:https://www.cnblogs.com/klvchen/p/10861850.html?

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據庫
    +關注

    關注

    7

    文章

    3763

    瀏覽量

    64274
  • 磁盤碎片整理

    關注

    0

    文章

    2

    瀏覽量

    5501
  • MySQL
    +關注

    關注

    1

    文章

    801

    瀏覽量

    26441
收藏 人收藏

    評論

    相關推薦

    MySQL還能跟上PostgreSQL的步伐嗎

    Percona 的老板 Peter Zaitsev最近發表一篇博客,討論了MySQL是否還能跟上PostgreSQL的腳步。Percona 作為MySQL 生態扛旗者,Percona 開發了知名
    的頭像 發表于 11-18 10:16 ?127次閱讀
    <b class='flag-5'>MySQL</b>還能跟上PostgreSQL的步伐嗎

    詳解MySQL多實例部署

    詳解MySQL多實例部署
    的頭像 發表于 11-11 11:10 ?167次閱讀

    MySQL編碼機制原理

    前言 一位讀者在本地部署 MySQL 測試環境時碰到一個問題,我覺得挺有代表性的,所以寫篇文章介紹一下,看完相信你會對 MySQL 的編碼機制有最本質的了解,本文的目錄結構如下 讀者問題簡介
    的頭像 發表于 11-09 11:01 ?162次閱讀

    適用于MySQL的dbForge架構比較

    dbForge Schema Compare for MySQL 是一種工具,用于輕松有效地比較和部署 MySQL 數據庫結構和腳本文件夾差異。該工具提供了 MySQL 數據庫架構中所有差異的全面視圖。
    的頭像 發表于 10-28 09:41 ?144次閱讀
    適用于<b class='flag-5'>MySQL</b>的dbForge架構比較

    Linux磁盤IO詳細解析

      在講解磁盤IO前,先簡單說下什么是磁盤磁盤是可以持久化存儲的設備,根據存儲介質的不同,常見磁盤可以分為兩類:機械磁盤和固態
    的頭像 發表于 08-05 15:49 ?566次閱讀
    Linux<b class='flag-5'>磁盤</b>IO詳細解析

    MySQL知識點匯總

    大家好,這部分被稱為DQL部分,是每個學習MySQL必須要學會的部分,下面就讓我來介紹MySQL中的其他部分。
    的頭像 發表于 08-05 15:27 ?366次閱讀
    <b class='flag-5'>MySQL</b>知識點匯總

    MySQL的整體邏輯架構

    支持多種存儲引擎是眾所周知的MySQL特性,也是MySQL架構的關鍵優勢之一。如果能夠理解MySQL Server與存儲引擎之間是怎樣通過API交互的,將大大有利于理解MySQL的核心
    的頭像 發表于 04-30 11:14 ?424次閱讀
    <b class='flag-5'>MySQL</b>的整體邏輯架構

    MySQL忘記root密碼解決方案

    mysql登錄密碼為password()算法加密,解密成本太高,以下為通用方案; 原理:mysql提供了特殊啟動方式,即跳過權限表驗證,啟動后,登錄不需要提供密碼; 登錄后,即可修改mysql數據庫的user表,重置
    的頭像 發表于 04-23 16:08 ?652次閱讀

    【服務器數據恢復】服務器raid6陣列多塊磁盤離線的數據恢復案例

    一臺網站服務器中有一組由6塊磁盤組建的RAID6磁盤陣列,操作系統層面運行MySQL數據庫和存放一些其他類型文件。
    的頭像 發表于 02-23 13:13 ?554次閱讀

    MySQL密碼忘記了怎么辦?MySQL密碼快速重置方法步驟命令示例!

    MySQL密碼忘記了怎么辦?MySQL密碼快速重置方法步驟命令示例! MySQL是一種常用的關系型數據庫管理系統,如果你忘記了MySQL的密碼,不必擔心,可以通過一些簡單的步驟來快速重
    的頭像 發表于 01-12 16:06 ?723次閱讀

    如何使用Golang連接MySQL

    首先我們來看如何使用Golang連接MySQL
    的頭像 發表于 01-08 09:42 ?3246次閱讀
    如何使用Golang連接<b class='flag-5'>MySQL</b>

    mysql密碼忘了怎么重置

    mysql密碼忘了怎么重置? MySQL是一種開源的關系型數據庫管理系統,密碼用于保護數據庫的安全性和保密性。如果你忘記了MySQL的密碼,可以通過以下幾種方法進行重置。 方法一:使用MySQ
    的頭像 發表于 12-27 16:51 ?6334次閱讀

    mysql配置失敗怎么辦

    MySQL是一款廣泛使用的關系型數據庫管理系統,但在配置過程中可能會出現各種問題,導致配置失敗。本文將詳細介紹MySQL配置失敗的常見原因和對應的解決方案,以幫助讀者快速排查和解決問題。 一、檢查
    的頭像 發表于 12-06 11:03 ?3377次閱讀

    mysql數據庫基礎命令

    MySQL是一個流行的關系型數據庫管理系統,經常用于存儲、管理和操作數據。在本文中,我們將詳細介紹MySQL的基礎命令,并提供與每個命令相關的詳細解釋。 登錄MySQL 要登錄MySQL
    的頭像 發表于 12-06 10:56 ?552次閱讀

    php的mysql無法啟動

    MySQL是一種常用的關系型數據庫管理系統,而PHP是一種廣泛應用于服務器端的腳本語言。在使用PHP開發網站或應用時,經常會碰到MySQL無法啟動的問題。本文將詳細介紹解決MySQL無法啟動的方法
    的頭像 發表于 12-04 15:59 ?1441次閱讀