精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

智能運維第一步:HDD磁盤故障預測

全球TMT ? 來源:全球TMT ? 作者:全球TMT ? 2023-10-31 13:39 ? 次閱讀

當今數字化時代,信息技術扮演著企業和組織運營的關鍵角色。然而,隨著IT環境不斷復雜化和數據量激增,傳統的運維管理方法已經無法滿足日益增長的需求。為應對這一挑戰,智能運維(Artificial intelligence for IT operations,簡稱AIOPS)應運而生。

AIOPS融合了人工智能、自動化和數據分析等技術,旨在優化IT運維的效率、可靠性和可用性。在AIOPS的范疇內,硬盤驅動器(HDD)故障預測是其中一個至關重要的組成部分。在數字化時代,數據被譽為“新時代的石油”,HDD作為數據存儲的基礎設備,在數據中心、服務器和個人計算機中廣泛使用,扮演著關鍵角色。然而其敏感、精確、結構復雜的特性往往也使得某些故障難以避免。因此,通過AIOPS來實現HDD故障預測,避免數據丟失、業務中斷、維護成本上升,從而保障數據可用性和系統穩定性,逐漸成為保障業務正常運轉的重要手段。

為什么硬盤會出現故障?

由旋轉磁盤和漂浮在其上方的讀/寫頭組合而成的硬盤驅動器盡管結構復雜,但它們已經證明了自己作為數據載體的價值。然而,引起機械硬盤發生故障的原因有多種:首先,如高溫、濕度、機械磨損、讀寫操作頻率等,這些因素之間的相互作用使得故障模式變得更為復雜,大大提高了預測難度。其次,溫度、振動、讀寫速度、錯誤率等多樣性HDD性能數據在規模龐大的數據存儲環境中對進行有效利用和分析,無疑也是一個挑戰。

傳統的故障預測方法主要基于固定的閾值和經驗判斷,存在明顯的限制:傳統方法只能在故障已經發生或接近發生時才采取行動,無法預測性地防止故障;基于閾值的警報往往容易誤報,因為某些參數可能因正常使用而產生波動;傳統方法通常需要大量的人工干預,增加管理成本。相比之下,智能算法的引入為HDD故障預測帶來諸多可能性,利用大數據和機器學習技術,其強大的學習和自適應能力可以更好地利用和分析這些多樣化的數據,從海量的硬盤驅動器數據中提取有價值的信息,進而更加準確地進行故障預測。

HDD故障預測解決方案

方案主要包含兩部分:模型離線訓練以及實時監測和警報。首先通過離線訓練得到可用的預測模型,然后將模型運用到實際生產環境中進行實時故障預測。

模型離線訓練

模型離線訓練整體流程如圖1所示。模型所需數據為S.M.A.R.T.(Self-Monitoring Analysis and Reporting Technology,自我監測、分析及報告技術,即一種自動的硬盤狀態檢測與預警系統和規范)數據,主要指硬盤運行過程中的指標值。在數據預處理階段,由于并非所有原始屬性都是機器學習模型的可用特征,因此需要先去除冗余和不相關的特征并選擇與預測結果相關的特征,然后對于空缺的數據進行向前補全。同時,故障盤最后兩周的樣本均為潛在故障樣本(預示著該硬盤可能隨時會發生故障),即需要將最后兩周的樣本設置為故障盤樣本標簽。最后,二維數據類圖構建則是將時間作為第二維度(SMART屬性作為第一維度),使用滑動窗口的方式,構建出二維數據圖,如圖2所示。經過此階段處理能夠保持SMART數據的時間局部性,有利于磁盤故障預測。最后將得到的數據進行數據劃分,分別組成訓練集、驗證集和測試集用于模型訓練和評估。

wKgZomVAkvqADflKAABS9VLX2Ng557.jpg


圖1 模型離線訓練

wKgaomVAkvuAIYofAABvEFGmd-M055.jpg


圖2 滑動窗口構建數據類圖

在故障預測模型訓練過程中(圖3中虛線框所示),只使用健康硬盤的樣本。編碼器GE用來對原始輸入圖片x進行編碼,得到圖片特征z,解碼器GD對編碼后的圖片特征z`進行解碼。得到重構圖片x`。為檢測異常,添加一個編碼器E來學習重構樣本x`的特征表示z`。對于原始樣本x和生成圖片x`,交由判別網絡D來判別真偽,這樣,在判別網絡進行更新時,判別網絡的判別能力會得到提升。

wKgZomVAkvyAYcyLAAB0qRLwU5w060.jpg


圖3 故障預測模型

在模型預測過程中(圖3中實線框所示),無判別網絡,只利用生成網絡。將硬盤當前的二維SMART數據類圖作為輸入,經過模型中生成網絡的處理,得到輸入類圖的特征表示z和生成網絡的特征表示z`。其預測原理是,利用z和z`之間的差異來衡量樣本生成的有效性,且兩者差異越小,樣本生成越好。因此,兩者的L2范式A(X)=||z-z`||2被用于衡量樣本的異常度,即當值大于某一閾值時,表示樣本異常,即該硬盤將發生故障。其背后原因是,在訓練過程中只利用和學習健康硬盤樣本的分布,則使得健康硬盤樣本的差異更小,即z和z`的差距更小。在預測時,如果輸入樣本來自故障硬盤,則會因為故障樣本偏離健康樣本的分布,導致z和z`差異更顯著。

模型每次迭代訓練使用AUC(Area Under Curve,接受者操作特征曲線下面積)區域預測效果最好的模型參數進行保存并供后續預測使用。模型訓練完成后使用準確率對模型的性能進行評估,經評估模型的預測準確性可達99%。

實時監測和警報

當模型訓練完成后將HDD故障預測引擎順利整合到多設備管理軟件InView端,允許實時采集硬盤SMART數據,并利用模型進行在線推理預測未來兩周內硬盤發生故障可能性(如圖4所示)。當系統檢測到硬盤出現故障風險立即觸發告警機制,及時通知用戶進行換盤處理。此機制不僅能夠確保數據的安全可靠性,還提高了硬盤驅動器的整體性能和維護效率,強力保障了業務的連續性和數據管理的穩定性。

wKgaomVAkv2AZqlRAACLe74b3KA814.jpg


圖4 InView端HDD故障預測

通過AIOPS技術,浪潮信息HDD磁盤故障預測解決方案不僅實現了業界領先的預測準確性,還成功整合預測引擎和實時監測系統,能夠在故障風險出現時采取及時的措施,保護數據的安全和業務的連續性。

未來,將繼續優化和拓展HDD磁盤故障預測能力:

除SMART數據外拓展更多類型數據,全方位多角度評估硬盤健康狀況;

通過機器學習和深度學習技術的發展為識別和預測復雜的故障模式提供更多工具;

進一步改進實時監測和警報系統,提高智能化和自適應性,使系統學習并適應不斷變化的硬盤性能和環境條件;

研究自動化響應機制,實現更快速的故障處理,進一步降低業務中斷的風險。

面對生成式AI掀起的變革浪潮,5G、AI大語言模型、自動駕駛等各類新技術融合,大容量HDD依然是企業級數據中心、云服務提供商以及超大規模云業務領域的首選,浪潮信息將繼續秉承“極致存儲,智慧有數”的理念,基于自身技術優勢不斷創新,持續推動該領域的技術發展,以可靠高效的一體式解決方案守護企業數據安全,助力千行百業數字化轉型。

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 硬盤
    +關注

    關注

    3

    文章

    1292

    瀏覽量

    57242
  • 磁盤
    +關注

    關注

    1

    文章

    367

    瀏覽量

    25180
  • AI
    AI
    +關注

    關注

    87

    文章

    30235

    瀏覽量

    268467
收藏 人收藏

    評論

    相關推薦

    設備智能真正實現“智能”了嗎?

    智能的核心在于利用先進的數據分析和機器學習技術,實現設備的預測性維護、故障診斷及性能優化,以保證系統的穩定性,實現降本增效。要判斷設備
    的頭像 發表于 11-28 10:29 ?14次閱讀
    設備<b class='flag-5'>智能</b><b class='flag-5'>運</b><b class='flag-5'>維</b>真正實現“<b class='flag-5'>智能</b>”了嗎?

    AI智能管理平臺助力指揮中心,實現高效智能管理!

    AI智能管理平臺,作為新型智能管理解決方
    的頭像 發表于 11-18 16:55 ?147次閱讀
    訊<b class='flag-5'>維</b>AI<b class='flag-5'>智能</b><b class='flag-5'>運</b><b class='flag-5'>維</b>管理平臺助力指揮中心,實現高效<b class='flag-5'>智能</b><b class='flag-5'>運</b><b class='flag-5'>維</b>管理!

    旋轉設備的振動

    預測性維護是為設備故障停機的主動性維護策 略。人工智能技術和數據分析被用于預測距離設備發生 故障的時間,防止停機??蛻粼俑鶕?/div>
    的頭像 發表于 11-06 15:53 ?80次閱讀
    旋轉設備的振動<b class='flag-5'>運</b><b class='flag-5'>維</b>

    光伏電站管理系統智能的新時代

    智能與管理注入了新的活力。 光伏電站管理系統是基于云計算技術的電站
    的頭像 發表于 11-01 17:03 ?152次閱讀
    光伏電站<b class='flag-5'>運</b><b class='flag-5'>維</b>管理系統<b class='flag-5'>智能</b>化<b class='flag-5'>運</b><b class='flag-5'>維</b>的新時代

    郭光燦院士:邁出中國量子計算“軟實力”第一步

    ,是中國量子計算“軟實力”邁出的第一步。量子計算是國際前沿科技,也是中國未來產業之。當前,中國量子計算科技“硬實力”已居全球第一方陣,中國是世界上第三個具備超導量
    的頭像 發表于 09-12 08:07 ?209次閱讀
    郭光燦院士:邁出中國量子計算“軟實力”<b class='flag-5'>第一步</b>

    光伏電站管理系統實現電站智能與管理

    光伏電站管理系統實現電站智能與管理 光伏電站作為潛力巨大的新能源發電方式之正在迅速發展
    的頭像 發表于 08-16 16:48 ?492次閱讀
    光伏電站<b class='flag-5'>運</b><b class='flag-5'>維</b>管理系統實現電站<b class='flag-5'>智能</b><b class='flag-5'>運</b><b class='flag-5'>維</b>與管理

    散熱第一步是導熱

    一步提高產品的使用壽命。 產品型號有多種規格可選擇(導熱系數1.0~5.0W/m.K)。 合肥傲琪電子的導熱硅脂、導熱硅膠片還應用于對芯片、主板、功率管(MOS)、變壓器、模塊、PCB板、鋁基板
    發表于 08-06 08:52

    光伏電站智能管理系統的三大核心功能

    光伏電站智能管理系統的三大核心功能 光伏電站智能管理系統利用物聯網、大數據、人工
    的頭像 發表于 07-24 16:29 ?520次閱讀
    光伏電站<b class='flag-5'>智能</b><b class='flag-5'>運</b><b class='flag-5'>維</b>管理系統的三大核心功能

    無人機光伏智能管理系統

    ?????? 無人機光伏智能管理系統 ?????? 無人機光伏智能管理系統為光伏電站提供
    的頭像 發表于 06-20 16:38 ?421次閱讀

    設備管理:訊智能維系統實現設備智能化管理與維護

    了全新的解決方案。 訊智能維系統擁有強大的數據采集與分析能力,能夠實時監控設備的運行狀態和性能參數。通過收集并分析各類數據,系統能夠
    的頭像 發表于 04-28 15:59 ?713次閱讀

    管理平臺:從基礎智能的飛躍

    管理平臺為企業提供了從基礎智能
    的頭像 發表于 04-16 16:26 ?398次閱讀

    智能維新標桿:訊管理平臺深度解讀

    的功能和性能,為企業提供了全新的解決方案,成為了行業的新標桿。 、強大的智能功能 訊
    的頭像 發表于 04-16 16:24 ?469次閱讀

    基于分布式管理平臺的智能電網案例

    、引言 隨著智能電網的快速發展,電網系統的復雜性和難度也在不斷增加。傳統的方式已難以滿
    的頭像 發表于 03-26 16:24 ?522次閱讀

    AI智能管理平臺助力指揮中心,實現高效智能管理!

    ,進一步助力公安工作實現信息化、智能化。 該指揮控制中心是某市公安局的重要職能部門,負責全市的治安指揮、調度和管理工作。隨著信息化建設的不斷深入,指揮中心對IT及AV系統的依賴程度越來越高,傳統的IT及AV系統
    的頭像 發表于 12-29 15:32 ?1287次閱讀
    AI<b class='flag-5'>智能</b><b class='flag-5'>運</b><b class='flag-5'>維</b>管理平臺助力指揮中心,實現高效<b class='flag-5'>智能</b><b class='flag-5'>運</b><b class='flag-5'>維</b>管理!

    配網故障定位|智能的新篇章

    隨著電力系統的不斷發展,配網故障定位已經成為了電力工作中的大難題。為了提高配網故障定位的效率和準確性,本文將介紹
    的頭像 發表于 12-04 10:47 ?605次閱讀
    配網<b class='flag-5'>故障</b>定位|<b class='flag-5'>智能</b><b class='flag-5'>運</b><b class='flag-5'>維</b>的新篇章