精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

現有文件系統元數據管理的潛在缺陷

智能計算芯世界 ? 來源:智能計算芯世界 ? 作者:智能計算芯世界 ? 2022-11-03 09:54 ? 次閱讀

在HPC計算和存儲業務中,針對文件系統的IO請求中,一半以上是元數據訪問。元數據訪問特點:

I/O大小較小(元數據大小通常只有幾百Byte),使得元數據服務器CPU的負載重

許多元數據操作包含多次子操作,例如打開文件需要進行多次的路徑解析,使得元數據操作會觸發多次網絡I/O

當前,主流并行文件系統大多采用分布式解決方案中,Lustre、CephFS采用子樹劃分+目錄條帶化;BeeGFS根據名稱的Hash值分布到多節點;GlusterFS采用無中心架構;IndexFS的元數據以KV存儲,通過GIGA+算法分布到多節點。

現有文件系統元數據管理的潛在缺陷:1)POSIX的語義限制了元數據性能提升,2)數據結構不利于并發處理,3)元數據性能提升面臨的機遇,如IO設備跨越式發展(NVMe SSD充裕的IOPS和帶寬,多通道并發能力)。

針對文件系統元數據一直是文件系統的瓶頸問題,單點元數據性能仍然存在很大的提升空間,如沒有充分發揮IO效能,沒有充分發揮計算效能等,本文提出改進數據結構,降低IO之間的依賴,發揮并行IO能力(降低目錄路徑解析延遲,降低大目錄訪問延遲,降低數據塊訪問延遲)改進算法,發揮計算部件的并行計算能力等措施。

ae4569f4-5b09-11ed-a3b6-dac502259ad0.png

ae5cb000-5b09-11ed-a3b6-dac502259ad0.png

ae7fec96-5b09-11ed-a3b6-dac502259ad0.png

ae9a679c-5b09-11ed-a3b6-dac502259ad0.png

aeebf8dc-5b09-11ed-a3b6-dac502259ad0.png

af65a614-5b09-11ed-a3b6-dac502259ad0.png

afdc0ed0-5b09-11ed-a3b6-dac502259ad0.png

b0228e46-5b09-11ed-a3b6-dac502259ad0.png

b042d386-5b09-11ed-a3b6-dac502259ad0.png

b05b5c94-5b09-11ed-a3b6-dac502259ad0.png

b0e52dde-5b09-11ed-a3b6-dac502259ad0.png

b100e182-5b09-11ed-a3b6-dac502259ad0.png

b1d9fd5a-5b09-11ed-a3b6-dac502259ad0.png

b213196e-5b09-11ed-a3b6-dac502259ad0.png

b27ac53c-5b09-11ed-a3b6-dac502259ad0.png

b39871c6-5b09-11ed-a3b6-dac502259ad0.png

b3af8028-5b09-11ed-a3b6-dac502259ad0.png

b3eda33a-5b09-11ed-a3b6-dac502259ad0.png

b414b4c0-5b09-11ed-a3b6-dac502259ad0.png

b4465692-5b09-11ed-a3b6-dac502259ad0.png

b4681fa2-5b09-11ed-a3b6-dac502259ad0.png

針對文件系統元數據一直是文件系統的瓶頸問題,單點元數據性能仍然存在很大的提升空間,如沒有充分發揮IO效能,沒有充分發揮計算效能等,本文提出改進數據結構,降低IO之間的依賴,發揮并行IO能力(降低目錄路徑解析延遲,降低大目錄訪問延遲,降低數據塊訪問延遲)改進算法,發揮計算部件的并行計算能力等措施。

審核編輯:彭靜
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4265

    瀏覽量

    85676
  • 數據管理
    +關注

    關注

    1

    文章

    290

    瀏覽量

    19609
  • 文件系統
    +關注

    關注

    0

    文章

    284

    瀏覽量

    19883

原文標題:HPC并行文件:元數據如何縱向可擴展?

文章出處:【微信號:AI_Architect,微信公眾號:智能計算芯世界】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    Linux文件系統簡介

    任何一個操作系統中,文件管理是其基本功能之一,而文件管理是由文件系統來完成的。
    發表于 04-15 11:46 ?2634次閱讀
    Linux<b class='flag-5'>文件系統</b>簡介

    進一步了解iMatrix平臺核心功能之系統數據管理

    本帖最后由 imatrix 于 2013-7-30 11:15 編輯 iMatrix平臺的系統數據管理是維護各系統定義的模型數據,包
    發表于 07-30 10:58

    數據管理功能詳解

    庫的情況下,執行即時搜索、實時修訂,隨時管理已發放設計文檔,使得用戶更輕松地采用標準、查找零件、管理設計變更、篩選重復模型等。此外,浩辰3D軟件的數據管理工具,還可以對正在審核或已發放生產的設計
    發表于 11-03 15:32

    【學習打卡】OpenHarmony的分布式數據管理介紹

    時,應用程序和用戶可以操作數據,無論數據是在本地還是在遠程系統上。本地和遠程文件處理的處理方式相同。數據管理過程包括不同功能的組合,可確保
    發表于 07-15 15:49

    采用信任管理的分布式文件系統TrustFs

    在傳統的分布式文件系統中用戶無法判斷文件的可信任性,針對此問題提出采用信任管理的分布式文件系統TrustFs,使用數字簽名對文件的發布者進行
    發表于 04-02 08:57 ?19次下載

    文件系統管理操作

    為了方便用戶對設備存儲設備進行有效的管理,設備提供了文件系統功能,實現對文件和目錄的訪問管理:用戶可以通過命令行對文件進行創建、移動、拷貝、
    發表于 08-30 15:55 ?0次下載

    XfS文件系統,XfS文件系統是什么意思

    XfS文件系統,XfS文件系統是什么意思 XfS文件系統是SGI開發的高級日志文件系統,XFS極具伸縮性,非常健壯。所幸的是SGI將其移植到了Lin
    發表于 03-29 10:39 ?4253次閱讀

    Ceph文件系統數據緩存備份

    針對Ceph文件系統數據寫操作響應時間較長的問題,提出一種對數據緩存進行備份的方案。該方案采用多個
    發表于 02-08 15:38 ?0次下載
    Ceph<b class='flag-5'>文件系統</b>的<b class='flag-5'>數據</b>緩存備份

    文件系統是什么?淺談EXT文件系統歷史

    在先前關于Linux文件系統的文章中,我很想去深入地討論更多EXT文件系統的特性的信息。所以,首先讓我們來回答這個問題:什么是文件系統?一個文件系統應該遵循以下特點。
    發表于 06-28 09:03 ?5666次閱讀
    <b class='flag-5'>文件系統</b>是什么?淺談EXT<b class='flag-5'>文件系統</b>歷史

    基于分布式文件系統數據操作優化

    。為了有效解決這一問題,工業界和學術界開發出基于各種設計架構和理念的分布式文件系統數據管理是分布式文件系統中一個重要的研究內容。
    發表于 02-24 13:46 ?0次下載
    基于分布式<b class='flag-5'>文件系統</b><b class='flag-5'>元</b><b class='flag-5'>數據</b>操作優化

    Linux 內核/sys 文件系統介紹

    linux2.6內核引入sysfs文件系統,sysfs可以看成與proc,devfs和devpty同類別的文件系統,該文件系統是虛擬的文件系統,可以更方便對
    發表于 04-25 16:20 ?4265次閱讀
    Linux 內核/sys <b class='flag-5'>文件系統</b>介紹

    需要了解文件系統管理

    文件系統是基于操作系統的,用來管理和組織保存在磁盤驅動器上的數據系統軟件,通過對數據存儲布局/
    發表于 04-25 17:40 ?554次閱讀
    需要了解<b class='flag-5'>文件系統管理</b>

    FATFS文件系統詳解

    一、文件系統負責管理和存儲文件信息的軟件機構稱為文件管理系統,簡稱
    發表于 11-29 09:51 ?29次下載
    FATFS<b class='flag-5'>文件系統</b>詳解

    關于數據管理解析

    圖書館都會用一個叫作“圖書目錄”的文件夾來管理藏書,圖書目錄包含圖書名稱、編號、作者、主題、簡介、擺放位置等信息,用來幫助圖書管理管理和快速查找圖書。
    的頭像 發表于 05-05 16:01 ?1758次閱讀

    Linux的文件系統特點

    ,近期經常被讀取和寫入,文件系統應該有緩存層。 文件應該用文件夾的形式組織起來,方便管理和查詢。 Linux內核要在自己的內存里面維護一套數據
    的頭像 發表于 11-09 14:48 ?1131次閱讀
    Linux的<b class='flag-5'>文件系統</b>特點