精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

支撐海量數據,分布式存儲該如何應戰(zhàn)

中科曙光 ? 來源:中科曙光 ? 作者:中科曙光 ? 2022-03-25 14:44 ? 次閱讀

在曙光舉辦的技術圓桌派上,來自業(yè)內的多位大咖和專家就數字化轉型與分布式存儲發(fā)展趨勢展開討論。

支撐海量數據

分布式存儲該如何應戰(zhàn)

伴隨著云計算、大數據、物聯網信息技術的快速發(fā)展和傳統產業(yè)數字化的轉型,新技術的應用與推廣帶來海量數據的規(guī)模化聚集。用戶對存儲系統的穩(wěn)定性、性能和彈性擴展能力有著更高的期待,而傳統集中式存儲煙囪式的部署模式在擴展性和管理上都遇到非常多的挑戰(zhàn),主持人黃海峰在圓桌派一開始向嘉賓們提出了這一問題。

“2021年,分布式存儲和云存儲在量和銷售額方面的增速分別達到30%和20%,相較于傳統存儲的20%和8%,分布式存儲遠遠勝于傳統存儲。”賽迪顧問業(yè)務總監(jiān)高丹對2021年的存儲市場格局做出了總結。

“面對海量爆發(fā)的數據,以前傳統集中式的存儲已經不是最優(yōu)選了。”中科曙光存儲事業(yè)部副總經理張新鳳表示,“對分布式存儲本身來說,破解海量數據存儲難題,也是有非常多的挑戰(zhàn)。”

首先,就是解決海量數據的存儲。海量不簡簡單單的是設備的堆集,技術難度是指數級的增長。要看廠商是否有豐富的超大部署規(guī)模和實施經驗;第二是能對5GAI區(qū)塊鏈等新技術有更好的支持。這就需要統一協議的支持,打通從數據的采集、應用、分析到歸檔的鏈路,做到異構數據的融合;第三,針對用戶實際應用,在產品性能和功能上做到深度的定制。

自研優(yōu)勢盡顯

曙光分布式存儲領跑市場

“存儲的市場,是一個需要很深的技術積累和很大資金投入的市場。曙光推出的產品是自研的。自研的路線,對客戶節(jié)約成本角度來說,還是對我們自己安全的角度來說,都是一套比較好的技術路線,我也希望我們自己國家的自研路線走的越來越好。”高丹表示。

“曙光做存儲,一開始就選擇了分布式存儲路線。”張新鳳介紹,2009年,曙光推出第一代全自主研發(fā)的分布式存儲系統ParaStor,基于POSIX協議,在做數據處理的時候有很好的性能體驗;2013年,數據中心已經開始比較規(guī)模化的部署,這個時候我們完成了對NAS共享的支持;2019年,基本各個行業(yè)都在普及云化,我們?yōu)榱私鉀Q業(yè)務上云的問題,又推出分布式塊協議。現在, 曙光分布式存儲系統ParaStor完成了對文件、塊、對象和大數據協議的支持,基本覆蓋所有應用場景。

基于自研優(yōu)勢,曙光可根據不同行業(yè)用戶的不同需求,進行代碼級的定制化設計與開發(fā),產品功能和性能指標可大大優(yōu)于同類產品。“比如我們的分布式對象,單桶就可以實現4K小文件千億級別的存儲,一個系統TPS的聚合性能可以達到百萬級,這種水平是業(yè)內一流的。”張新鳳說。

曙光成就產業(yè)數字化轉型

最佳實踐

“分布式的應用越來越廣泛,但細化到具體的應用場景里,又會發(fā)現應用需求是千差萬別的。”面對當前分布式存儲多樣化的應用需求,張新鳳表示“要快速的響應市場需求,推出合適的產品,首先要有強有力的團隊支撐,其次是對行業(yè)的深耕和理解,基于以上兩者的優(yōu)勢,對用戶推出定制化的產品及運維服務。”

張新鳳介紹,在某科研機構氣候模擬和科學研究項目中,為了幫助用戶解決業(yè)務流程時間過長的問題,曙光集結專業(yè)研發(fā)團隊為客戶定制加速技術。在計算和存儲節(jié)點之間,配備了大內存和高速NVMe的性能加速節(jié)點,把大量4K非對齊IO在這個節(jié)點上先做聚合,再到存儲上面。最后用戶實測使用性能提升8到10倍。“對存儲技術有了一定的積累,對應用有相當的理解,才能迅速抓到用戶需求痛點,快速響應。”

“在石油勘探過程中,數據存儲和分析處理的需求呈幾何倍增長,對存儲容量以及擴展性都提了很高的要求;石油勘探領域對收集上來的數據,需要提供TB級及PB級的讀寫性能,來滿足我們現在前端的密集計算和模擬。”,中石化石油物探技術研究院信息中心技術主管葛鑫提及。

“在輿情數據智能分析時,客戶要求系統架構能融合訓練、分析及推理,傳統存算一體化的模式就不太適用。”中科天璣區(qū)域拓展部總經理劉維秦在分布式存儲應用中談到,”曙光原生HDFS協議的支持,在存算分離的基礎上,保證了性能的指數級提升,還可以支持更多大數據高級功能。”

“未來的存儲系統要很好地支撐應用,無論是性能的極致優(yōu)化,或者是功能的定制”,張新鳳對存儲市場的未來發(fā)展演進做出判斷,“沒有一蹴而就的捷徑可以走,更多的是天長日久的積累和演進”,作為國內第一批做自研分布式存儲的廠商,曙光將以更扎實的科研技術、更先進的存儲產品、更優(yōu)質的存儲服務,助力產業(yè)升級和數字化轉型。

原文標題:曙光技術圓桌派——分布式是新存儲時代的破題密鑰

文章出處:【微信公眾號:中科曙光】歡迎添加關注!文章轉載請注明出處。

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 數據
    +關注

    關注

    8

    文章

    6715

    瀏覽量

    88311
  • 存儲
    +關注

    關注

    13

    文章

    4123

    瀏覽量

    85276
  • 數字化
    +關注

    關注

    8

    文章

    8351

    瀏覽量

    61386

原文標題:曙光技術圓桌派——分布式是新存儲時代的破題密鑰

文章出處:【微信號:sugoncn,微信公眾號:中科曙光】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    基于分布式存儲系統醫(yī)療影像數據存儲解決方案

    基于分布式存儲系統醫(yī)療影像數據存儲解決方案
    的頭像 發(fā)表于 09-14 09:53 ?129次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統醫(yī)療影像<b class='flag-5'>數據</b><b class='flag-5'>存儲</b>解決方案

    基于分布式對象存儲WDS的信托非結構化數據整合平臺

    基于分布式對象存儲WDS的信托非結構化數據整合平臺
    的頭像 發(fā)表于 08-28 09:56 ?145次閱讀
    基于<b class='flag-5'>分布式</b>對象<b class='flag-5'>存儲</b>WDS的信托非結構化<b class='flag-5'>數據</b>整合平臺

    醫(yī)療PACS影像數據的極速分布式存儲解決方案

    醫(yī)療PACS影像數據的極速分布式存儲解決方案
    的頭像 發(fā)表于 08-23 10:13 ?146次閱讀
    醫(yī)療PACS影像<b class='flag-5'>數據</b>的極速<b class='flag-5'>分布式</b>塊<b class='flag-5'>存儲</b>解決方案

    基于分布式存儲WDS的金融信創(chuàng)云承載數據庫類關鍵應用

    基于分布式存儲WDS的金融信創(chuàng)云承載數據庫類關鍵應用
    的頭像 發(fā)表于 08-16 09:42 ?139次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>WDS的金融信創(chuàng)云承載<b class='flag-5'>數據</b>庫類關鍵應用

    鴻蒙開發(fā)接口數據管理:【@ohos.data.distributedData (分布式數據管理)】

    分布式數據管理為應用程序提供不同設備間數據庫的分布式協同能力。通過調用分布式數據各個接口,應用程
    的頭像 發(fā)表于 06-07 09:30 ?721次閱讀
    鴻蒙開發(fā)接口<b class='flag-5'>數據</b>管理:【@ohos.data.distributedData (<b class='flag-5'>分布式</b><b class='flag-5'>數據</b>管理)】

    HarmonyOS開發(fā)實例:【分布式數據服務】

    分布式數據服務(Distributed Data Service,DDS)為應用程序提供不同設備間數據分布式的能力。
    的頭像 發(fā)表于 04-18 10:18 ?557次閱讀
    HarmonyOS開發(fā)實例:【<b class='flag-5'>分布式</b><b class='flag-5'>數據</b>服務】

    數據時代的存儲革命:理解分布式存儲系統

    管理的效率極低。因此,分布式存儲系統應運而生。 分布式存儲就是將數據存儲在眾多的服務器或網絡節(jié)點
    的頭像 發(fā)表于 03-07 15:40 ?323次閱讀

    分布式存儲與計算:大數據時代的解決方案

    分布式存儲和計算技術應運而生,并迅速成為處理大數據的首選方案。本文將深入探討分布式存儲和計算的概念、優(yōu)勢及其在各個領域的應用情況。 1.
    的頭像 發(fā)表于 03-07 14:42 ?568次閱讀

    【Vsan數據恢復】Vsan分布式存儲虛擬磁盤文件丟失的數據恢復案例

    一套vsan分布式存儲架構有數臺服務器節(jié)點,vsan分布式存儲架構配置了固態(tài)硬盤和機械硬盤,固態(tài)硬盤作為緩存盤使用,機械硬盤作為容量盤使用
    的頭像 發(fā)表于 01-03 16:39 ?498次閱讀

    鴻蒙原生應用開發(fā)——分布式數據對象

    變更時,其他數據對象會檢測到這一變更,同時將自身屬性更新。此時, sessionId 下的所有數據對象屬性相同,這樣的數據對象稱之為分布式
    發(fā)表于 12-08 10:01

    分布式系統硬件資源池原理和接入實踐

    的使用習慣;手機導航接續(xù)到車機后,車機的 GPS 信號可以共享給手機,結合手機 GPS 信號提供更高精度的定位數據;可以看到,在智慧出行場景中,可以通過分布式硬件資源池結合手機和車機的優(yōu)勢硬件,為用戶
    發(fā)表于 12-06 10:02

    zookeeper分布式原理

    Zookeeper是一個開源的分布式協調服務,可以用于構建高可用、高性能的分布式系統。它提供了一個簡單且高效的層次命名空間,可以用來存儲配置信息、狀態(tài)信息、命名服務等。Zookeeper的設計目標
    的頭像 發(fā)表于 12-03 16:33 ?519次閱讀

    分布式數據恢復-hbase+hive分布式存儲誤刪除文件的數據恢復方案

    倉庫。 hbase+hive分布式存儲故障&初檢: 數據庫文件被誤刪除,數據庫無法使用。 通過現場對
    的頭像 發(fā)表于 11-24 15:55 ?332次閱讀

    分布式文件系統的設計原理是什么?

    什么是分布式文件系統?分布式文件系統(DFS)是一種計算機文件系統,使用戶能夠從多個分布式位置存儲和訪問數據。它是在
    的頭像 發(fā)表于 10-17 17:35 ?680次閱讀

    高效管理海量數據!憶聯 SSD 為分布式存儲提供極致性能

    近年來,為滿足大規(guī)模的存儲應用需求,分布式存儲成為云環(huán)境下存儲底座構建的重要選擇,相較于傳統集中式存儲方案的可靠性、安全性以及
    的頭像 發(fā)表于 10-13 15:55 ?513次閱讀
    高效管理<b class='flag-5'>海量</b><b class='flag-5'>數據</b>!憶聯 SSD 為<b class='flag-5'>分布式</b>塊<b class='flag-5'>存儲</b>提供極致性能