精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

海量數據的高效管理

lhl545545 ? 來源:ssdfans ? 作者:ssdfans ? 2020-06-14 09:53 ? 次閱讀

新型基礎設施是以新發展理念為引領,以技術創新為驅動,以信息網絡為基礎,面向高質量發展需要,提供數字轉型、智能升級、融合創新等服務的基礎設施體系。

——國家發改委創新和高新技術發展司司長 伍浩

新基建涵蓋了眾多的數字化基礎設施:云計算人工智能工業互聯網、5G物聯網、數據中心、智能計算中心等信息基礎設施,以智能交通、智慧能源為代表的融合基礎設施。可以看出,新基建技術中最核心的資產便是數據。物聯網讓采集的數據種類和數量越來越多,5G讓數據傳輸的速率越來越快,云計算在不斷地對數據進行計算處理,AI在不斷地挖掘數據的價值,這些技術連接的關鍵紐帶便是存儲。在新基建推動的當下,存儲可以說是推動產業向高端化發展的剛需。

根據國際咨詢機構IDC的預測,到2025年智能終端數量將達到400億個,全球數據總量也將從2020年的44ZB躍升到180ZB,其中30%屬于實時數據,75%來自邊緣和終端,而這些數據中,將會有80%的數據是非結構化數據。

數據不僅總量巨大,增長速度也十分驚人。舉個例子,一個大型三甲醫院每天生成數TB數據;一個智能質檢的生產線每天生成數百TB數據;一座智慧城市每天產生的數據量更是高達數百PB。基于此,IT技術人員不得不重新考慮存儲的效率以及架構問題,“新基建”需要以數據為核心的“新存儲”。

1新存儲特質之一:海量數據的可持續高效存儲

面對如此龐大的數據存儲量以及可預見性的數據增長量,新的存儲架構必須要考慮的第一個點就是如何以更高擴展性、更高吞吐/低時延以及更高性價比實現容量管理。首先要有高擴展性,滿足因為業務量、數據精細度提升導致的數據量增加的隨時擴容需求;其次要有高吞吐/低時延,保障在海量數據、海量小文件場景下,數據可以快速地讀取和調用;當然用戶也很看重整體方案的性價比。

數據存儲到公有云是一種可選解決方案,租用公有云廠商的存儲空間節省自建存儲的硬件采購成本,根據數據存儲量采購相應存儲空間。不過,數據調用的成本也在隨著數據量的增加而增加,數據使用成本甚至超過了原有的硬件采購成本,比如美國國家航天局(NASA)也不得不因為每個月上百萬美元的數據訪問費用,而開始考慮將數據從亞馬遜云平臺遷回自建數據中心。

以分布式技術為核心架構的新存儲,擺脫了傳統存儲數據共享困難、擴容受控制器性能限制等問題,通過將軟件部署于通用服務器,用去中心化架構支持彈性擴展和高并發訪問,消除了容量和性能的約束,實現更優秀的存儲能力,可以輕松支撐EB級存儲規模;千萬級IOPS和TB級聚合帶寬能夠滿足高并發訪問需求,加之部署簡單、靈活擴展的特點,為當下日益增長的海量數據提供極致容量、極致性能、極致可靠和極致性價比的存儲系統底層支撐。

2新存儲特質之二:海量數據的高效管理

僅解決了數據存儲的問題,對于新基建的需求來說遠遠不夠,還要進一步解決存儲數據的管理問題。

數據就像我們人一樣,也有著它的生命周期,從產生到消亡,有很多個階段。舉個例子:一個病人去醫院就診拍攝X光片,剛產生的結果數據我們稱之為熱數據,這類數據對于數據的讀寫效率和即時性有很高的要求。就診結束之后的一至兩年內,病人會進行復診,診斷數據不需要實時讀取但也需要能夠快速獲得,這類數據稱之為溫數據;病人康復后,根據醫療行業就診數據需要至少保存20年的要求,就診數據可以保存到成本相對較低的存儲介質中,待有需要時再調取,這類數據我們稱之為冷數據。因此,新基建所需的新存儲系統需要具備數據生命周期管理的能力。

另外不得不提的一個數據管理場景便是邊緣計算和中心計算,云邊協同的數據管理能力對存儲系統支撐數據中心與邊緣之間的數據匯聚和分發至關重要。特別是5G的發展,工業互聯網、物聯網技術的應用,數據更多會從攝像頭、傳感器、移動設備等不同的邊緣端產生,而傳統的SAN/NAS存儲只能在局域網內訪問,無法提供云邊協同統一的數據管理能力。新存儲需要打破傳統存儲訪問協議的限制,能夠基于互聯網協議實現數據跨網絡的統一管理和訪問,從而能夠直接與數據中心之外的物聯網設備、智能終端直接交互數據,滿足當前和未來數據交互的需求。

當下應用度較高的混合云場景數據也需要進行數據管理。眾多公有云大廠都已經推出了相應的部署模式,出于安全和成本的考量,部分企業選擇將互聯網相關業務部署在公有云,同時將重要數據存放在私有云,以兼顧業務靈活和數據安全。企業私有云存儲需要和公有云存儲結合起來,實現業務無感知的數據上云、下云的融合和流動。在這樣的發展趨勢下,需要新存儲能夠提供與公有云存儲相兼容的協議,以及可跨互聯網數據傳輸的能力。將公有云存儲與私有云存儲打通,形成混合云存儲的共同底座來構建企業數據湖,這也是發展的必然。

任何技術的變革都需要一個過渡階段,新存儲的部署越來越多,傳統存儲也還會長期存在并在其生命周期中繼續發揮作用。因此,通過對異構存儲的整合實現數據統一管理,不僅有效保護客戶既有投資,也應該是新基建趨勢下對新存儲系統的要求。

3新存儲特質之三:海量數據的價值挖掘

數據最終的價值呈現一定是為應用服務的,人工智能和大數據分析技術的發展,驅動數據產生更多的應用價值。所以在數據的價值挖掘,我認為新存儲系統的終極需求必須能夠更好地利用人工智能、服務于人工智能,賦能大數據價值挖掘。

在利用人工智能方面,傳統SAN/NAS系統因為受限于訪問協議的限制,無法感知數據,只能在存儲底層利用數據訪問IO分類、使用容量統計、存儲硬件錯誤碼等信息進行統計分析,來實現存儲系統自動化運維與管理等維度,以存儲系統自身管理效率改進為目標的 “基礎智能”。

而真正的智能存儲,我認為最重要的核心價值應該是基于數據感知,能夠對數據進行加工和處理,進而賦能應用對數據的價值挖掘和價值呈現。所以新存儲系統需要能夠預集成一些通用的、面向業務場景的數據預處理功能和算法(如亞馬遜的S3 Select),然后通過與業務系統進行數據感知,充分利用存儲系統閑置的計算能力,實現某種程度上的數據處理功能卸載和垂直優化,降低業務對存儲的訪問壓力,從而大幅提升應用系統數據處理和分析效率。

另外,基于海量非結構化數據的價值挖掘分析,基本都要依賴機器學習深度學習等人工智能技術。在人工智能場景中,數據要經歷采集、清洗、訓練、推理、歸檔等過程。人工智能各個階段對存儲系統要求差異非常大,比如在采集階段,需要存儲系統支持互聯網遠程訪問協議、吞吐量要大;在數據清洗階段,需要存儲系統支持基于標簽的檢索,最好能支持視頻自動抽幀等能力;而在訓練階段,則要求存儲系統具備高并發低時延的高性能能力;最后在歸檔階段,則需要低成本的存儲系統。如果采用傳統存儲產品,一般需要不同類型存儲系統來搭配使用,以滿足成本、性能、檢索等多方面要求,但這又勢必造成數據在不同存儲系統之間的孤島。因此,新智能存儲應該具有基于標簽的數據檢索、多種訪問協議接口互通能力、滿足高性能、低延時,以及低成本歸檔能力,從而實現機器學習不同AI管道階段數據的統一存儲,避免產生數據孤島,并且提高數據在各個AI管道的流轉效率。

總而言之,新基建為中國的產業升級清晰地指明了方向,數字化基礎設施的廣泛建設以及隨之產生的新型應用需求將帶來數據爆發式的增長。海量數據蘊含著巨大的價值,存儲必將是新基建堅實的底座。更多樣化的數據模式、日益復雜的數據管理以及高效的數據利用對存儲提出了更高的要求,無論是對于傳統存儲廠商還是創新型存儲廠商,是挑戰,更是機遇。

高端微信群介紹

創業投資群

AI、IOT芯片創始人、投資人、分析師、券商

閃存群

覆蓋5000多位全球華人閃存、存儲芯片精英

云計算群

全閃存、軟件定義存儲SDS、超融合等公有云和私有云討論

AI芯片群

討論AI芯片和GPUFPGACPU異構計算

5G群

物聯網、5G芯片討論

第三代半導體氮化鎵、碳化硅等化合物半導體討論

存儲芯片群DRAM、NAND、3D XPoint等各類存儲介質和主控討論

汽車電子MCU電源、傳感器等汽車電子討論

光電器件群光通信、激光器、ToF、AR、VCSEL等光電器件討論

渠道群存儲和芯片產品報價、行情、渠道、供應鏈
責任編輯:pj

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1791

    文章

    46877

    瀏覽量

    237614
  • 存儲數據
    +關注

    關注

    0

    文章

    85

    瀏覽量

    14092
收藏 人收藏

    評論

    相關推薦

    WDS分布式存儲系統軟件助力電信工程海量數據存儲項目

    WDS分布式存儲系統軟件助力電信工程海量數據存儲項目
    的頭像 發表于 11-11 09:59 ?123次閱讀
    WDS分布式存儲系統軟件助力電信工程<b class='flag-5'>海量</b><b class='flag-5'>數據</b>存儲項目

    海量數據處理需要多少RAM內存

    海量數據處理所需的RAM(隨機存取存儲器)內存量取決于多個因素,包括數據的具體規模、處理任務的復雜性、數據管理系統的效率以及所使用軟件的優
    的頭像 發表于 11-11 09:56 ?162次閱讀

    盛顯科技:拼接處理器如何實現高效數據拼接操作?

    眾所周知,高效數據拼接操作無疑是數據處理領域的核心優勢,它能極大地縮短了處理時間,讓拼接處理器能夠迅速應對海量數據的挑戰,實現
    的頭像 發表于 10-23 10:58 ?182次閱讀
    盛顯科技:拼接處理器如何實現<b class='flag-5'>高效</b><b class='flag-5'>數據</b>拼接操作?

    數據驅動,漫途能耗管理系統打造高效節能新生態!

    在我國能源消耗結構中,工業企業所占能耗比例相對較大。為實現碳達峰、碳中和目標,工廠需強化能效管理,減少能耗與成本。高效的能耗管理系統通過數據采集與分析,能實時監控工廠能源使用及報警情況
    的頭像 發表于 10-15 11:58 ?171次閱讀
    <b class='flag-5'>數據</b>驅動,漫途能耗<b class='flag-5'>管理</b>系統打造<b class='flag-5'>高效</b>節能新生態!

    網絡安全新挑戰:高效管理國外IP節點以保障數據安全

    隨著全球化的深入發展,跨國企業在全球范圍內部署國外IP節點已成為常態,這不僅提升了業務的靈活性和可擴展性,同時也帶來了新的網絡安全挑戰。高效管理國外IP節點,確保數據安全,已成為企業不可忽視的重要任務。
    的頭像 發表于 10-10 08:17 ?220次閱讀

    云平臺在大規模設備管理數據分析中的作用

    數據高效處理、智能分析及設備的精細化管理,進而推動各行各業的智能化升級。 1. 大規模設備管理高效與靈活性 隨著物聯網(IoT)技術的蓬
    的頭像 發表于 09-19 17:22 ?215次閱讀
    云平臺在大規模設備<b class='flag-5'>管理</b>和<b class='flag-5'>數據</b>分析中的作用

    高效管理代理IP,關鍵操作步驟與技巧來了!

    高效管理代理IP是提高網絡工作效率和安全性的重要環節
    的頭像 發表于 09-14 08:08 ?191次閱讀

    數據分析在提高灌區管理水平中的作用

    數據分析在提升灌區管理水平中扮演著至關重要的角色,它通過深度挖掘海量信息,為灌溉系統的高效運作、資源優化配置及可持續發展提供了科學決策的基礎。這一過程不僅涉及
    的頭像 發表于 08-28 17:23 ?236次閱讀
    <b class='flag-5'>數據</b>分析在提高灌區<b class='flag-5'>管理</b>水平中的作用

    數據采集管理系統:開啟高效管理的新篇章

    數據采集管理系統是數字化時代的重要工具,主要通過數據來源和質量控制,實時收集、處理和分析生產過程數據,為決策提供準確、及時的信息支持。在通信、醫療、智能電網等領域都有廣泛的應用。
    的頭像 發表于 08-22 10:38 ?233次閱讀
    <b class='flag-5'>數據</b>采集<b class='flag-5'>管理</b>系統:開啟<b class='flag-5'>高效</b><b class='flag-5'>管理</b>的新篇章

    數據無界,管理有道:圖為技術T-Plant OS的數據管理之道

    在工廠全生命周期的管理中,數據作為貫穿始終的核心資產,高效且精準的數據管理,不僅能優化工廠運營流程、提升生產效率,還能激發企業內在創新潛能、強化市場競爭優勢。雖然隨著計算機性能和大容量
    的頭像 發表于 07-16 14:54 ?226次閱讀
    <b class='flag-5'>數據</b>無界,<b class='flag-5'>管理</b>有道:圖為技術T-Plant OS的<b class='flag-5'>數據管理</b>之道

    數據在部隊管理中的運用有哪些

    智慧華盛恒輝大數據在部隊管理中的運用主要體現在以下幾個方面: 決策支持: 智慧華盛恒輝部隊管理可以利用大數據技術,對海量
    的頭像 發表于 06-23 09:53 ?1009次閱讀

    分布式綜合管理平臺:智慧城市建設的得力助手

    城市提供了強有力的技術支持。 首先,訊維分布式綜合管理平臺在數據整合與處理方面表現出色。它能夠將城市各類傳感器、監控設備和應用系統產生的海量數據進行
    的頭像 發表于 03-18 16:14 ?438次閱讀

    7.4V 電池高效充電管理芯片FS4063數據手冊

    電子發燒友網站提供《7.4V 電池高效充電管理芯片FS4063數據手冊.pdf》資料免費下載
    發表于 03-18 11:20 ?2次下載

    數據技術如何為精益管理賦能?

    管理提供數據支持 精益管理強調以數據為基礎,通過數據分析和挖掘,發現企業運營中的問題和瓶頸,進而優化流程、提
    的頭像 發表于 12-19 09:58 ?586次閱讀

    PCB設計中,如何使用規則高效管理過孔

    PCB設計中,如何使用規則高效管理過孔
    的頭像 發表于 12-06 15:54 ?780次閱讀
    PCB設計中,如何使用規則<b class='flag-5'>高效</b><b class='flag-5'>管理</b>過孔