我們每時每刻無不在產生數據:據 IDC 發布《數據時代 2025》的報告顯示,全球每年產生的數據將從 2018 年的 33ZB 增長到 2025 年的 175ZB,平均每天約產生 491EB 的數據。其中,中國數據圈以 48.6ZB 成為最大的數據圈,占全球 27.8%。
傳統的存儲方式早已無法適用爆發式增長的數據,如何存儲更快、效率更高處理數據對企業來說至關重要。數據洪流時代,云存儲應運而生。
與傳統的存儲設備相比,云存儲不僅僅是一個硬件,更是集網絡、存儲、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分為一體的復雜系統。從嚴格意義上講,云存儲不是存儲,而是服務。
如今,云存儲成為存儲發展的重要技術趨勢,云計算和云存儲技術將會掀起創新技術革命。與傳統存儲相比,云存儲如何“破圈”,其發展現狀是如何?在商業應用上遇到了哪些瓶頸?企業應該如何選擇云服務商?
為更清晰地了解云存儲技術,CSDN(ID:CSDNnews)專訪南京鵬云網絡科技有限公司(下文簡稱“鵬云網絡”)創始人兼CEO陳靚博士,為我們深度解析關于云存儲發展趨勢、云存儲技術等話題。
云存儲技術的尷與尬
談及國內云存儲普遍的實現方式,陳靚介紹道,當下國內云存儲產品普遍存在對開源產品的依賴,通過對其研究分析、重新包裝、界面設計,從而形成自己的產品。主要有三種方式:
一是對國外的開源產品進行架構分析,再重新實現;二是在目前的架構基礎上,對開源產品做局部優化;三是對國外的開源產品進行包裝,再疊加其它的開源產品。
為何會是如此?
陳靚表示,一方面,企業級分布式存儲的商業實現需要研發人員具有資深的開發經驗,且產品需要經歷較為長久的研發周期。同時,由于分布式存儲落地實施難度大,短時間內很難產生商業效益。這令很多公司期望可以采用現有的開源技術,盡快實現市場占有。這種研發方式的大致相同局面,也導致了市場上客戶在選創新選擇上的缺乏自主性。
鵬云網絡從創立伊始堅持自主創新的路徑,即從架構到代碼實現均采用自主研發創新:擁有國內最早從事大規模分布式存儲研發的團隊,鵬云網絡早在2012年推出自研的分布式軟件定義存儲(SDS,Software-Defined-Storage)產品ZettaStor,可讓用戶構建大規模、高彈性、高可用、高可靠的存儲資源池,滿足用戶對海量數據存儲需求。
云存儲商業應用的三大瓶頸
陳靚談到,用戶在不同的發展階段,表現出了對分布式存儲不同的重點訴求。
例如,客戶發展早期業務量尚不具規模,關心的重點是存儲系統的穩定運行,這是早期SDS技術發展注重的實現能力。隨著大數據時代的到來,電信運營商、金融等行業,受業務流量呈爆發態勢的影響,存儲的可擴展性、容量等問題凸顯,尤其是一些行業的發展需要超大規模數據中心支持。此時,傳統存儲架構及一些開源產品在擴展性、容量支持方面顯現出瓶頸,例如擴展只能支持 PB規模的數據擴展。此時,海量數據存儲就變成了企業的剛性需求。
如何破解這些瓶頸?
針對客戶當下在應用云存儲在系統穩定性、系統擴展性、性能方面的要求,陳靚分享了鵬云網絡解決方案:
1、系統穩定性:架構創新降低業務IO波動影響
目前,開源的分布式產品主要依靠分布式哈希算法來管理數據分布。在這種架構情況下,如果底層硬件發生了變化,數據管理需要依賴算法重構,此時勢必會導致大量的數據做沒有必要的遷移,使真正的業務IO在進入系統時受到阻礙,整個業務系統可能變得不穩定。
鵬云網絡從架構上做了創新突破:
從架構層面,依靠元數據來實現數據分布管理,元數據記錄用戶數據存儲的位置,同時通過分布式的方式來管理元數據節點,確保元數據節點系統的穩定性。
在架構之外,如何在硬件出錯的情況下,通過軟件確保系統不崩掉、上面的業務不出現影響。在實現代碼時,鵬云網絡會把80%的精力放在錯誤路徑上的處理。采用智能容錯技術來確保運維成本的有效降低,故障恢復無需駐場人員,從而實現智能運維。
2、系統擴展性:單一集群可做上萬節點
分布式存儲依賴監控節點確定存儲節點的健康狀態,輔助存儲節點形成穩定集群。但市場上的分布式存儲實現情況是,很多產品只依賴若干個監控節點,相對于存儲節點數量來說就監控節點是一個小集群。為此市場上談分布式,就有了小集群對大集群監控的概念,這勢必成為一個瓶頸。
陳靚表示,這并非是純粹的分布式架構,其系統可擴展性方面勢必受到不少牽制。為此,鵬云網絡的產品實現了將監控節點分布到所有存儲節點上。同時采用打造起分布式SDS系統來實現上萬存儲節點打造為單一存儲資源池的擴展能力,幫助用戶有效應對5G、遠程醫療、視頻監控、物聯網等新技術助推海量存儲需求。
3、性能:采用數據日志關系管理降低數據訪問延遲
傳統陣列系統業務訪問后端存儲路徑大致是:網絡Fabric+控制器+RAID卡+磁盤。換成SDS分布式存儲以后,IO路徑變長了:應用數據發給系統空間,系統空間需寫若干份副本提交到多個節點緩存,節點緩存flush下盤,依據下盤響應成功應答訪問需求。
SDS這個問題嚴重性,導致SDS向下沉企業核心應用空間成為核心障礙,為此進一步成熟的SDS技術正在需求這一突破。鵬云網絡通過自研技術確保業務連續的多副本和糾刪碼技術,依靠數據日志的關系管理手段確保數據訪問延遲進一步降低。
如何選擇云存儲廠商?
現實中的應用場景種類繁多,不同行業如何選擇合適的云存儲技術路線?
陳靚認為,隨著SDS技術的愈發成熟和在契合場景應用方面產品化的豐富,用戶可以有更多選擇。
第一,從企業規模來看,對于中小型企業的應用,用戶期望快速上云但并不具備較強的IT技術和實施能力,會傾向于選擇計算、存儲、網絡已經融合部署的超融合產品。但對于醫療、運營商、金融等行業,這些相對具有規模的行業,會傾向于選擇分離部署。
第二,從承載業務方面看,當需要存儲產品承載較關鍵的業務時,更需要關注應用本身的大小、IO量、業務量、對系統的穩定性要求等。
使用云存儲通常是大多數公司處理海量數據的不二選擇。面對市場上推出的各種云存儲產品,企業應該如何篩選出適合自己的云服務商,在這個過程中有哪些點是企業可以自己把握的?
陳靚認為,企業的云服務選擇關系著企業的業務模式、發展理念以及實際的應用場景,企業在選擇云服務商時不要盲目跟風追捧:
1 、企業可以更多接觸不同廠商的思想和理念,和廠商多做交流。
2、在有條件的情況下,選擇合適的測試方案,對乙方的產品進行全方面的測試。
因此,在選型時,企業應多請一些不同的廠商分享,在前期多做技術交流、POC測試,尋找適合的測試方案,體現產品在應用環境下真正的需求特點。
云存儲的 未來
隨著新基建和5G大潮的來臨,傳統的存儲方式完全不能滿足客戶的需求,行業客戶已到了不得不用分布式存儲或云存儲的方式去存儲數據的地步。對此,陳靚堅信,未來幾年,國內的云存儲將會是一個巨大的市場,整個行業和市場將會迎來爆發性的增長。
其次, 用戶對存儲產品的要求會越來越高。用戶在快速地成長,云存儲的使用經驗上也比之前豐富。“他們被練成了一雙火眼金睛,能夠看到目前市場上很多分布式存儲本身存在的問題?!?/p>
陳靚認為,隨著市場規模的擴大,企業的業務架構的變化、豐富,對系統穩定、性能較高、擴展性強的存儲產品的需求會越來越多。企業也不會僅僅停留在單純的通過提升硬件的方式,或簡單的POC方式去選擇一個產品,他們在選擇層面上也變得越來越豐富。
最后,除了對存儲產品本身特性的要求外,用戶會對存儲產品及其應用層面的支持有較大的需求。比如在處理大數據時,他們會要求它的可拓展性、穩定性、架構的搭建等等。
陳靚介紹到,接下來鵬云網絡將從這兩個方向深耕:
1、鵬云網絡產品的定位是打造服務客戶數字化轉型的分布式存儲產品,產品會繼續走以激發客戶數據價值為中心的創新路線,并會進一步深化在ZettaStor在關鍵業務場景里的落地應用。
2、在海量數據管理上,會下沉到更多細分業務場景。例如,提供一些便捷處理上層業務的接口,讓上層應用方便地處理這些數據。
評論
查看更多