一、云存儲是一種提供大規模的數據存儲和分布式計算的業務應用架構體系
云存儲即通過基于云的數據存儲部署模式,應用分布式的計算方法,將網絡中大量各種不同類型的數據存儲設備通過應用軟件集合起來,有效合理地進行資源和數據的統一計算和數據處理。而終端用戶通過遠程或類似虛擬接入桌面的軟件應用和程序接口方式集中訪問云存儲的數據資源和業務系統,從而實現大規模數據存儲和接入環境下高效快速的資源分析和數據處理。其核心技術在于云計算技術的應用,單臺存儲設備無論在容量上還是性能上都會遭遇到瓶頸,利用分布式的網絡系統,使得龐大的數據存儲設備和軟硬件服務資源可以通過網絡的方式協同工作和計算,圍繞云存儲數據存儲和管理的核心應用,提供數據資源和業務系統的應用服務。
云存儲的關鍵業務是如何面對海量數據的存儲和管理。其中虛擬化和存儲池技術擺脫了傳統設備形態的容量利用、擴展和管理,簡化存儲以及容量的應用方式,存儲設備都能夠通過標準的、虛擬化的接入方式即可完成容量擴展,從而實現低成本的容量接入。對使用者而言,使用虛擬化桌面等方式接入就能完成數據的訪問和管理,各種形態存儲設備組成的巨大存儲容量在用戶端看來僅僅是單一的一個存儲池。
二、存儲與視頻監控技術的發展存在密不可分的聯系
到目前為止,安防行業歷經多個視頻存儲階段的發展過程,監控系統的模擬化、數字化、網絡化三個階段都分別出現了不同形態的監控數據存儲 系 統。 從 早 先 的 VCR 到 D VR、混 合 D VR, 到 N VR 和 SAN 存 儲 網絡,尤其是在現階段,大規模高清和網絡化視頻監控系統的部署,要求呈現更高品質的視頻圖像以及精準的智
能數據分析和挖掘。在監控視頻上,從原先的“看得見”到現在的“看得清、看得遠、看明白”,從人工的圖像監控和數據分析到使用智能分析技術轉向智能化的實時視頻分析和智能監控,通過對海量視頻監控數據的計算和處理,已經能夠實現高清視頻畫質的細節分析,智能挖掘出類似特征和行為的數據,為事件決策和業務分析提供精準的數據依據。
由于越來越多的監控應用趨向視頻圖像的高清顯示、 海量的數據存儲、多元信息融合、信息智能挖掘、大規模數據的智能分析及決策、云計算等多種先進技術,尤其在平安城市、智慧城市以及跨地域的大規模行業應用當中,對于這些行業中海量高清視頻數據存儲系統的需求,意味著數據存儲能力和計算性能的大幅度提升,要求存儲產品具備高性能、高容量、高可靠性以及可擴展性,同時實現與監控系統應用的深度結合,滿足視頻監控系統視頻數據管理的特殊業務應用。
在大規模的高清視頻監控系統應用中,首先是滿足海量高清的視頻數據存儲,高清視頻數據如 720P、1080P、5M P、8M P 等 高 分 辨 率I PC 的接入,大路數并發大碼流的實時數據讀寫,對存儲的性能也是很大挑戰,在海量高清部署的環境下,充分考慮到整體方案中存儲性能的影響,需要云存儲具備高容量以及可伸縮的容量擴展能力,單臺存儲設備通過 JBO D 方式或集群方式,使用SAS 接口、eSATA 接口等單機容量擴展技術,級聯或外接擴展柜的方式提升單機系統容量,也可以通過虛擬化和存儲池技術,把多臺形態各異的存儲設備虛擬化成單臺大容量的虛擬存儲設備。
其次, 在大規模高清存儲部署中,提高磁盤利用效率,降低磁盤空間消耗,通過數據壓縮技術、磁盤碎片整理技術、TH I N 數據精簡技術、磁盤壞道避讓技術等,在海量數據存儲的環境中,降低磁盤故障率,減少磁盤容量空間的浪費,從而可以有效縮減后期維護成本。
另外,從整個高清視頻監控解決方案上來看,云存儲體系并不是存儲設備的簡單堆積。云存儲作為視頻數據存儲和管理的中心節點,與整體解決方案融合,優化視頻數據管理,所有高清視頻數據的存儲節點都可以作為應用系統的互備節點和管理節點,在海量部署的監控系統中,無疑提高了整個解決方案系統抗災難能力,保證了系統穩定性和可靠性。
三、在核心技術的應用上,云存儲加速安防高清化、智能化、網絡化發展趨勢
云存儲必須以其高效能的海量數據存儲和容量管理為核心應用,與安防應用系統融合,其主要核心技術包括虛擬化技術、數據安全存儲和保護技術,智能分布式視頻數據篩選、分析和計算等技術。
虛擬化技術就是把眾多存儲設備虛擬化成單一的便于管理的邏輯設備形態,物理磁盤分割成虛擬磁盤,將虛擬磁盤深化采用細粒度管理和虛擬磁盤操作技術,從而獲得更高更靈活的管理效率、性能和容量空間 ,通過虛擬化磁盤分配技術,提高磁盤利用率。
存儲虛擬化技術很好地解決了當前各種形態設備的存儲容量的統一管理和磁盤容量的動態分割,實現存儲設備和存儲空間的靈活、智能、自動化管理,云存儲中的存儲設備數量龐大且基于網絡的異地分布。現在的存儲設備類型非常豐富,包括傳統的存儲介質、存儲設備如 I PSAN、FCSAN、NAS、FCI P 等, 不 同 類型和形態設備之間的容量管理、設備管理,對于龐大的存儲云來講都是一個巨大的挑戰,所有的存儲資源都必須得到有效的管理和利用。采用虛擬化和存儲池技術,可以把不同類型的存儲設備虛擬化成為存儲網絡上的一個節點,在邏輯結構上消除異構形態設備的差異,把容量匯聚成一個巨大的虛擬存儲池,并可以更容易地進行邏輯容量分割, 大幅度提升存儲效率,從而能夠輕易解決未來數據增長和存儲擴容以及龐大數據存儲節點的管理。
基于云存儲的數據安全和保護技術。云存儲作為海量數據的數據存儲中心,存儲資源通過云的方式整合到大存儲系統中,更應關注高清視頻本身的管理能力,必須具備安全可靠的數據保護機制,允許合法的授權用戶進行訪問對應的資源,保證任何設備故障或者災難性的事件都不會導致數據的丟失。云存儲中不同的數據存儲節點之間互為數據備份和數據恢復機制,實現設備級、設備間和存儲容量的冗余備份,現在的數據保護技術在資源管理上有 CDN 內容分發技術、數據加密保護技術和數據壓縮技術,在存儲備份和恢復上有 P2P、V2P物理機和虛擬機間的近線數據互備、基于 CDP 本地及遠程的連續數據復制技術、 重復數據刪除技術、 快照技術、N+m 設備級的冗余技術等,應用多硬件架構消除設備內部的單點部件故障,通過數據安全和保護技術提升云存儲的數據存儲可靠性和安全性。
智能數據篩選和分析技術也是云存儲高效容量管理的發展趨勢。如何使用分布式的存儲節點實現海量數據高效的篩選包括對大規模高清視頻的分類、搜索、預覽、調度、智能分析處理等,能夠快速且靈活地調出預期的高清視頻數據,對分片視頻數據進行分析和處理,并且重要的關鍵數據長期保存,非關鍵數據可選擇性的降低保存時間,毫無疑問,采用智能分析技術即可實現對視頻數據的智能化分析,提升高清視頻數據的管理和處理能力,利用內置或者獨立的軟件管理平臺,從設備資源(包括性能、存儲容量、設備部件)、視頻和圖像資源的一體化管理和監管,實現智能、可視化、自動資源調度等全方位管理。通過該技術實現事件的自動分析、預警、計算和處理,兼顧了視頻分析的精準度、磁盤管理效率、視頻數據搜索以及數據安全,為人為決策輸出高度精準的數據分析依據。
四、云存儲技術推動高清監控行業的產業化進程
隨著安防視頻監控系統網絡化和高清化的變化,尤其是平安城市、基于物聯網的智慧城市的建設以及各個行業應用的深度挖掘,海量級的城市規模和跨地域的監控系統對存儲的容量、擴展性、穩定性、可靠性、管理型都出現更強烈的需求。云存儲通過云計算、虛擬化等關鍵技術能夠實現海量級的規模效應和彈性擴展,降低運營成本,避免資源浪費。
在存儲的容量管理上,更高容量的存儲設備可以滿足數據快速增長,而PB 級的數據存儲產品組成的虛擬化存儲池,可以組成超大規模的數據存儲空間,應對海量級的視頻數據存儲。
海量的視頻數據推動了圖形圖像檢索、智能分析技術的發展,單純靠人工的方式去實現海量數據的監管,無疑是一件高成本低回報的投入,因此,云存儲的海量視頻數據需要一種具有快速檢索視頻數據,通過對海量數據的分析和計算,按照期望的預定策略和計算原則,能夠利用智能分析算法進行視頻數據的分析。同樣,智能分析技術也可以跟其他技術相融合,與物聯網、報警系統、自動化等應用系統協同工作,為各種不同應用系統的決策處理提供必要的基礎數據和決策依據。
五、云存儲技術在公安行業的應用
總體功能(如圖 1 所示):
◆ 市級監控中心,本身不存實時產生的錄像,監控中心可以通過系統調取各派出所錄像。
◆ 市級中心存儲的錄像,都是有價值的,用于重要案件偵破的錄像,需要永久保存。
◆ 市級中心,當需要為案件調取各派出所錄像時,將通過云系統下發命令給各派出所,各派出所系統收到命令后,運用云監控統一調度功能,在各自的錄像庫里搜索市級中心需要的錄像,并提取后上傳給市級中心。中心獲取各派出所錄像后,運用云系統的計算能力,將不同地方、不同時間段、含有相同特征的錄像片段進行剪輯加工,形成有效的錄像剪輯提供給實戰部門進行分析。
◆ 派出所的云系統,通過元數據服務器的調度,實現負載均衡和 N +0設備備份,提高了系統性能和可靠性。通過網絡,派出所存儲設備與市級中心可以有效通信,接受任務和調度。
為實現整體的功能,將根據公司現有情況,進行如下建議,分步實現監控云系統。
快速實現小型化云監控存儲系統, 在 N VR6000、EVS、ESS、D SS7016D 等 設 備 上 實 現 N +0 部署,實現派出所級別的云監控系統,統一進行攝像機的錄像管理,實現統一的大虛擬存儲池。組成虛擬存儲池各節點設備具備負載均衡、故障轉移與接管、數據冗余備份的功能,保證派出所級別的監控室錄像數據安全性與穩定可靠性,抵御錄像設備故障導致的數據丟失,并形成靈活的擴容方案,增加前端攝像機以及后端存儲容量,系統平滑擴容,無需復雜的冗余配置即可完成,給客戶帶來很好的用戶體驗。
方案特點(如圖 2 所示):
◆ 錄 像 安 全 性。 設 備 冗 余,N +0 冗余配置,允許一定數量存儲設備故障錄像不丟失。
◆ 設備虛擬化管理。由元數據服務器進行統一調度,形成虛擬存儲池,實現負載均衡,統一接口。
◆ 系統擴容簡單方便。不管是擴容前端攝像機還是后端存儲,均不用對整個系統進行重新配置,平滑添加
設備后,系統進行自動擴容,提高系統可用性和安全性。該方案核心技術在于存儲設備的冗余備份和負載均衡,所以重點研究的對象是設備虛擬化、統一文件系統、集群等關鍵技術。該方案突出的是前端視頻直存、無服務器,所以公司比較適合的產品 是 N V R 6 0 0 0 、EV S、ESS、D SS7016D 等基礎性視頻接入的硬件設備,需快速地在這些產品上實現虛擬化云存儲功能。
快速實現軟件的集群和云部署
對于監控中心一級,在軟件平臺的部署以及與智能分析、實戰業務的結合等,都以云系統技術體現,完全采用平臺 +I PSAN 的方式,以該系統作為整個監控方案的核心,部署在監控中心,可以和實戰業務有效結合,突出錄像查詢的全方位覆蓋(所轄派出所的錄像均能調取)、錄像查詢的有效性(通過智能處理,實現關鍵特征錄像的快速查詢和匯總)、視頻智能分析功能(利用云計算特征,快速利用各服務器資源,提取特征錄像片段、對錄像片段進行后期處理,實現濃縮、剪輯),真正的實現系統與實戰的對接,給使用者帶來前所未有的用戶體驗(如圖 3 所示)。
系統的構建基于服務器,實現云監控。從現有技術上,基礎設備硬件無需另行開發,因為都是通用的服務器,公司只需研發云技術,并把平臺軟件、智能分析軟件部署在云架構上,實現虛擬化、分布式、網格計算,充分利用云技術,提升系統處理能力、提升系統穩定性;整合小型云系統、智能交通技術,實現監控云布控;最后,把各系統進行整合和對接,加入智能交通的對接,實現全市的治安監控和道路監控的聯合,形成無懈可擊的安防監控網絡。
進一步發展,通過云監控平臺,智能交通可以根據實時路況、歷史路況進行分析,形成有證據支持、有指導意義的交通誘導、交通規劃整體方案,提升城市管理水平。該系統不光把公安治安工作的技防技術提升,也為城市交通的規劃、管理等難題提供有效幫助。
可以預見,作為智慧城市的重要組成部分,我們有理由相信,云監控的發展將成為安防視頻監控存儲技術發展的一次浪潮。
六、云存儲技術仍需要不
斷改進和優化,以滿足視頻存儲的技術需求云存儲大解決方案下的視頻監控存儲設備的兼容性問題。當前視頻監控數據存儲有基于不同類型產品的解決方案,例如 N VR 支持前端基于視頻流協議的視頻直存產品,具有本地化的數據存儲性能,因此,如何將N VR 和 I PS 在視頻存儲和管理上,通過一種簡化的部署模式,實現視頻數據的分布式和集中式存儲的同步機制,消除異構設備之間的差異性就十分關鍵。
云存儲的數據和管理安全。云存儲很好解決了存儲容量和擴展的問題,然而,海量數據采用一種基于云端的大管理體系,所有的數據都在單一的管理平面,意味著數據面臨來自內部和外部的風險。一旦出現非法入侵和破壞行為,會對整個云存儲體系產生災難性的破壞,因此,云存儲的部署必須充分考慮來自內部和外部的可能會影響到數據安全的行為,在數據遭受破壞和災難之前,做好預防措施。
云存儲在與視頻監控技術結合上,還需要進一步提升。由于云存儲面臨的海量視頻數據,而真正有效能的關鍵數據非常稀少,因此急需通過容量管理、視頻分析等技術實現關鍵視頻數據的管理,提高容量利用率,以及關鍵視頻數據的高可靠性保護。
另外, 云存儲的設備是不同形態、不同性能的設備,無論是在設備的可靠性和穩定都會存在差異,云存儲部署應充分考慮到設備差異對數據存儲會有的影響,對異構設備進行合理管理和資源分配,使得海量部署環境下圖3的云存儲設備能夠為業務系統提供高效的數據協同計算和管理工作。
七、未來,云存儲應用空間將加大
視頻監控技術不僅僅作為監控的技術手段,同樣也是很多企業業務流程實現自動化監管的一種手段,可以降低企業的運營成本,因此安防監控未來不僅僅是安全監控的一部分,更是社會活動和生活服務的一部分,智慧城市、智慧醫療、智慧校園、智慧家居、物聯網絡等的完善和成熟將結合安防監控技術,通過智能感知、檢測、自動化跟蹤、事件預警和決策支撐等技術提供非常便捷和的生活方式。這也意味著不久的將來,龐大的用于提供社會服務的城市級甚至跨城域的數據中心亟需建設。
同時,安防運營服務也會是未來安防行業和領域的重要組成部分。安防行業的業務模式發生改變,專業的安防運營服務業成為當前正在興起的一種服務模式,包括專業的監控中心、防護中心、智能分析服務平臺以及服務云。安防運營朝向服務模式的變化,通過云的安防監控服務模式,無論是行業、企業還是個人都可以根據自身需要定制相關的專業安防運營服務,例如家庭,可以定制家庭看護、老人和孩子看護服務,商店可以定制安全監控,企業可以定制流程監管等服務。
可以預見,隨著越來越多基于海量數據的高清視頻監控業務應用依托云存儲架構解決方案,云存儲在安防領域未來的市場應用將更加寬廣。
評論
查看更多