方案組網圖
云存儲基本功能齊全
集群管理功能:使用三臺服務器,部署管理服務器集群,通過唯一虛擬IP訪問云存儲管理頁面,登錄管理界面,查看云存儲的運行狀態等基本信息。驗證了管理服務器集群部署成功,可以支持統一命名空間并以唯一虛擬IP對外提供業務服務。
視頻、圖片和文件功能:驗證了視頻、圖片和文件能夠通過視頻流直存方式成功寫入云存儲,并能對寫入文件進行下載,沒有經過平臺流媒體服務器轉發。
智能斷網補錄功能:前端IPC、DVR和NVR本地錄像正常,拔掉IPC、DVR和NVR網線2分鐘后插回,查看錄像缺失和錄像補回的完整。驗證了智能斷網補錄功能。
歷史流補錄功能:前端IPC的SD卡中有歷史記錄,將配置的歷史流補錄計劃到云存儲中去,查看云存儲中已將歷史錄像寫入云存儲中,且回放正常。驗證了系統能支持歷史流補錄。
錄像回放功能:登錄管理平臺客戶端,任意查詢一段錄像,進行了(任意時間,2、4、8倍速,倒序,I幀連續,指定定位時間等)回放。驗證了系統能夠對云存儲中錄像進行精準、倍速、倒序、I幀及定位回放。
智能負載均衡功能:最大接入數減少的設備的實際接入數也減少,設備故障后,錄像點位也自動均衡到其他設備上。驗證了云存儲能夠根據設備硬件的差異,及性能、容量、IO、網絡等,進行智能負載均衡。
循環覆蓋功能:周期為1天的資源池,在第2天觸發周期覆蓋,前一天的視頻、圖片和文件被覆蓋,無法查詢和提取前一天的視頻、圖片和文件數據;觸發容量覆蓋后,之前視頻、圖片和文件均被覆蓋,資源池可用空間增加,新的錄像、圖片和文件能持續寫入。驗證了云存儲能夠支持周期和容量覆蓋。
硬盤及設備在線擴展功能:新增硬盤后,云存儲集群總空間增加;新增設備后,集群容量增加,集群能夠自動負載均衡,新設備上有業務寫入,能夠在線新增硬盤及設備。
多云間互聯管理功能:在互聯中心上添加了兩朵云,能夠查看兩朵云的信息;A云故障后,A云上的計劃全部切換到B云上執行,查詢錄像正常;A云恢復后,B云上的A云計劃自動切回A云,支持多云間互聯管理。
運維管理功能:云存儲運維能夠監控云存儲的所有硬軟件的運行情況;觸發異常后,運維系統可通過多種方式對運維信息報警和統計。
可靠性測試表現優秀
磁盤漫游功能:在任意設備間磁盤對調,云存儲集群空間不變;通過平臺查看錄像不丟失。驗證了系統支持磁盤漫游,云內磁盤任意插換,對數據無影響。
硬盤故障測試:云內資源池數據冗余類型為4+2,在任意兩臺設備中拔出一塊硬盤,不影響錄像業務。將原盤插回,秒級恢復;新盤插入后會觸發重構,高速重構恢復。驗證了系統支持多盤故障,讀寫業務也不中斷,歷史錄像不丟失;原盤插入后,秒級恢復;新盤插入后,高速重構恢復。
存儲節點故障測試:云內資源池數據冗余類型為4+2,拔掉任意兩臺設備的網線,錄像業務不受影響。原設備恢復,數據立即恢復,不觸發重構。設備不恢復,觸發重構,統計重構耗時。驗證了系統支持多存儲節點故障時錄像和回放功能正常。
EC類型在線修改:資源池EC類型由4+1修改成4+2后,云存儲可故障節點數增大到2臺。資源池EC類型由4+2修改成5+1后,云存儲可用空間增大。在以上操作過程中,錄像業務不受影響。驗證了系統支持在線修改EC類型。
降級讀寫功能:將多臺存儲節點下線只留一臺,歷史錄像能夠回放但畫面有跳幀,新寫入錄像能夠正常回放。驗證了系統節點故障數量超過上限時,系統能夠進行文件讀寫。
高可用性功能:元數據服務器任意一臺故障(拔掉網線),錄像能夠正常讀寫,歷史錄像不丟失。元數據服務器兩臺故障(拔掉網線),錄像只能寫,查詢回放受影響,歷史錄像不丟失。元數據服務器全部故障(拔掉網線),錄像只能寫,查詢回放受影響,歷史錄像不丟失。所有的元數據服務器恢復后,錄像查詢回放下載正常,歷史錄像不丟失。驗證了系統支持元數據服務器部分和所有故障時,云存儲錄像數據不丟失。
性能優越
視頻下載性能:使用客戶端工具下載任意一個前端錄像,錄像文件下載成功,下載速度不低于80MB/S。下載5GB文件,耗時62S,平均速度為82MB/S。
圖片下載性能:通過客戶端工具下載圖片,圖片下載成功。云存儲下載10000張300K大小圖片,耗時14S,平均714張/S。
視頻云存儲系統海康威視針對大容量視頻數據的存儲和管理以及滿足視頻監控領域的應用需求,結合對象存儲技術、分布式EC技術等設計了這套云存儲系統。該系統采用軟硬件一體化設計,通過將云存儲技術與安防行業智能應用、大數據技術深度融合,提供了專業、靈活、智能、可靠的云存儲服務。
這套云存儲系統可以同時應用于接入視頻、圖片、文件的混合流直接存儲,承擔整個系統內的視頻/圖片的數據寫入/讀取工作。系統一方面采用了基于云架構的分布式集群設計和虛擬化設計,在系統內部實現了多設備協同工作、性能和資源的虛擬整合,最大限度利用了硬件資源和存儲空間。另一方面,通過將存儲功能、管理功能進行打包,通過開放透明的應用接口和簡單易用的管理界面,與上層應用平臺整合后,為整個安防監控系統提供了高效、可靠的數據存儲服務。
視頻云存儲系統應用架構圖
海康威視視頻云存儲的存儲系統由存儲管理服務器(存儲管理節點CVMN)、存儲設備(存儲節點CVSN)構成。在硬件架構中根據節點功能需要來集成視頻云存儲軟件模塊功能,主要包括視頻云存儲應用軟件模塊和對象存儲軟件模塊等。
視頻云存儲管理節點:CVMN(Cloud Video Manage Node)(亦稱元數據服務器)其主要功能包括視頻云存儲系統內資源管理、存儲節點管理、集群管理、策略調度、運維監控等。
管理節點集群部署模式適用于較大型的視頻云存儲系統,可以進行三臺或三臺以上配備。集群部署的優勢在于通過視頻云存儲管理節點內部集群功能來協調各節點設備資源,將用戶配置、數據庫信息、策略計劃進行統一調度,整體性能呈現線性增長。同時也增加了系統的可靠性,多臺設備的故障不會影響到系統的運行。
視頻云存儲存儲節點:CVSN(Cloud Video Storage Node)(即存儲設備)是一套具有容量提供、數據讀寫、業務應用集成為一體的專有化存儲設備。主要是響應視頻云存儲管理節點(CVMN)和應用層的錄像、查詢、下載等操作申請,以及管理物理存儲設備和空間。
視頻云存儲節點模塊具有以下功能:負責根據接收云存儲管理節點下發的錄像計劃,并根據錄像計劃向對應的前端攝像頭進行取流操作。負責將接收到的錄像數據寫入到存儲底層或從存儲底層讀取數據,通過協議接口主要向上層提供錄像、查詢、回放及下載服務。提供存儲設備的狀態檢測和信息上報功能。
存儲底層由流式文件系統對硬件資源進行整合,同時使用分布式EC技術來保證數據安全,并對業務功能提供容量空間完成數據存儲。
系統特點
系統拓展設計
1系統橫向擴展海康的這套云存儲系統支持在線橫向擴展,在線業務持續運行的情況下,可以動態增加或縮小云存儲系統的容量,不影響現有業務運行。云存儲系統正常運行下可在線動態增加刪除節存儲點,存儲節點的容量可根據需要劃分入現有資源池或獨立創建資源采集,對業務層僅表現為存儲容量的增加和刪除。
增加新的存儲節點時,配置好節點的網絡地址,即可加入系統工作,實現一鍵擴展,快速部署。系統能統一管理不同型號,不同存儲盤位的數據節點。系統具有線性擴展的特性,容量增加時,整體的讀寫性能也同步增加。同時,系統容量和每個Bucket容量的擴展可快速生效,數據自動遷移保持容量利用均衡。
2數據高速恢復海康的這套云存儲系統采用ErasureCode算法N+M可靠性機制,在系統規模設計時將條帶中的塊數據分散到不同設備中存儲,因此系統中若干硬盤或者設備故障都只會損失部分塊數據。
由于系統運用的糾刪碼算法所需要的塊數據分散在不同設備、不同硬盤中,因此啟動數據恢復算法時可利用多臺設備性能,極快速恢復出故障硬盤或設備中的數據,保障用戶數據的不丟失,讀取業務不中斷,降低硬件故障、網絡異常等給系統造成的數據丟失風險,提供可高可靠的數據保障機制。目前云存儲系統最大支持N+4級別數據保障。
3數據智能重構海康視頻云存儲系統采用分布式EC算法,在數據恢復和重構的速度方面相比傳統RAID技術有了大幅的提升。高效的數據恢復速度在安防數據存儲業務中為數據的快速訪問和不間斷訪問提供了有利的支持。
同時海康威視視頻云存儲系統結合安防行業特點,深入理解安防行業數據應用場景,結合Erasure Code數據重構速度快的特點,針對安防數據的重要程度實現可分級重構。即可定義數據優先級,在出現大范圍設備損壞時,保障高級別數據優先重構,從而更加快捷、智能的保障用戶數據應用的實時性。
海康威視推出的這套專業的云存儲系統非常適合安防行業應用,能為安防監控平臺“減負”,能精簡、優化安防的存儲架構,有較強、較好的用戶體驗。
社方觀點
大量的高清視頻監控產生了巨大的視頻數據流,傳統安防數據從采集、傳送、存儲到處理的整個過程中,存儲和處理大約占據了80%以上的服務器資源。海康威視針對大容量視頻數據的存儲和管理以及滿足安防視頻監控領域的應用需求,設計了一套專業級的海量數據云存儲系統。
01
系統采用高可靠性、高穩定性的集群部署模式,可實現單臺或多臺節點故障切換和實時動態負載均衡控制,提升資源利用率,降低設備的壓力,單/多節點故障時數據不會丟失,數據的采集、傳輸、存儲和處理過程中的安全性高。支持統一命名空間,以唯一的業務虛擬IP地址對外提供服務,簡化了用戶訪問和應用流程。
02
系統采用了流媒體直存技術,具有視頻、圖片、文件三類數據流的存儲、預覽、檢索、壓縮、回放、下載、備份、補錄等使用功能齊全,前端接入協議標準、開放,平臺兼容性強,操作使用便捷,界面友好。實現海量數據的快速檢索,真真做到億條數據秒級檢索。
03
系統具有高擴展性、自動化運維、節省成本三大優勢。可以無限擴展存儲容量,能自動對云存儲系統內數量龐大的軟、硬件全方位監控,自動收集軟、硬件運行數據,為用戶提供機群實時體檢、故障在線告警、實時故障排查、運維數據統計分析報表等等服務。使用云存儲后,用戶不必擔心設備升級、數據遷移、設備維護等,可節省大量費用。
04
海康的云存儲服務非常適合公安、交通、司法、政府、金融、辦公園區、文教等視頻、圖片等數據流大的行業使用。同時海康威視在視頻云存儲、數據結構化、處理智能化相結合的產品上還在加大研發投入,研發出更適合各種大、中、小用戶即插即用的、軟硬件結合的云存儲產品。并在進一步降低用戶使用成本,正確把握各種用戶需求,追求更好的用戶體驗上做好領頭羊。
方案特色
01
該方案是海康威視為適應安防大數據EB級增長的海量存儲需求,采用軟硬件一體化設計,通過將云存儲技術與安防行業的智能應用、大數據技術進行深度融合,面向用戶提供的專業、靈活、智能、安全、可靠的云存儲服務。
02
方案在前端支持視頻、圖片、文件的統一混合存儲,視頻、圖片采用流媒體直存技術。在存儲端支持24、36、48等多種盤位存儲設備,支持元數據服務器集群部署模式。支持符合標準協議(GB28281/ONVIF/PSIA/RTSP/SIP流媒體協議)的第三方設備接入,并提供開放、標準的接入協議。支持用戶采用SDK、HTTP、兼容亞馬遜S3協議等方式與海康七大行業平臺對接,提供云存儲服務。
03
方案采用獨有的具有自主知識產權的流式數據結構存儲技術,消除文件系統的瓶頸,滿足視頻大數據的持續寫入,可大幅提升存儲效率。設備采用集群化運行技術,激活了存儲的潛能,全面提升了動態負載均衡能力。數據采用分布式存儲技術,可并發提取,實現了數據的高速下載。系統以集群方式對外提供唯一的IP接口作為訪問地址來實現存儲+應用。是以應用視角來優化存儲的專業安防云存儲系統。
04
方案在信息傳輸安全上采用了寫入權限認證、通信協議加密等技術,在數據存儲安全上采用了EC糾刪碼的網絡RAID等技術。能實現節點間數據冗余保護,支持多種N+M冗余容錯機制,系統能容忍多臺設備、多塊硬盤同時損壞而數據不丟失,系統無單點故障,多接點故障時系統自動切換接管,業務不中斷,保障數據完整、安全、穩定、可靠。
05
方案采用獨立的運維平臺來對視頻云存儲硬件、軟件和系統三大模塊中的系統壓力、使用空間、硬件節點、監控點位等中的各種信息進行統一采集、報表統計和運維管理。對系統設備和資源服務狀態實時查看,對多云實行統一設備和訪問控制權限管理。當云存儲系統的軟硬件運行異常時,運維系統經過統計分析后可通過多種方式觸發報警,并以顯示,短信、語音、郵件等方式發送告警信息,方便實時監控云存儲的運行。大大降低了運維人員對視頻云存儲系統的維護難度。并支持與標準的SNMP協議對接。
-
安防監控
+關注
關注
5文章
263瀏覽量
32802 -
存儲系統
+關注
關注
2文章
405瀏覽量
40842 -
云存儲
+關注
關注
7文章
732瀏覽量
46001
原文標題:海康威視視頻云存儲系統應用方案
文章出處:【微信號:asmag001,微信公眾號:安全自動化】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論