您是否曾經(jīng)為了查找一個(gè)測(cè)試文件,用軟件一個(gè)個(gè)打開(kāi)數(shù)據(jù)文件查看信號(hào)?
您是否曾經(jīng)面對(duì)動(dòng)輒幾百GB的測(cè)試數(shù)據(jù),電腦卻總是報(bào)警磁盤(pán)空間不足?
您是否曾經(jīng)想要將一批特定數(shù)據(jù)快速分享給同事,不得不準(zhǔn)備移動(dòng)硬盤(pán)?
您是否曾經(jīng)想要將視頻文件或者其他格式文件和某一天測(cè)試數(shù)據(jù)關(guān)聯(lián),而不得不手動(dòng)記錄?
今天為大家介紹如何使用Vector工具對(duì)海量數(shù)據(jù)進(jìn)行高效管理和分析。
1
Part.1
什么是vMDM
vMDM(Vector Measurement Data Management)是端到端數(shù)據(jù)分析和管理的解決方案:
安全高效地對(duì)海量數(shù)據(jù)進(jìn)行集中化管理;
根據(jù)用戶(hù)自定義的篩選條件在大數(shù)據(jù)中快速地提取特定數(shù)據(jù);
不占用本地計(jì)算機(jī)資源進(jìn)行復(fù)雜的計(jì)算和分析,實(shí)現(xiàn)自動(dòng)化報(bào)告生成;
工程師可以根據(jù)授權(quán)級(jí)別來(lái)訪(fǎng)問(wèn)指定測(cè)試數(shù)據(jù),可以安全地與團(tuán)隊(duì)成員進(jìn)行數(shù)據(jù)分享,并且支持線(xiàn)上數(shù)據(jù)和線(xiàn)下分析軟件交互式分析;
良好的可擴(kuò)展性,支持分布式計(jì)算。
vMDM以ASAM MDF4作為存儲(chǔ)格式。MDF格式已作為汽車(chē)測(cè)量標(biāo)定的實(shí)際行業(yè)標(biāo)準(zhǔn)被廣泛使用,主流工具軟件均支持該格式。
2
Part.2
如何上傳數(shù)據(jù)
vMDM提供多種方式來(lái)上傳數(shù)據(jù),用戶(hù)可以手動(dòng)或者利用腳本(批處理、PowerShell等)實(shí)現(xiàn)自動(dòng)化上傳。
場(chǎng)景一:從試驗(yàn)車(chē)或臺(tái)架上采集的數(shù)據(jù)存儲(chǔ)到本地電腦指定目錄中,通過(guò)腳本不斷掃描目錄并自動(dòng)上傳數(shù)據(jù)至vMDM服務(wù)器;
場(chǎng)景二:使用支持無(wú)線(xiàn)傳輸功能的數(shù)據(jù)記錄儀將數(shù)據(jù)直接上傳至vMDM服務(wù)器。
vMDM同時(shí)支持存儲(chǔ)附件文件,比如視頻文件、DBC文件、照片等和測(cè)量數(shù)據(jù)進(jìn)行關(guān)聯(lián),統(tǒng)一由vMDM進(jìn)行管理。
測(cè)量數(shù)據(jù)根據(jù)用戶(hù)需求存入到指定的一個(gè)或多個(gè)集合中(Collection),集合可以近似理解為文件夾,用戶(hù)可根據(jù)具體需求創(chuàng)建集合來(lái)進(jìn)行數(shù)據(jù)分類(lèi),例如根據(jù)測(cè)試項(xiàng)目、用戶(hù)、部門(mén)等。
3
Part.3
如何訪(fǎng)問(wèn)數(shù)據(jù)
vMDM利用Elasticsearch高性能檢索功能,實(shí)現(xiàn)基于元數(shù)據(jù)的全文檢索。用戶(hù)可以在vSignalyzer/CANape客戶(hù)端,直接通過(guò)圖行用戶(hù)窗口自定義篩選規(guī)則,實(shí)現(xiàn)數(shù)據(jù)分類(lèi)和瀏覽操作。例如用戶(hù)需要在數(shù)十萬(wàn)的數(shù)據(jù)文件中,找到所有前驅(qū)和四驅(qū)車(chē),并滿(mǎn)足EU5和EU6標(biāo)準(zhǔn)的測(cè)試數(shù)據(jù),vMDM會(huì)在一兩秒內(nèi)將滿(mǎn)足篩選條件的數(shù)據(jù)反饋給用戶(hù),同時(shí)這個(gè)篩選的規(guī)則可以直接分享給其他用戶(hù),實(shí)現(xiàn)團(tuán)隊(duì)協(xié)作分析。
在用戶(hù)有授權(quán)的情況下,通過(guò)簡(jiǎn)單地拖動(dòng)、框選操作就能將數(shù)據(jù)從服務(wù)器直接緩存到本地進(jìn)行分析。同時(shí)vMDM支持將MDF數(shù)據(jù)格式轉(zhuǎn)成ASCII、Excel和MATLAB數(shù)據(jù)格式以滿(mǎn)足用戶(hù)其他分析需求。
4
Part.4
如何分析數(shù)據(jù)
vSignalyzer/CANape提供類(lèi)C的腳本語(yǔ)言CASL(Calculation And Scripting Language)用以編寫(xiě)分析腳本,并上傳至服務(wù)器運(yùn)行,同時(shí)支持加載Simulink、C++的動(dòng)態(tài)鏈接庫(kù)。
場(chǎng)景一:自動(dòng)分析前一天采集的數(shù)據(jù)文件,得到可視化分析報(bào)告,推送到郵箱;
場(chǎng)景二:自動(dòng)推送統(tǒng)計(jì)性報(bào)告,比如耐久測(cè)試中用戶(hù)可以通過(guò)電子郵件迅速了解到車(chē)隊(duì)的路試進(jìn)展,行駛了多少里程或者某特定車(chē)輛進(jìn)行了多少次檔位切換等信息。
5
Part.5
支持交互式分析
利用vSignalyzer/CANape軟件,用戶(hù)除了直接瀏覽數(shù)據(jù)之外,也可以利用自定義篩選規(guī)則從服務(wù)器上抓取數(shù)據(jù)在本地計(jì)算機(jī)上進(jìn)行分析。
6
Part.6
產(chǎn)品變體
vMDM Cloud
Vector直接為用戶(hù)提供SaaS服務(wù),用戶(hù)不需要關(guān)心硬件資源、系統(tǒng)安裝維護(hù)等問(wèn)題,安裝vSignalyzer/CANape option vMDM軟件后就可以直接使用。
vMDM Enterprise
企業(yè)若對(duì)數(shù)據(jù)安全和帶寬限制等有顧慮,可以選擇在公司內(nèi)部服務(wù)器上安裝和使用vMDM系統(tǒng)。
vMDM Local
數(shù)據(jù)進(jìn)行管理和分析,僅限于個(gè)人電腦上使用。
7
Part.7
應(yīng)用案例
場(chǎng)景一:
用戶(hù)通過(guò)測(cè)量數(shù)據(jù)文件來(lái)監(jiān)控關(guān)鍵傳感器信號(hào)的有效性,反饋傳感器信號(hào)是否出現(xiàn)缺失、漂移等異常狀態(tài)。
場(chǎng)景二:
用戶(hù)將分布在各個(gè)國(guó)家地區(qū)的測(cè)試臺(tái)架上獲取的二進(jìn)制文件轉(zhuǎn)為MDF格式的數(shù)據(jù)文件,并上傳到vMDM服務(wù)器,高效地實(shí)現(xiàn)數(shù)據(jù)異地共享及分析。
場(chǎng)景三:
車(chē)隊(duì)在各個(gè)國(guó)家地區(qū)進(jìn)行耐久性測(cè)試,測(cè)試員將采集的數(shù)據(jù)和測(cè)試數(shù)據(jù)相關(guān)的視頻、音頻文件以及數(shù)據(jù)描述信息(比如測(cè)試天氣、測(cè)試車(chē)輛排放等)上傳到vMDM。vMDM定時(shí)將統(tǒng)計(jì)性和功能驗(yàn)證性報(bào)告推送到工程師,使工程師迅速地掌握耐久測(cè)試進(jìn)展和測(cè)試數(shù)據(jù)質(zhì)量。
8
Part.8
總結(jié)
vMDM為用戶(hù)提供了一套標(biāo)準(zhǔn)化的數(shù)據(jù)管理和分析流程,能高效地對(duì)海量數(shù)據(jù)進(jìn)行管理、分類(lèi)和評(píng)估,進(jìn)行復(fù)雜地分析計(jì)算,最終為用戶(hù)提供有技術(shù)洞察價(jià)值的報(bào)告。
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
6909瀏覽量
88850 -
服務(wù)器
+關(guān)注
關(guān)注
12文章
9029瀏覽量
85207 -
Vector
+關(guān)注
關(guān)注
3文章
57瀏覽量
8562
原文標(biāo)題:vMDM——專(zhuān)業(yè)數(shù)據(jù)管理平臺(tái)
文章出處:【微信號(hào):VectorChina,微信公眾號(hào):Vector維克多】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論