資料介紹
大規模網絡環境和大數據相關技術的發展對傳統數據融合分析技術提出了新的挑戰。針對目前多源數據融合分析過程靈活性差,處理效率低的問題,提出了一種基于相似連接的多源數據并行預處理方法,該方法采用了分治和并行的思想。首先,通過對多源數據中的相似語義進行統一,對個性語義進行保留的預處理方法提高了靈活性;其次,提出了一種改進的并行MapReduce框架,提高了相似連接的效率。實驗結果表明,所提方法在保證數據完整性的基礎上,使總的數據量減小了32%.與傳統的MapReduce框架相比,改進后的框架在耗費時間方面減小了43. 91%,因此該方法可以有效提高多源數據融合分析的效率.
多源數據的預處理過程是網絡環境進行安全分析的重要環節,根據實際的應用采取相應的具體措施山。一般性地,包括數據清理、數據格式轉換、數椐簡約等過程。其中數據清洗作為一個重要的環節,通過按照一定規則篩選數據,去除數據中的冗余部分。好的數據清洗方法不僅能夠降低系統處理數據所需的時間,并且能夠提高數據分析結果的準確度。為了對數據源進行靈活的數據清洗,盡量保留數據源的個性屬性,本文采用基于相似連接的數據清洗方法。相似連接在相似對象匹配問題中得到廣泛應用,如互聯網、數據分析、數據庫等,匹配對象也日益多樣,如串、圖、字符串和集合等。為了適應各種各樣的場景和對象,相似連接相關算法也得到了優化和改進。無論是基于單行串行數據還是集合數據,或是基于樹結構還是圖結構,優化和改進的方案主要以提高效率和靈活性或伸縮性為主。為了解決單行申行的相似連接候選集過多的問題,等提出了一種基于劃分的傳遞性的相似連接,該方法在相似匹配過程中利用傳遞性沒有使用全部子串,從而減少了匹配的候選集數目,提升了匹配的效率。為了提升算法的靈活性與伸縮性,Wang等提出了種快速相似連接算法,該算法既考慮到了相似的準確度,又考慮到了相似連接屬性的模糊度,可以進行靈活的篩選;然而隨著大數據與云計算等的出現,由于數據量的龐大導致算法效率低,這也是相似連接算法面臨的難題之一。
- 基于多傳感器數據融合的GPS欺騙檢測方法 22次下載
- 基于多源數據結構融合的輪式車輛運動測試 9次下載
- 基于動態加權和卡爾曼濾波的多源雷達信息加權融合方法 7次下載
- 基于特征融合學習的三角網格顯著區域檢測方法 17次下載
- 基于雙殘差超密集網絡的多模態醫學圖像融合方法 19次下載
- 結合多尺度邊緣保持分解與PCNN的圖像融合方法 16次下載
- 使用相似連接進行多源數據并行預處理的方法概述 12次下載
- 圖像融合的新思想和方法資料說明 5次下載
- 基于電力大數據的參數融合 8次下載
- 開關電容變換器在能量收集電路中提供了性能和靈活性 12次下載
- 利用 Arduino 的處理器靈活性獲得更廣泛的評估能力 6次下載
- 通過視覺和運動的緊密集成,提高準確度和靈活性 0次下載
- 水下目標運動分析(TMA)的數據融合方法 24次下載
- 基于小波變換的多源圖像數據融合與邊緣檢測方法
- 多傳感器數據融合中的數據預處理技術
- GaussDB數據庫存儲過程介紹 1054次閱讀
- 集成組件為超聲系統設計提供了靈活性 810次閱讀
- 數字電源排序設計選擇如何影響設計過程后期的靈活性 758次閱讀
- 一種可重構的硬件處理器方法 795次閱讀
- 基于嵌入式微控制器與FPGA通過配置的效率和靈活性 2201次閱讀
- 淺談差分處理和信號分析 1967次閱讀
- 多傳感器信息融合技術的設計方法解析 1899次閱讀
- 無濾波器D類放大器為工程師在設計便攜產品時提供了更大的靈活性 1450次閱讀
- 多傳感器信息融合技術是什么有什么功能作用 1.6w次閱讀
- 以嵌入式DSP模塊和FPGA構架為基礎的提高無線信號處理性能的子系統設計 795次閱讀
- LoRa終端通信設計中應該考慮的協議靈活性 2400次閱讀
- 如何借助物聯網讓制造工廠提高生產力靈活性和質量的概述 5963次閱讀
- 流體數據體系結構解決數據的靈活性變化 1220次閱讀
- 基于多傳感器數據融合的漏磁信號采集與處理 5415次閱讀
- 深度解析多傳感器信息融合技術 4069次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費下載
- 0.00 MB | 1490次下載 | 免費
- 2單片機典型實例介紹
- 18.19 MB | 92次下載 | 1 積分
- 3S7-200PLC編程實例詳細資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費
- 6基于AT89C2051/4051單片機編程器的實驗
- 0.11 MB | 4次下載 | 免費
- 7藍牙設備在嵌入式領域的廣泛應用
- 0.63 MB | 3次下載 | 免費
- 89天練會電子電路識圖
- 5.91 MB | 3次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費
- 4LabView 8.0 專業版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費
- 5555集成電路應用800例(新編版)
- 0.00 MB | 33562次下載 | 免費
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費
- 8開關電源設計實例指南
- 未知 | 21539次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費
- 2protel99se軟件下載(可英文版轉中文版)
- 78.1 MB | 537791次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233045次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191183次下載 | 免費
- 7十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183277次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138039次下載 | 免費
評論
查看更多