精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

物聯網解決方案選擇數據庫平臺的四個步驟

h1654155282.3538 ? 來源:首席架構師智庫 ? 作者:首席架構師智庫 ? 2020-11-29 10:08 ? 次閱讀

物聯網解決方案選擇正確的數據庫平臺是一項艱巨的任務。首先,物聯網解決方案可以跨地理區域分布。與集中式的基于云的解決方案相反,更多的解決方案正在采用邊緣霧計算和云計算的組合。因此,您的數據庫平臺必須為您提供在邊緣處理數據以及在邊緣服務器和云之間進行同步的靈活性。

其次,根據您的物聯網使用情況,您需要的數據庫功能可能包括實時數據流、數據過濾和聚合、接近零延遲的讀取操作、即時分析、高可用性、地理分布、模式靈活性等等。本文介紹了為物聯網解決方案選擇正確的數據庫平臺的四個步驟:

步驟1 確定解決方案的數據需求

物聯網解決方案依賴于從聯網設備中收集和處理數據,做出智能決策,如觸發通知或動作,計算實時分析,從歷史數據中收集模式,等等。

為了便于討論,在通用的物聯網解決方案中,可以在整個企業中安裝傳感器和執行器。成千上萬的傳感器和執行器與一臺edge服務器相連。物聯網解決方案不斷從所有傳感器收集數據,做出實時決策來控制傳感器和執行器,向系統監視器發出異常活動警報,并為最終用戶提供分析的歷史視圖。

在決定使用哪些服務和與之配套的數據庫之前,有必要清楚地了解如何使用數據以及在何處使用數據。一些問題可以幫助理解和優先考慮你的數據需求:

哪些數據處理和決策被委托給邊緣服務器?

云解決方案是部署在一個地區,還是分散在多個地區?

從設備到邊緣服務器和從邊緣服務器到中央服務器傳輸的數據量是多少?估計的峰值容量是多少?

物聯網解決方案是否控制設備或致動器?如果是,它們需要實時響應嗎?

從歷史數據中獲得的業務洞察力是什么?

步驟2 將解決方案分解為獨立的軟件服務

在此步驟中,您將設計執行獨立的特定任務的軟件服務或組件。

當將前面描述的樣例物聯網解決方案分解為獨立的服務時,可以得到圖2所示的設計。物聯網解決方案本身是地理分布的,其中一些組件部署在邊緣網絡,其余組件在一個集中位置。

現在讓我們將架構分解為服務,并分析它們的職責和數據需求:

數據攝取

目的:收集和存儲設備日志和消息。

數據庫需求:支持高速寫操作,因為數據可能以突發的方式到達,確保數據在不尋常的情況下不會丟失。

邊緣分析

用途:對輸入數據執行數據轉換、分類、聚合、過濾和功能。它負責在邊緣進行實時決策。

數據庫需求:支持高速讀寫與亞毫秒延遲;提供工具和命令來對數據執行復雜的分析計算。

設備管理器

用途:向設備傳遞信息

數據庫需求:以最小的延遲訪問和向設備發送消息。

系統分析

目的:從邊緣服務器收集數據,執行數據轉換和分析操作。

數據庫需求:提供對數據執行分析計算的命令,并根據分析引擎的需要長時間存儲數據。

C&C (命令和控制)儀表板

目的:提供物聯網生態系統當前狀態的可視化表示。

數據庫需求:保持數據的當前和準確,讀取數據的延遲小于毫秒。

商業智能

用途:從歷史數據運行報告、查詢和推斷。

數據庫需求:長時間存儲數據,節約成本;提供查詢和分析數據的工具。

物聯網數據流出口

用途:將數據規范化為一種通用格式,并將其推送給訂閱服務器。

數據庫需求:高效執行數據轉換操作的能力;支持發布和訂閱功能。

步驟3:根據數據需求對服務進行分組,并選擇正確的數據庫

下一步是根據每個服務的數據選擇正確的數據庫。圖3將我們的物聯網示例中的服務連接到圖中,根據數據在數據庫中停留的時間和服務所需的數據讀/寫速度對它們進行分類。

您將看到數據不斷進出數據攝取服務器,在數據庫中停留的時間非常短。同時,數據的到達量大,速度快。因此,我們需要一個具有低延遲的高速數據庫來保存用于攝入服務的數據。另一方面,商業智能服務依賴于歷史數據。

下一步是對具有類似數據訪問特征的服務進行分組,目標是限制數據庫的數量(多余的數據庫和不符合您需求的數據庫),從而減少操作開銷。

在圖4中,我們將示例服務分組到兩個主數據庫中—一個熱數據庫和一個冷數據庫。保存熱數據的數據庫部署在靠近物聯網設備的位置,以最小化網絡延遲。熱數據和冷數據的數據庫選擇是:

熱數據庫:由于RAM的成本越來越便宜,內存中的數據庫通常是一個不錯的選擇。內存中的數據庫以最小的延遲交付數據讀寫能力。當選擇一個熱數據庫時,這些額外的功能和能力將幫助您縮小選擇范圍:

數據格式的靈活性——幫助您支持廣泛的設備和通信格式

查詢功能——使您能夠實時運行高效的查詢

消息傳遞和排隊——驅動通信和數據交換

分層內存模型-提供一個經濟有效的內存模型,但高性能

高可用性和災難恢復-幫助您保持業務的所有時間

地理分布-服務地理分布的物聯網部署

二進制安全-幫助您保存二進制數據

冷數據庫:物聯網解決方案的歷史數據可能增長到多個tb,在某些情況下可能超過一個pb。存儲歷史數據的流行選擇包括在普通硬件上存儲解決方案。查詢通常遵循map-reduce模式。通常,歷史數據也會在搜索引擎中建立索引,用于模式匹配和數據聚合。如果您要將數據存儲在云中,請與您的云服務提供商聯系,在您所在的地區,哪種數據存儲方案最劃算。

第四步:評估成本、資源效率

將數據庫分為熱數據庫和冷數據庫有助于縮小數據庫選擇范圍。對于大多數物聯網用例,一個高速數據庫可以滿足熱數據庫的所有需求。對于冷數據庫,選項可能從關系數據庫到數據湖。設計人員經常犯的一個錯誤是為每個服務創建具有專門數據庫的多語言體系結構。這增加了應用程序堆棧的復雜性以及操作開銷和成本。

擁有一個數據庫的總成本是許多參數的函數。數據庫本身的成本只是成本的一小部分。以下是一些費用:

數據庫許可證成本:該成本可能與cpu數量、集群中的碎片數量、數據庫大小、吞吐量(每秒最大操作數量)、時間(年、月、小時等)、高可用性和恢復特性、云的多個區域的可用性等有關。如果您使用的數據庫可以作為開放源碼軟件使用,根據許可證的類型,數據庫成本甚至可能為零。

基礎設施成本:基礎設施成本取決于數據庫的資源效率。例如,一個輕量級、線程安全的數據庫可能只使用兩個商用服務器每秒執行100萬次讀/寫操作,而傳統數據庫可能需要更多的服務器才能得到相同的結果。除了數據庫效率,硬件成本還取決于吞吐量、cpu數量、RAM、數據大小、閃存、網卡等。用于高可用性的數據庫體系結構也發揮了作用。例如,基于仲裁的故障轉移架構將只需要一個備用服務器副本,但非基于仲裁的架構將需要兩個數據副本,以避免分裂大腦。

數據丟失成本:為數據丟失提供適當的保險是極其重要的,特別是對于商用物聯網解決方案。您丟失數據的總成本為:虧損的業務數據丟失的概率*恢復數據的成本

您可以使用數據庫供應商提供的適當SLA來抵消部分成本。

操作開銷:自動化是成功的咒語。如果數據庫提供控制來自動化部署、配置、故障轉移、擴展、數據分區、備份和恢復、監視和警報等操作,那么將有助于高效地操作。

結論

當為下一代物聯網解決方案選擇正確的數據庫時,很容易迷失在現有的大量數據庫中。但是,如果將解決方案分解為組件服務并理解它們的數據庫需求,就可以有效地縮小數據庫選擇范圍。大多數物聯網解決方案都依賴于熱數據庫進行實時數據收集、處理、消息傳遞、分析,而冷數據庫用于存儲歷史數據和收集商業智能。這將使架構簡單、精簡和健壯。

最后需要說明的是,Redis實驗室贊助的開源內存數據庫Redis是物聯網解決方案的熱門數據庫。它被物聯網解決方案廣泛用于數據攝取、實時分析、消息傳遞、緩存和許多其他用例。
責任編輯人:CC

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 物聯網
    +關注

    關注

    2903

    文章

    44284

    瀏覽量

    371309
  • 數據庫
    +關注

    關注

    7

    文章

    3766

    瀏覽量

    64277
  • 物聯網平臺
    +關注

    關注

    7

    文章

    98

    瀏覽量

    20713
收藏 人收藏

    評論

    相關推薦

    數據中臺是什么意思?AI+IOT聯網中臺平臺解決方案

    數據中臺是什么意思?AI+IOT聯網中臺平臺解決方案
    的頭像 發表于 11-25 10:37 ?101次閱讀
    <b class='flag-5'>物</b>聯<b class='flag-5'>數據</b>中臺是什么意思?AI+IOT<b class='flag-5'>物</b><b class='flag-5'>聯網</b>中臺<b class='flag-5'>平臺</b><b class='flag-5'>解決方案</b>

    聯網學習路線來啦!

    按下面的步驟,獨立完成一到兩實戰項目,鞏固學習效果,同時,也是積累自己的項目經驗。 1)選擇實踐項目 根據自己的興趣和目標,選擇適合的
    發表于 11-11 16:03

    數據庫數據恢復—通過拼接數據庫碎片恢復SQLserver數據庫

    運行在存儲上的SQLServer數據庫,有1000多個文件,大小幾十TB。數據庫每10天生成一NDF文件,每個NDF幾百GB大小。數據庫
    的頭像 發表于 10-31 13:21 ?141次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—通過拼接<b class='flag-5'>數據庫</b>碎片恢復SQLserver<b class='flag-5'>數據庫</b>

    數據庫數據恢復—SQL Server數據庫出現823錯誤的數據恢復案例

    SQL Server數據庫故障: SQL Server附加數據庫出現錯誤823,附加數據庫失敗。數據庫沒有備份,無法通過備份恢復數據庫
    的頭像 發表于 09-20 11:46 ?288次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>出現823錯誤的<b class='flag-5'>數據</b>恢復案例

    什么是聯網技術?

    管理系統等。應用層根據用戶的需求,將處理后的信息以直觀的形式呈現給用戶,并實現相應的控制和管理功能。 綜上所述,感知層獲取數據,網絡層傳輸數據平臺層處理數據,應用層使用
    發表于 08-19 14:08

    智慧供暖聯網平臺解決方案

    不良影響。因此,尋求一種高效、節能且環保的供暖方案迫在眉睫。 解決方案 對此,數之能提供智慧供暖聯網平臺
    的頭像 發表于 08-12 13:37 ?328次閱讀
    智慧供暖<b class='flag-5'>物</b><b class='flag-5'>聯網</b><b class='flag-5'>平臺</b><b class='flag-5'>解決方案</b>

    恒訊科技分析:sql數據庫怎么用?

    SQL數據庫的使用通常包括以下幾個基本步驟: 1、選擇數據庫系統: 選擇適合您需求的SQL數據庫
    的頭像 發表于 07-15 14:40 ?318次閱讀

    iot聯網平臺是什么?

    監控、自動報警、遠程控制、遠程診斷、遠程維護等功能。 IOT聯網平臺聯網解決方案的關鍵組成
    的頭像 發表于 04-01 10:19 ?2791次閱讀

    選擇 KV 數據庫最重要的是什么?

    經常有客戶提到 KV 數據庫,但卻偏偏“不要 Redis”。比如有做安全威脅分析平臺的客戶,他們明確表示自己對可靠性要求非常高,需要的不是開源 Redis 這種內存緩存,而是 KV
    的頭像 發表于 03-28 22:11 ?674次閱讀
    <b class='flag-5'>選擇</b> KV <b class='flag-5'>數據庫</b>最重要的是什么?

    labview與sql數據庫連接5種方法

    數據庫的技術,可以通過調用ADO.NET提供的函數來連接和操作數據庫。在LabVIEW中,可以使用ADO.NET連接SQL數據庫。具體步驟如下: 在LabVIEW中創建一
    的頭像 發表于 01-07 16:01 ?4595次閱讀

    mysql怎么新建一個數據庫

    mysql怎么新建一個數據庫 如何新建一個數據庫在MySQL中 創建一個數據庫是MySQL中的基本操作之一。下面將詳細介紹在MySQL中如何新建一個數據庫。 在MySQL中創建
    的頭像 發表于 12-28 10:01 ?853次閱讀

    eclipse怎么連接數據庫mysql

    MySQL官方網站下載JDBC驅動程序(通常是一JAR文件)。確保選擇與你安裝的MySQL數據庫版本相匹配的驅動程序。 創建Eclipse項目:打開
    的頭像 發表于 12-06 11:06 ?1222次閱讀

    tcmsp數據庫怎么用

    TCMSP數據庫是一用于中藥化學研究的在線數據庫,提供了大量的中藥化學信息和藥理學信息。它的使用對于中藥化學研究人員來說非常重要,可以幫助他們快速獲取和分析中藥化學信息,加快中藥研究的進展。本文將
    的頭像 發表于 12-06 10:11 ?4162次閱讀

    oracle數據庫的使用方法

    Oracle數據庫是一種關系型數據庫管理系統,它由Oracle公司開發和維護。它提供了安全、可靠和高性能的數據庫管理解決方案,被廣泛應用于企業級應用和大型
    的頭像 發表于 12-06 10:10 ?1180次閱讀

    四個問題幫你確定是否需要采用有源電纜(AEC)解決方案

    四個問題幫你確定是否需要采用有源電纜(AEC)解決方案
    的頭像 發表于 12-05 14:38 ?984次閱讀
    <b class='flag-5'>四個</b>問題幫你確定是否需要采用有源電纜(AEC)<b class='flag-5'>解決方案</b>