精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

你知道怎樣在Azure machine learning中使用異常檢測的方法?

8gVR_D1Net08 ? 來源:NL ? 2019-05-09 13:56 ? 次閱讀

正如Azure最新機器學習服務所顯示的那樣,機器學習已不再僅僅是關乎視覺和語音。

微軟在機器學習上押下重注的一個關鍵部分是,這些技術需要被民主化,并且能夠轉變為相對容易理解的構建塊,以便微軟的開發人員能夠快速學習并在自己的應用程序中進行使用。

這就是Azure認知服務的用武之地。這些服務不需要用戶了解ResNet50深度學習神經網絡的訓練層次,也不需要了解如何使用TensorFlow或Microsoft Cognitive Toolkit (CNTK)來構建學習平臺,而僅僅只需要使用API即可。微軟已經為這些服務訓練了神經網絡,并將繼續對它們進行優化,還將真實世界的操作用來作為未來改進的基礎。與構建和運行您自己的機器學習算法的計算和存儲成本相比,它們的使用成本則相對低廉。

Azure上的機器學習工具已迅速成為了任何想要向應用程序添加基本人工智能的人的重要資源。需要注意的是它們的使用范圍依然是有限的,其重點放在了以下三個關鍵領域:計算機視覺、文本分析和語音識別。它們都是重要的領域,但它們也只是現代機器學習的一個有限子集而已。

Azure認知服務

進入了一個新的AI領域

幸運的是,第一個探索機器學習在其他方面應用的新認知服務也在最近進入了測試階段:將異常檢測添加到了功能集中。異常檢測是一種重要的人工智能工具,用于分析在數據源正常運行特征之外的時間序列數據。這使得它成為了一個非常靈活的工具,因為現代企業擁有大量的流數據,從金融交易到軟件日志再到設備遙測。顯然,你不應低估使用一個API就可以在所有這些不同的數據源中工作的能力,因為它使構建適當的軟件變得更加容易了。

正常情況下,異常檢測需要足夠的時間來設置。您需要使用大量數據來對您的模型進行訓練,以確定什么是正常操作,什么是異常操作。這就是信用卡欺詐檢測系統是如何建立一個你的消費(以及他們所有客戶的習慣)模型,以檢測何時使用了被泄密了的卡片,并阻止任何未來的交易,將損失降到最低的。

如果要使這種類型的操作成為通用服務,就需要能夠為發送到服務的數據類型切換合適的檢測模型。這正是Azure認知服務異常檢測器所采用的方法,它能夠使用一個自適應推理引擎來選擇一個適合當前時間序列數據的檢測模型。

通過在運行時選擇算法,微軟繞過了異常檢測訓練成本中最糟糕的部分??赡芩褂玫乃惴ú⒉煌昝?,但是它將比使用一個通用規則引擎來處理異常檢測要好得多。還有一個額外的好處:您不必花費大量的時間來標記千兆字節的訓練數據了。

構建異常檢測應用程序

與所有Azure認知服務一樣,異常檢測器也需要一個訂閱密鑰,該密鑰可以在Azure門戶中生成,連同你的訂閱端點URL。微軟還提供了一個運行在Jupyternotebook上的演示服務,您可以使用它在使用您自己的代碼和數據之前快速試用該服務。

實際上,您將通過異步函數來向服務端發送JSON格式的數據。如果您正在處理流數據,您可以在每次更新時發送一個時間序列數據的移動窗口,并檢測序列中最后一段數據的異常情況。如果您使用它來分析批處理數據,那么您將得到數據集中已標識的異常位置的列表,其中保存著每個數據點的布爾值數組。如果為true,則表示異常,您可以使用任何true值所對應的索引來作為您所提供的源數據數組中異常的索引。

使用時間序列數據

異常檢測器的工作原理與大多數Azure平臺服務類似,它提供了一個REST API來接收JSON格式的數據。使用C# SDK可以更容易地構建代碼來使用該服務;您也可以使用其他語言,但這樣你就需要手工來構建REST調用。

微軟對數據格式也有一些限制:數據之間的時間間隔必須是固定的,雖然系統可以接受丟失最多10%預期點的數據,但最好確保您的數據是完整的。如果要交付具有清晰模式的數據,則批處理中的數據點的數量可能會有所不同。數據集中至少需要有12個點,最多8,640個點,時間戳使用UTC格式。

您不僅限于在流數據上使用異常檢測器;如果使用時間序列數據庫來記錄數據,那么你也可以在所有數據上以批處理的方式運行它,但這可能意味著要發送大量的數據。這種方法可以幫助識別過去可能被忽略的問題,例如發現不正常的金融交易,這些交易是出現欺詐的指標,或是可能影響整體生產力的機器的持續問題。在歷史數據上運行它可以幫助您獲得所需的信息,以便對您所使用的算法進行微調,從而使其更有可能發現您特定業務中的問題。

調整異常檢測器

關于異常檢測API需要注意的一點是:它與其他的認知服務有所不同,因為您可以調整它處理數據的方式。作為JSON請求的一部分,您可以指定數據周期的詳細信息、它的粒度以及兩個微調算法敏感性的選項。其中一個是maxAnomalyRatio,它被用來幫助識別數據點是否出現了異常。另一個則是sensitivity,幫助調整算法的邊際值;數值越低,邊緣越大,異常檢測的靈敏度則越低。

您的應用程序中可能有大量的時間序列數據,而且通常很難從中提取價值。通過添加一點機器學習,您就可以開始查看那些不符合正常模式的內容了,然后使用這些信息構建適當的響應。

這就是為什么使用像Jupyter Notebook這樣的工具來探索結果,并在將其構建為代碼之前對檢測器進行調優是一個好主意的原因了。您首先需要查看發生了什么異常,并且能夠將它們與需要管理的事件聯系起來。通過使用交互式筆記本和歷史數據,您可以從中找到適當的相關性,從而幫助您設計應用程序,以使用接近實時的異常檢測來交付您可以理解的結果。這時您就可以開始使用異常檢測API來獲得真正的業務價值了。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 異常檢測
    +關注

    關注

    1

    文章

    42

    瀏覽量

    9730
  • Machine
    +關注

    關注

    0

    文章

    6

    瀏覽量

    8321
  • Azure
    +關注

    關注

    1

    文章

    122

    瀏覽量

    12762

原文標題:如何在Azure machine learning中使用異常檢測

文章出處:【微信號:D1Net08,微信公眾號:AI人工智能D1net】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    英特爾FPGA 助力Microsoft Azure機器學習提供AI推理性能

    Machine Learning SDK 相集成以供預覽??蛻艨梢允褂?Azure 大規模部署的英特爾? FPGA(現場可編程邏輯門陣列)技術,為其模型提供行業領先的人工智能 (AI) 推理性能。
    的頭像 發表于 05-16 17:25 ?6343次閱讀

    構建\"PSOC_Edge_Machine_Learning_Profiler\" 項目,未找到 cy_ml_inference.h文件怎么解決?

    我正試圖構建\"PSOC_Edge_Machine_Learning_Profiler\" 項目,但發現一個錯誤。 其中 cy_ml_inference.h 文件未找到。 請提供獲取該文件的方法
    發表于 07-23 07:59

    Read#Machine learning methods for wind turbine condition monitoring: A review mat share

    Machine learning methods for wind turbine condition monitoring: A review風力發電機監控系統中常用的一些機器學習的方法
    發表于 07-12 07:29

    基于深度學習的異常檢測的研究方法

    的研究方法進行了系統而全面的綜述。此外,我們回顧了這些方法不同應用領域中的應用,并評估了它們的有效性。我們根據所采用的基本假設和方法,將最先進的深度
    發表于 07-12 07:10

    基于深度學習的異常檢測的研究方法

    ABSTRACT1.基于深度學習的異常檢測的研究方法進行結構化和全面的概述2.回顧這些方法各個領域這個中的應用情況,并評估他們的有效性。3
    發表于 07-12 06:36

    深度異常檢測的應用

    9 Applications of Deep Anomaly Detection 深度異常檢測的應用9.1 Intrusion Detection9.2 Fraud Detection9.3
    發表于 07-12 09:18

    MCU也能做Machine learning

    知道嗎?MCU也能做Machine learning (ML)剛剛過去的2018年被稱為“人工智能元年”,2隨著單芯片計算力的不斷增長,機器學習(ML)不再是云計算和高性能處理器的專
    發表于 11-03 06:36

    基于ME-PGNMF的異常流量檢測方法

    意義不明確。針對上述問題,多維信息熵的基礎上,提出梯度投影非負矩陣分解異常流量檢測方法。將流量數據處理為多維特征熵矩陣,用梯度投影非負矩陣分解方法
    發表于 01-17 17:19 ?0次下載
    基于ME-PGNMF的<b class='flag-5'>異常</b>流量<b class='flag-5'>檢測</b><b class='flag-5'>方法</b>

    微軟宣布強化Azure公有云基礎設施平臺上提供的人工智能產品

    今天一系列AI相關的公告中,最引人關注的就是Azure Machine Learning Service的面市,這款基于云的產品讓數據科學家和開發者可以用來快速創建和訓練機器學習模型
    發表于 12-07 10:08 ?1100次閱讀

    知道Uboot中的net是怎樣的?

    知道Uboot中的net是怎樣的?
    發表于 05-15 15:20 ?1148次閱讀
    <b class='flag-5'>你</b><b class='flag-5'>知道</b>Uboot中的net是<b class='flag-5'>怎樣</b>的?

    什么是異常檢測_異常檢測的實用方法

    異常檢測是一個發現“少數派”的過程,由于它們與大多數數據不一樣而引起我們的注意。幾個典型場景中,異常數據能為我們關聯到一些潛在的問題,如銀行欺詐行為、藥品問題、結構缺陷、設備故障等。
    的頭像 發表于 06-29 09:25 ?1.9w次閱讀

    關于6種時序異常檢測淺析

    時序異常檢測并不困難,如果找對方法則可以今年KDD比賽中獲取比較好的成績。本文將使用tsod庫完成簡單的
    的頭像 發表于 04-22 10:09 ?3977次閱讀
    關于6種時序<b class='flag-5'>異常</b><b class='flag-5'>檢測</b>淺析

    知道嗎?MCU也能做Machine learning (ML)

    知道嗎?MCU也能做Machine learning (ML)剛剛過去的2018年被稱為“人工智能元年”,2019年人工智能將會有更大的發展,將會有更多的AI項目落地。隨著單芯片計算
    發表于 10-28 16:21 ?2次下載
    <b class='flag-5'>你</b><b class='flag-5'>知道</b>嗎?MCU也能做<b class='flag-5'>Machine</b> <b class='flag-5'>learning</b> (ML)

    工業控制系統異常檢測方法的研究和應用情況

    、難以檢測APT 等動態威脅、檢測結果不準確等問題。本文列舉了國內外眾多廠商和研究學者工業控制系統異常檢測
    發表于 10-14 11:31 ?1765次閱讀

    使用MATLAB進行異常檢測(下)

    使用 MATLAB 進行異常檢測(上)中,我們探討了什么是異常值,簡單的一維數據異常檢測問題,
    的頭像 發表于 11-24 10:46 ?2150次閱讀