精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

使用LIME解釋CNN

Dbwd_Imgtec ? 來源:未知 ? 2022-11-25 11:15 ? 次閱讀

作者:Mehul Gupta

來源:DeepHub IMBA


我們已經介紹過很多解析機器學習模型的方法,例如如pdp、LIME和SHAP,但是這些方法都是用在表格數據的,他們能不能用在神經網絡模型呢?今天我們來LIME解釋CNN。

圖像與表格數據集有很大不同(顯然)。如果你還記得,在之前我們討論過的任何解釋方法中,我們都是根據特征重要性,度量或可視化來解釋模型的。比如特征“A”在預測中比特征“B”有更大的影響力。但在圖像中沒有任何可以命名的特定特征,那么怎么進行解釋呢?

一般情況下我們都是用突出顯示圖像中模型預測的重要區域的方法觀察可解釋性,這就要求了解如何調整LIME方法來合并圖像,我們先簡單了解一下LIME是怎么工作的。

LIME在處理表格數據時為訓練數據集生成摘要統計:

  • 使用匯總統計生成一個新的人造數據集

  • 從原始數據集中隨機提取樣本

  • 根據與隨機樣本的接近程度為生成人造數據集中的樣本分配權重

  • 用這些加權樣本訓練一個白盒模型

  • 解釋白盒模型

就圖像而言,上述方法的主要障礙是如何生成隨機樣本,因為在這種情況下匯總統計將沒有任何用處。

如何生成人造數據集?

最簡單的方法是,從數據集中提取一個隨機樣本,隨機打開(1)和關閉(0)一些像素來生成新的數據集
但是通常在圖像中,出現的對象(如狗vs貓的分類中的:狗&貓)導致模型的預測會跨越多個像素,而不是一個像素。所以即使你關掉一兩個像素,它們看起來仍然和我們選擇樣本非常相似。
所以這里需要做的是設置一個相鄰像素池的ON和OFF,這樣才能保證創造的人工數據集的隨機性。所以將圖像分割成多個稱為超像素的片段,然后打開和關閉這些超像素來生成隨機樣本。
讓我們使用LIME進行二進制分類來解釋CNN的代碼。例如我們有以下的兩類數據。

類別0: 帶有任意大小的白色矩形的隨機圖像
類別1:隨機生成的圖像(沒有白色矩形)

然后創建一個簡單的CNN模型

LIME示例
%matplotlib inline
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from keras.layers import Input, Dense, Embedding, Flatten
from keras.layers import SpatialDropout1D
from keras.layers.convolutional import Conv2D, MaxPooling2D
from keras.models import Sequential
from randimage import get_random_image, show_array
import random
import pandas as pd
import numpy as np
import lime
from lime import lime_image
from skimage.segmentation import mark_boundaries

#preparing above dataset artificially
training_dataset = []
training_label = []
for x in range(200):

img_size = (64,64)
img = get_random_image(img_size)

a,b = random.randrange(0,img_size[0]/2),random.randrange(0,img_size[0]/2)
c,d = random.randrange(img_size[0]/2,img_size[0]),random.randrange(img_size[0]/2,img_size[0])

value = random.sample([True,False],1)[0]
if value==False:
img[a:c,b:d,0] = 100
img[a:c,b:d,1] = 100
img[a:c,b:d,2] = 100

training_dataset.append(img)
training_label.append(value)

#training baseline CNN model
training_label = [1-x for x in training_label]
X_train, X_val, Y_train, Y_val = train_test_split(np.array(training_dataset).reshape(-1,64,64,3),np.array(training_label).reshape(-1,1), test_size=0.1, random_state=42)

epochs = 10
batch_size = 32
model = Sequential()
model.add(Conv2D(32, kernel_size=3, padding='same', activation='relu'))
model.add(MaxPooling2D(pool_size=2))
model.add(Flatten())
# Output layer
model.add(Dense(32,activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(X_train, Y_train, validation_data=(X_val, Y_val), epochs=epochs, batch_size=batch_size, verbose=1)
讓我們引入LIME
x=10
explainer = lime_image.LimeImageExplainer(random_state=42)
explanation = explainer.explain_instance(
X_val[x],
model.predict,top_labels=2)
)

image, mask = explanation.get_image_and_mask(0, positives_only=True,
hide_rest=True)

上面的代碼片段需要一些解釋
我們初始化了LimeImageExplainer對象,該對象使用explain_instance解釋特定示例的輸出。這里我們從驗證集中選取了第10個樣本,Get_image_and_mask()返回模型與原始圖像一起預測的高亮區域。
讓我們看看一些樣本,它們實際上是1(隨機圖像),但檢測到為0(帶白框的隨機圖像)

可以看到下圖有黃色的突出顯示區域,這張圖片的標簽為1,但被標記為0,這是因為高亮顯示的區域看起來像一個矩形,因此讓模型感到困惑,也就是說模型錯吧黃色標記的部分當成了我們需要判斷的白色矩形遮蔽。
再看看上面兩個圖,與前面的例子類似,模型也預測了class=0。通過黃色區域可以判斷,某種形狀可能被模型曲解為白色方框了。

這樣我們就可以理解模型導致錯誤分類的實際問題是什么,這就是為什么可解釋和可解釋的人工智能如此重要。

END


歡迎加入Imagination GPU與人工智能交流2群
入群請加小編微信:eetrend89

(添加請備注公司名和職稱)

推薦閱讀


Imagination 基于 O3DE 引擎的光線追蹤 Demo 詳解

Imagination Technologies是一家總部位于英國的公司,致力于研發芯片和軟件知識產權(IP),基于Imagination IP的產品已在全球數十億人的電話、汽車、家庭和工作場所中使用。獲取更多物聯網智能穿戴、通信汽車電子、圖形圖像開發等前沿技術信息,歡迎關注 Imagination Tech!


原文標題:使用LIME解釋CNN

文章出處:【微信公眾號:Imagination Tech】歡迎添加關注!文章轉載請注明出處。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • imagination
    +關注

    關注

    1

    文章

    570

    瀏覽量

    61281

原文標題:使用LIME解釋CNN

文章出處:【微信號:Imgtec,微信公眾號:Imagination Tech】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    cnn常用的幾個模型有哪些

    CNN(卷積神經網絡)是一種深度學習模型,廣泛應用于圖像識別、自然語言處理等領域。以下是一些常用的CNN模型: LeNet-5:LeNet-5是最早的卷積神經網絡之一,由Yann LeCun等人于
    的頭像 發表于 07-11 14:58 ?624次閱讀

    圖像分割與語義分割中的CNN模型綜述

    圖像分割與語義分割是計算機視覺領域的重要任務,旨在將圖像劃分為多個具有特定語義含義的區域或對象。卷積神經網絡(CNN)作為深度學習的一種核心模型,在圖像分割與語義分割中發揮著至關重要的作用。本文將從CNN模型的基本原理、在圖像分割與語義分割中的應用、以及具體的模型架構和調
    的頭像 發表于 07-09 11:51 ?684次閱讀

    CNN與RNN的關系?

    在深度學習的廣闊領域中,卷積神經網絡(CNN)和循環神經網絡(RNN)是兩種極為重要且各具特色的神經網絡模型。它們各自在圖像處理、自然語言處理等領域展現出卓越的性能。本文將從概念、原理、應用場景及代碼示例等方面詳細探討CNN與RNN的關系,旨在深入理解這兩種網絡模型及其在
    的頭像 發表于 07-08 16:56 ?611次閱讀

    CNN在多個領域中的應用

    ,通過多層次的非線性變換,能夠捕捉到數據中的隱藏特征;而卷積神經網絡(CNN),作為神經網絡的一種特殊形式,更是在圖像識別、視頻處理等領域展現出了卓越的性能。本文旨在深入探究深度學習、神經網絡與卷積神經網絡的基本原理、結構特點及其在多個領域中的廣泛應用。
    的頭像 發表于 07-08 10:44 ?959次閱讀

    CNN的定義和優勢

    卷積神經網絡(Convolutional Neural Networks, CNN)作為深度學習領域的核心成員,不僅在學術界引起了廣泛關注,更在工業界尤其是計算機視覺領域展現出了巨大的應用價值。關于
    的頭像 發表于 07-05 17:37 ?4157次閱讀

    基于CNN的網絡入侵檢測系統設計

    入侵檢測提供了新的思路和方法。卷積神經網絡(Convolutional Neural Network, CNN)作為深度學習的一種重要模型,以其強大的特征提取能力和模式識別能力,在網絡入侵檢測領域展現出巨大的潛力。
    的頭像 發表于 07-05 17:28 ?911次閱讀

    如何在TensorFlow中構建并訓練CNN模型

    在TensorFlow中構建并訓練一個卷積神經網絡(CNN)模型是一個涉及多個步驟的過程,包括數據預處理、模型設計、編譯、訓練以及評估。下面,我將詳細闡述這些步驟,并附上一個完整的代碼示例。
    的頭像 發表于 07-04 11:47 ?761次閱讀

    如何利用CNN實現圖像識別

    卷積神經網絡(CNN)是深度學習領域中一種特別適用于圖像識別任務的神經網絡結構。它通過模擬人類視覺系統的處理方式,利用卷積、池化等操作,自動提取圖像中的特征,進而實現高效的圖像識別。本文將從CNN的基本原理、構建過程、訓練策略以及應用場景等方面,詳細闡述如何利用
    的頭像 發表于 07-03 16:16 ?1126次閱讀

    NLP模型中RNN與CNN的選擇

    在自然語言處理(NLP)領域,循環神經網絡(RNN)與卷積神經網絡(CNN)是兩種極為重要且廣泛應用的網絡結構。它們各自具有獨特的優勢,適用于處理不同類型的NLP任務。本文旨在深入探討RNN與CNN
    的頭像 發表于 07-03 15:59 ?430次閱讀

    cnn卷積神經網絡分類有哪些

    卷積神經網絡(CNN)是一種深度學習模型,廣泛應用于圖像分類、目標檢測、語義分割等領域。本文將詳細介紹CNN在分類任務中的應用,包括基本結構、關鍵技術、常見網絡架構以及實際應用案例。 引言 1.1
    的頭像 發表于 07-03 09:28 ?469次閱讀

    cnn卷積神經網絡三大特點是什么

    卷積神經網絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。CNN具有以下三大特點: 局部連接
    的頭像 發表于 07-03 09:26 ?724次閱讀

    CNN模型的基本原理、結構、訓練過程及應用領域

    卷積神經網絡(Convolutional Neural Network,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。CNN模型的核心是卷積層
    的頭像 發表于 07-02 15:26 ?2970次閱讀

    卷積神經網絡cnn模型有哪些

    卷積神經網絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。 CNN的基本概念 1.1 卷積層
    的頭像 發表于 07-02 15:24 ?662次閱讀

    深度神經網絡模型cnn的基本概念、結構及原理

    深度神經網絡模型CNN(Convolutional Neural Network)是一種廣泛應用于圖像識別、視頻分析和自然語言處理等領域的深度學習模型。 引言 深度學習是近年來人工智能領域的研究熱點
    的頭像 發表于 07-02 10:11 ?9552次閱讀

    基于Python和深度學習的CNN原理詳解

    卷積神經網絡 (CNN) 由各種類型的層組成,這些層協同工作以從輸入數據中學習分層表示。每個層在整體架構中都發揮著獨特的作用。
    的頭像 發表于 04-06 05:51 ?1972次閱讀
    基于Python和深度學習的<b class='flag-5'>CNN</b>原理詳解