編者按：本文作者Pulkit Sharma分享了一篇有趣的項目，以《貓和老鼠》為例，計算任意視頻中湯姆貓和杰瑞鼠的出鏡時長。這一模型也可以用于其他電影，輕松統計各演員的上鏡時間。

簡介

當我開始接觸深度學習時，學到的第一件事就是圖像分類。這個話題非常有趣，包括我在內的很多人都沉浸在它的魅力之中。但是在我處理圖像分類時總會思考，如果我能將學到的東西遷移到視頻上就好了。

是否有一種模型能在特定時間內自動識別視頻中的某個人物呢？結果證明的確可以做到，下面就將我的方法分享給你們！

影視明星的出鏡時間是非常重要的，直接影響他們的片酬。舉個例子，在《蜘蛛俠：英雄歸來》中，小羅伯特唐尼僅僅出鏡15分鐘就有高達1000萬美元的片酬。

如果我能計算任意影片中所有演員的出鏡時間，那就太棒了！在這篇文章中，我將幫你理解如何在視頻數據中使用深度學習。我們就用《貓和老鼠》作為例子，計算任意視頻中，湯姆和杰瑞的出現時間。

注：本文需要讀者有一定的深度學習圖像分類的先驗知識。如果沒有的話，我推薦你閱讀這篇文章（https://www.analyticsvidhya.com/blog/2016/10/tutorial-optimizing-neural-networks-using-keras-with-image-recognition-case-study/），了解有關深度學習和圖像分類的基本概念。

目錄

讀取視頻并提取幀

如何用Python處理視頻文件

計算出鏡時間——一種簡單的解決方案

我的收獲

讀取視頻并提取幀

如上面的動圖所示，，每一頁紙上都有不同的畫面，隨著我們翻動書頁，可以看到一只跳舞的鯊魚，而且翻動的速度越快，效果越好。這也可以看作一種視頻，換句話說，這種視覺效果是不同圖像以特定順序排列在一起產生的。

同樣的，視頻也是由一系列圖片組成的，這些圖片稱為“幀”，可以通過組合得到原始視頻。所以與視頻數據有關的問題和圖像分類或者目標檢測問題并沒有什么不同。只是從視頻中提取幀需要多一個步驟。

我們這次的目的試計算湯姆和杰瑞在視頻中各自的出鏡時間，首先讓我們確定一下文中要做的步驟：

導入并讀取視頻，從中提取幀，將它們保存為圖片

標記一些圖片用于模型的訓練（這一步我已經做好了）

在訓練數據上搭建自己的模型

對剩余圖片進行預測

計算湯姆和杰瑞各自的出鏡時間

跟著以下步驟學習，將會幫助你解決很多深度學習相關的問題。

如何用Python處理視頻文件

首先要下載所有必需的庫：

NumPy

Pandas

Matplotlib

Keras

Skimage

OpenCV

第一步：讀取視頻并從中提取幀，將其保存為圖像

現在我們要下載視頻，并將它轉換成幀的形式。首先我們可以用VideoCapture( )函數從給定目錄中提取視頻，然后從視頻中提取幀，用imwrite( )函數將它們保存為圖像。

視頻下載地址：drive.google.com/file/d/1_DcwBhYo15j7AU-v2gN61qGGd1ZablGK/view

這個過程完成后，屏幕上會出現“Done!”的字樣。下面我們試著對圖像（幀）進行可視化，首先用matplotlib中的imread( )函數讀取圖像，然后用imshow( )函數顯示圖像。

這就是視頻中的第一幀。我們從每秒中提取一幀，由于視頻時長為4:58（共298秒），我們現在一共有298張照片。

我們的任務時確定哪張照片上有湯姆，哪張有杰瑞。如果我們提取出的圖像能和常見的ImageNet數據集中的圖片有很大的相似性，那么這個問題就能輕而易舉地解決了。但是這樣的樂趣在哪里？

我們的是動畫片，所以要讓任何預訓練模型在給定的視頻中定位湯姆和杰瑞還是有難度的。

第二步：標記圖片訓練模型

要實現標記圖片，一種可能的方案是手動貼標簽。一旦模型學會了特定模式，我們就能用它在之前沒見過的圖像上作出預測。

要記住的一點是，有些幀里可能沒有湯姆和杰瑞的鏡頭，所以我們要將其看成是多種類的分類問題：

0：沒有湯姆和杰瑞的鏡頭

1：杰瑞

2：湯姆

我已經給所有圖片打上了標簽，所以直接在mapping.csv文件中下載即可。

映射文件包含兩部分：

image_ID：包含每張照片的名稱

Class.Image_ID：含有每張圖對應的種類

下一步是讀取圖片信息，即他們的Image_ID部分：

現在我們就有了圖片，記住，我們要用兩部分訓練模型：

訓練圖片

對應的種類

由于這里有三種不同情況，我們將用keras.utils中的to_cateforical( )函數對他們進行獨熱編碼。

圖片再輸入到VGG16訓練前，尺寸需變為224×224×3，所以我們的圖片在輸入前要重設尺寸。我們要用到skimage.transform中的resize( )函數。

尺寸調整好后，我們還要對每個模型的需求進行預處理，否則模型就不會表現得很好。利用keras.applications.vgg16中的preprocess_input( )函數來完成這一步驟。

我們還需要一個驗證集來檢查模型在陌生圖片上的性能，這里就需要用到sklearn.modelselection模塊中的traintest_split( )函數來隨機將圖片分成訓練集和驗證集。

第三步：搭建模型

下一步就是搭建自己的模型。我們會用VGG16預訓練模型來完成這一任務。首先導入所需的庫：

下載VGG16與訓練模型，并將其保存為base_model：

用該模型對X_train和X_valid進行預測，得到特征，再用特征重新訓練模型。

Xtrain和Xvalid的尺寸分別為（208，7，7，512）和（90，7，7，512）。為了輸入到神經網絡，我們必須把它重新修改成1—D尺寸。

現在對圖像進行預處理，去中心化，讓模型收斂得更快。

最后，我們將搭建自己的模型，這一步可以分為三小步：

搭建模型

編譯模型

訓練模型

用summary( )函數檢查模型的匯總信息：

模型中有一隱藏層，有1024個神經元，輸出層有3個神經元（因為我們有3種不同的預測情況）。現在我們開始編譯模型。

最后一步，我們要訓練模型，并且用驗證集檢測它在陌生圖像上的表現：

可以看到在驗證集上的表現很不錯，精確度達到85%。這就是我們如何在視頻數據上訓練模型，再對每一幀作出預測的步驟。

下面，我將計算湯姆和杰瑞在新視頻中的出鏡時間。

計算出鏡時間——一種簡單的解決方案

首先下載我們要用到的視頻。一旦完成，可以從中提取幀：

從新視頻中提取幀之后，我們就要下載test.csv文件，它包含每個提取出的幀的名字：

接著，我們將導入用于測試的圖片，然后針對之前提到的預訓練模型重新修改尺寸：

接著，我們還要對這些圖片進行調整，就像之前處理訓練圖片那樣：

由于我們之前訓練了模型，就可以用它做出預測了。

第四步：對剩余圖像進行預測

第五步：計算湯姆和杰瑞的出鏡時間

剛剛我們規定了1代表杰瑞，2代表湯姆，這樣就可以用上述的預測來計算兩個角色的出鏡時長了：

結果如上。

我的收獲

為了完成這一項目，我遇到了很多問題。下面是我遇到的一些挑戰及做出的應對對策。

首先，我嘗試在沒有刪除最頂層的情況下使用預訓練模型，結果并不理想。原因可能是由于我們的模型之前沒有在動畫片上接受訓練。為了解決這個問題，我重新用圖片訓練模型，結果好了很多。

但是盡管用帶有標記的圖片訓練，精確度仍然不理想。模型在訓練圖像上表現得并不好。所以，我試著增加圖層數量。這種做法結果不錯，但訓練和驗證精度之間并不對應。模型出現了過度擬合，它在陌生數據上表現得也不好。所以我在密集層之后增加了Dropout層，這樣就解決了。

我注意到，湯姆的出鏡時間更長，所以模型得出的很多結論都是湯姆。為了讓模型平衡預測，我用了sklearn.utils.classweight模塊中的computeclass_weight( )函數。它在數值計數較低的類別中分配了更高的權重，在較高的數值計數中分配較低權重。

另外，我還用Model Checkpoint保存了最佳模型。

最終，我們在驗證數據上達到了88%左右的結果，在測試數據上達到了64%的精確度結果。