描述

DeepLabV3 開發板應用

該應用程序演示了圖像語義分割。本應用中使用的DeepLabV3是谷歌實現的一種語義分割算法。

這將對給定肖像圖像中每個像素中的對象進行分類，并將標簽分配給每個對象。圖像語義分割有助于背景變化、人像模式等應用。

為了開發用于圖像分割的 DeepLabV3 模型，我們使用 Snapdragon 移動平臺 (SD835) 和高通神經處理 SDK。

模型訓練的推薦設置

硬件先決條件

• 英特爾 i5 或更高
• NVIDIA 10 系列或更高版本
• 內存 16 GB 或更多

系統軟件要求

• Ubuntu 14.04 LTS 或以上版本
• 庫達
• CuDNN

如何訓練模型

Tensorflow 的 DeepLab API 設置是訓練 DeepLabV3 模型的先決條件。安裝步驟請按照以下說明進行，

• 執行以下命令來安裝依賴項，

# Run this command from $ sudo pip install -r dependencies/requirement.txt

• 通過執行以下命令克隆 tensorflow 及其模型存儲庫，

$ git clone https://github.com/tensorflow/tensorflow.git
$ cd tensorflow
$ git clone https://github.com/tensorflow/models.git

• 更新 Python 環境設置

$ cd /tensorflow/models/research
$ export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim

注意：需要為每個新的終端會話進行環境設置。

為避免為每個新會話更新環境路徑，請在帶有絕對路徑的 .bashrc 文件末尾添加以上行。

測試安裝

運行以下命令測試是否安裝成功，

$ cd to tensorflow setup>/tensorflow/models/research
$ python deeplab/model_test.py

安裝完成后，執行以下命令開始訓練，

$ cd /tensorflow/models/research/deeplab
$ sh local_test.sh 

注意：默認local_test.sh中的迭代次數為10，如有需要請自行修改。

如何將Tensorflow的模型轉化為DLC？

先決條件：Qualcomm 神經處理 SDK 設置。使用以下鏈接中的說明進行設置，

https://developer.qualcomm.com/software/qualcomm-neural-processing-sdk/getting-started

• 使用tensorflow初始化Neural Processing SDK SDK的環境變量。
• 該模型使用 TensorFlow 框架進行訓練，并導出為擴展名為 .pb 的圖形文件。
• 使用以下命令將 .pb 文件轉換為 .dlc 文件后：

使用高通神經處理 SDK 在 Ubuntu 上進行推理

SDK 不支持將直接圖像作為推理模型的輸入。

Qualcomm 神經處理 SDK 需要將 NumPy 數組存儲為原始文件。為了在 SDK 中運行應用程序，我們需要對輸入圖像進行預處理。

以下是 src/deep_input_raw.py 文件中預處理步驟的詳細信息，

（我們已經使用opencv對圖像進行預處理）

• 將圖像調整為 513x513x3 的尺寸。
• 用平均值 128 填充較小的維度以生成 513x513x3 的圖像。
• 將圖像轉換為 float32 類型。
• 將圖像逐元素乘以 0.00784313771874 并分別減去 1.0。
• 將此預處理數組存儲為原始文件 (blob.raw)。

在執行 src/deep_input_raw.py 腳本時，會生成 blob.raw 文件。

使用 DeepLab 更改背景的過程

以下是使用 src/post_process_deeplab_output.py 更改預處理圖像背景的詳細步驟說明，

• 上一節的輸出 (output/Result_0/ArgMax:0.raw) 是一個維度為 513x513x1 的 NumPy 數組。
• 數組中的每個元素都包含給定輸入圖像對應像素的預測類別索引。
• 人的索引號是 15。
• 將 NumPy 數組讀入 float32 類型的數據緩沖區。
• 要將背景更改為灰度，請分配像素值，使 R、G 和 B 分量具有相同的值。例如，將像素值 R(123)、G(93) 和 B(49) 修改為 R( 123），G（123），B（123）。
• 遍歷 NumPy 數組并更改原始調整大小圖像中的像素值（按照上面的步驟 5），而不是類索引 15 的像素。
• 將圖像調整為原始大小。

post_process_deeplab_output.py 腳本會將預處理圖像的背景更改為灰度。