Relu算子的介紹

Relu是一種非線性激活函數，它的特點有運算簡單，不會在梯度處出現梯度消失的情況，而且它在一定程度上能夠防止深度學習模型在訓練中發生的過擬合現象。Relu的公式表達如下所示，「如果對于深度學習基本概念不了解的同學，可以將Relu當作一個公式進行對待，可以不用深究其背后的含義。」

我們今天的任務就是來完成這個公式中的操作，「值得注意的是，在我們的項目中，x和y可以理解為我們在第二、第三節中實現的張量類(tensor).」

Operator類

Operator類就是我們在第一節中說過的計算圖中「節點」的概念，計算圖的另外一個概念是數據流圖，如果同學們忘記了這個概念，可以重新重新翻看第一節課程。

在我們的代碼中我們先定義一個「Operator」類，它是一個父類，其余的Operator，包括我們本節要實現的ReluOperator都是其派生類，「Operator中會存放節點相關的參數。」例如在「ConvOperator」中就會存放初始化卷積算子所需要的stride, padding, kernel_size等信息，本節的「ReluOperator」就會帶有「thresh」值信息。

我們從下方的代碼中來了解Operator類和ReluOperator類，它們是父子關系，Operator是基類，OpType記錄Operator的類型。

enumclassOpType{
kOperatorUnknown=-1,
kOperatorRelu=0,
};

classOperator{
public:
OpTypekOpType=OpType::kOperatorUnknown;

virtual~Operator()=default;

explicitOperator(OpTypeop_type);
};

ReluOperator實現：

classReluOperator:publicOperator{
public:
~ReluOperator()override=default;

explicitReluOperator(floatthresh);

voidset_thresh(floatthresh);

floatget_thresh()const;

private:
floatthresh_=0.f;
};

Layer類

我們會在operator類中存放從「計算圖結構文件」得到的信息，例如在ReluOperator中存放的thresh值作為一個參數就是我們從計算圖結構文件中得到的，計算圖相關的概念我們已經在第一節中講過。

下一步我們需要根據ReLuOperator類去完成ReluLayer的初始化，「他們的區別在于ReluOperator負責存放從計算圖中得到的節點信息，不負責計算」，而ReluLayer則「負責具體的計算操作」，同樣，所有的Layer類有一個公共父類Layer. 我們可以從下方的代碼中來了解兩者的關系。

classLayer{
public:
explicitLayer(conststd::string&layer_name);

virtualvoidForwards(conststd::vector>>&inputs,
std::vector>>&outputs);

virtual~Layer()=default;
private:
std::stringlayer_name_;
};

其中Layer的Forwards方法是具體的執行函數，負責將輸入的inputs中的數據，進行relu運算并存放到對應的outputs中。

classReluLayer:publicLayer{
public:
~ReluLayer()override=default;

explicitReluLayer(conststd::shared_ptr&op);

voidForwards(conststd::vector>>&inputs,
std::vector>>&outputs)override;

private:
std::shared_ptrop_;
};

這是集成于Layer的ReluLayer類，我們可以看到其中有一個op成員，是一個ReluOperator指針，「這個指針中負責存放ReluLayer計算時所需要用到的一些參數」。此處op_存放的參數比較簡單，只有ReluOperator中的thresh參數。

我們再看看是怎么使用ReluOperator去初始化ReluLayer的，先通過統一接口傳入Operator類，再轉換為對應的ReluOperator指針，最后再通過指針中存放的信息去初始化「op_」.

ReluLayer::ReluLayer(conststd::shared_ptr&op):Layer("Relu"){
CHECK(op->kOpType==OpType::kOperatorRelu);
ReluOperator*relu_op=dynamic_cast(op.get());
CHECK(relu_op!=nullptr);
this->op_=std::make_shared(relu_op->get_thresh());
}

我們來看一下具體ReluLayer的Forwards過程，它在執行具體的計算，完成Relu函數描述的功能。

voidReluLayer::Forwards(conststd::vector>>&inputs,
std::vector>>&outputs){
CHECK(this->op_!=nullptr);
CHECK(this->op_->kOpType==OpType::kOperatorRelu);

constuint32_tbatch_size=inputs.size();
for(inti=0;iempty());
conststd::shared_ptr>&input_data=inputs.at(i);

input_data->data().transform([&](floatvalue){
floatthresh=op_->get_thresh();
if(value>=thresh){
returnvalue;
}else{
return0.f;
}
});
outputs.push_back(input_data);
}
}

在for循環中，首先讀取輸入input_data, 再對input_data使用armadillo自帶的transform按照我們給定的thresh過濾其中的元素，如果「value」的值大于thresh則不變，如果小于thresh就返回0.

最后，我們寫一個測試函數來驗證我們以上的兩個類，節點op類，計算層layer類的正確性。

先判斷Forwards返回的outputs是否已經保存了relu層的輸出，輸出大小應該assert為1. 隨后再進行比對，我們應該知道在thresh等于0的情況下，第一個輸出index(0)和第二個輸出index(1)應該是0，第三個輸出應該是3.f.

TEST(test_layer,forward_relu){
usingnamespacekuiper_infer;
floatthresh=0.f;
std::shared_ptrrelu_op=std::make_shared(thresh);
std::shared_ptr>input=std::make_shared>(1,1,3);
input->index(0)=-1.f;
input->index(1)=-2.f;
input->index(2)=3.f;
std::vector>>inputs;
std::vector>>outputs;
inputs.push_back(input);
ReluLayerlayer(relu_op);
layer.Forwards(inputs,outputs);
ASSERT_EQ(outputs.size(),1);
for(inti=0;iindex(0),0.f);
ASSERT_EQ(outputs.at(i)->index(1),0.f);
ASSERT_EQ(outputs.at(i)->index(2),3.f);
}
}

本期代碼倉庫位置

gitclonehttps://gitee.com/fssssss/KuiperCourse.git
gitcheckoutfouth

審核編輯：劉清