在練習(xí)二中，手寫數(shù)字識(shí)別使用數(shù)值微分的方式實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)，現(xiàn)在用誤差反向傳播法來實(shí)現(xiàn)。兩者的區(qū)別僅僅是使用不同方法求梯度。

1、2層神經(jīng)網(wǎng)絡(luò)的類

將2層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)為一個(gè)TwoLayerNet的類（和上次的代碼僅僅是求梯度的方式不同，不同的地方加*表示）：

class TwoLayerNet:
    def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.01):
        # 初始化權(quán)重
        self.params = {}
        self.params['W1'] = weight_init_std *np.random.randn(input_size, hidden_size)
        self.params['b1'] = np.zeros(hidden_size)
        self.params['W2'] = weight_init_std *np.random.randn(hidden_size, output_size)
        self.params['b2'] = np.zeros(output_size)
*       #生成層        
*       self.layers = OrderedDict()
*       self.layers['Affine1'] = Affine(self.params['W1'], self.params['b1'])
*       self.layers['Relu1'] = Relu()
*       self.layers['Affine2'] = Affine(self.params['W2'], self.params['b2'])
*       self.lastLayer = SoftmaxWithLoss()
*   def predict(self, x):
        for layer in self.layers.values():
           x = layer.forward(x)
        return x
    # x:輸入數(shù)據(jù), t:監(jiān)督數(shù)據(jù)
    def loss(self, x, t):
        y = self.predict(x)
*       return self.lastLayer.forward(y, t)
    def accuracy(self, x, t):
        y = self.predict(x)
        y = np.argmax(y, axis=1)
*       if t.dim != 1 : t=np.argmax(t,axis=1)
        accuracy = np.sum(y == t) / float(x.shape[0])
        return accuracy
    # x:輸入數(shù)據(jù), t:監(jiān)督數(shù)據(jù)
    def numerical_gradient(self, x, t):
        loss_W = lambda W: self.loss(x, t)
        grads = {}
        grads['W1'] = numerical_gradient(loss_W, self.params['W1'])
        grads['b1'] = numerical_gradient(loss_W, self.params['b1'])
        grads['W2'] = numerical_gradient(loss_W, self.params['W2'])
        grads['b2'] = numerical_gradient(loss_W, self.params['b2'])
        return grads
*    def gradient(self, x, t):
        # forward
        self.loss(x, t)
        # backward
        dout = 1
        dout = self.lastLayer.backward(dout)      
        layers = list(self.layers.values())
        layers.reverse()
        for layer in layers:
            dout = layer.backward(dout)
        # 設(shè)定
        grads = {}
        grads['W1'], grads['b1'] = self.layers['Affine1'].dW, self.layers['Affine1'].db
        grads['W2'], grads['b2'] = self.layers['Affine2'].dW, self.layers['Affine2'].db
        return grads

只介紹和數(shù)值微分求導(dǎo)法不同的部分：

初始化： layer是保存神經(jīng)網(wǎng)絡(luò)的層的有序字典型變量 。OrderedDict是有序字典， 有序是說它可以記住向字典中添加元素的順序 ，正向傳播只需要按照添加元素的順序調(diào)用各層的forward方法就可以，反向傳播順序相反地順序調(diào)用backward方法。通過layers['Affine1']，layers['Relu1']，layers['Affine2']的形式保存各個(gè)層。還定義了最后一層lastlayer，上一篇中介紹了Affine,Relu，SoftmaxWithLoss函數(shù)的封裝，在這一層中直接定義。

定義predict函數(shù)，用于識(shí)別：predict()函數(shù)的參數(shù)是輸入的圖像數(shù)據(jù)，按照層的順序(layers的for語句)依次調(diào)用每一層的forward()函數(shù)，先是x經(jīng)過Affine1層的forward函數(shù),返回的out值作為Relu層的forward函數(shù)的輸入?yún)?shù)，返回的out作為Affine2層的forward函數(shù)的輸入?yún)?shù)，返回的out作為最后一層SoftmaxWithLoss層的forward函數(shù)的輸入?yún)?shù)，返回的out是最后的輸出，也就是識(shí)別的結(jié)果。

定義損失函數(shù)：輸入?yún)?shù)是x輸入圖像和t標(biāo)簽，經(jīng)過predict函數(shù)得到識(shí)別數(shù)據(jù)y，返回值是輸入為y和t的SoftmaxWithLoss()的前向函數(shù)。

定義識(shí)別精度：經(jīng)過predict()之后的輸出y是識(shí)別結(jié)果，如果與標(biāo)簽一致說明結(jié)果準(zhǔn)確，識(shí)別精度就是準(zhǔn)確的次數(shù)與輸入圖像數(shù)量之比，即準(zhǔn)確的概率。批處理時(shí)假設(shè)一次處理N張，y的形狀是(N,10)，有兩個(gè)方向，a[1]是按行方向索引，argmax是找到最大值所在的位置。按行找到到最大值的索引值，就對應(yīng)每一張圖片識(shí)別到最大可能性的結(jié)果對應(yīng)的分類。將該分類與標(biāo)簽進(jìn)行比較，求識(shí)別正確的概率。

定義了數(shù)值微分求導(dǎo)的過程，這個(gè)是數(shù)值微分的方法，如果用誤差反向傳播法需要將這段注釋掉；或者后續(xù)要比較兩個(gè)方法求導(dǎo)的結(jié)果。

定義了誤差反向傳播法求導(dǎo)的方法：先求dout=1通過lastlayer層的backward函數(shù)的輸出，返回dx。由于反向傳播經(jīng)過的層和正向相反，正向的有序字典變量需要reverse反向，這樣通過for語句調(diào)用每一層的backward函數(shù)經(jīng)過的層順序就是affine2,relu,affine1，此時(shí)的輸出就是最后的求導(dǎo)結(jié)果。

將神經(jīng)網(wǎng)絡(luò)用層的方式實(shí)現(xiàn)，將每一層模塊化，是非常方便的，即使層很多，也只需要接好每一層的接口。通過各個(gè)層內(nèi)部的forward和backward函數(shù)就可以識(shí)別或者計(jì)算梯度。

2、數(shù)值微分的計(jì)算耗時(shí)，但是計(jì)算簡單不易出錯(cuò)。誤差反向傳播法的實(shí)現(xiàn)相對復(fù)雜容易出錯(cuò)。所以比較兩者的結(jié)果可以確認(rèn)誤差反向傳播法是否正確。這個(gè)比較的操作成為梯度確認(rèn)。梯度確認(rèn)的代碼：

(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, one_hot_label=True)
network = TwoLayerNet(input_size=784, hidden_size=50, output_size=10)
x_batch = x_train[:3]
t_batch = t_train[:3]
grad_numerical = network.numerical_gradient(x_batch, t_batch)
grad_backprop = network.gradient(x_batch, t_batch)
for key in grad_numerical.keys():
    diff = np.average( np.abs(grad_backprop[key] - grad_numerical[key]) )
    print(key + ":" + str(diff))

通過numerical_gradient函數(shù)得到的數(shù)值微分求導(dǎo)結(jié)果保存在grad_numerical中，通過gradient函數(shù)得到的誤差反向傳播結(jié)求導(dǎo)結(jié)果保存在grad_backprop中。通過求對應(yīng)位置的數(shù)值的絕對值的平均值，判斷誤差反向傳播求導(dǎo)結(jié)果是否正確。

W1:3.705434371413955e-10

b1:2.37776902256894e-09

W2:5.412727643613116e-09

b2:1.396563151026542e-07

輸出的誤差很小，所以是正確的。

3、使用誤差反向傳播法的學(xué)習(xí)

和數(shù)值微分的方法一樣，因?yàn)椴煌巸H僅是求梯度。

因此在練習(xí)二中的代碼，把數(shù)值微分求梯度的代碼注釋掉，用誤差反向傳播法求梯度的代碼就可以了。

總結(jié)：通過買水果的例子介紹了誤差反向傳播法的原理，介紹了神經(jīng)網(wǎng)絡(luò)中的誤差反向傳播法，原理一樣只是不用標(biāo)量用矩陣。將relu,softmaxwithloss,affine,softmax層封裝成模塊，內(nèi)部實(shí)現(xiàn)了forward和backward方法。只需要搭建神經(jīng)網(wǎng)絡(luò)的每一層，通過內(nèi)部的forward和backward函數(shù)，將數(shù)據(jù)正向或反向傳播就可以求導(dǎo)。