Back Propagation Neural Networks

把 \(E\) 展开到隐藏层，有：
\[\begin{aligned} E &= \frac{1}{2} \Vert \boldsymbol{y} - \boldsymbol{o} \Vert \\ &= \frac{1}{2} \Vert \boldsymbol{y} - \boldsymbol{a}^{(3)} \Vert \\ &= \frac{1}{2} \left((y_1 - a_1^{(3)})^2 + (y_2 - a_2^{(3)})^2 \right) \\ &= \frac{1}{2} \left((y_1 - f(z_1^{(3)}))^2 + (y_2 - f(z_2^{(3)}))^2 \right) \\ &= \frac{1}{2} \left((y_1 - f(w^{(3)}_{11} a^{(2)}_1 + w^{(3)}_{12} a^{(2)}_2 + w^{(3)}_{13} a^{(2)}_3 + b^{(3)}_1))^2 + (y_2 - f(w^{(3)}_{21} a^{(2)}_1 + w^{(3)}_{22} a^{(2)}_2 + w^{(3)}_{23} a^{(2)}_3 + b^{(3)}_2))^2 \right) \end{aligned}\]

由求导的链式法则，对“输出层神经元的权重参数”求偏导，有：
\[\begin{aligned} \frac{\partial E}{\partial w^{(3)}_{11}} &= \frac{1}{2} \cdot 2 (y_1 - a_1^{(3)})(- \frac{\partial a_1^{(3)}}{\partial w^{(3)}_{11}}) \\ &= - (y_1 - a_1^{(3)}) f'(z_1^{(3)}) \frac{\partial z_1^{(3)}}{\partial w^{(3)}_{11}} \\ &= - (y_1 - a_1^{(3)}) f'(z_1^{(3)}) a_1^{(2)} \end{aligned}\]

如果我们把 \(\frac{\partial E}{\partial z_i^{(l)}}\) 记为 \(\delta_i^{(l)}\) ，即规定下面定义：
\[\delta_i^{(l)} \equiv \frac{\partial E}{\partial z_i^{(l)}}\]
则 \(\frac{\partial E}{\partial w^{(3)}_{11}}\) 显然可以写为：
\[\begin{aligned} \frac{\partial E}{\partial w^{(3)}_{11}} &= \frac{\partial E}{\partial z_1^{(3)}} \frac{\partial z_1^{(3)}}{\partial w^{(3)}_{11}} \\ &= \delta_1^{(3)} a_1^{(2)} \end{aligned}\]

其中： \(\delta_1^{(3)} = \frac{\partial E}{\partial z_1^{(3)}} = \frac{\partial E}{\partial a_1^{(3)}} \frac{\partial a_1^{(3)}}{\partial z_1^{(3)}} = - (y_1 - a_1^{(3)}) f'(z_1^{(3)})\)

对于输出层神经元的其它权重参数，同样可求得：
\[\begin{aligned} \frac{\partial E}{\partial w^{(3)}_{12}} = \delta_1^{(3)} a_2^{(2)} \\ \frac{\partial E}{\partial w^{(3)}_{13}} = \delta_1^{(3)} a_3^{(2)} \\ \frac{\partial E}{\partial w^{(3)}_{21}} = \delta_2^{(3)} a_1^{(2)} \\ \frac{\partial E}{\partial w^{(3)}_{22}} = \delta_2^{(3)} a_2^{(2)} \\ \frac{\partial E}{\partial w^{(3)}_{23}} = \delta_2^{(3)} a_3^{(2)} \\ \end{aligned}\]
其中， \(\delta_2^{(3)} = -(y_2 - a_2^{(3)}) f'(z_2^{(3)})\)

说明： 之所以要引入记号 \(\delta_i^{(l)}\) ，除了它能简化 \(\frac{\partial E}{\partial w^{(l)}_{ij}}\) 和 \(\frac{\partial E}{\partial b^{(l)}_i}\) 的表达形式外；更重要的是我们可以通过 \(\delta_i^{(l+1)}\) 来求解 \(\delta_i^{(l)}\) （后文将说明），这样可以充分利用之前计算过的结果来加快整个计算过程。

推广到一般情况，假设神经网络共 \(L\) 层，则：
\[\begin{aligned} & \delta_i^{(L)} = - (y_i - a_i^{(L)}) f'(z_i^{(L)}) && (1 \le i \le n_L) \\ & \frac{\partial E}{\partial w^{(L)}_{ij}} = \delta_i^{(L)} a_j^{(L-1)} && (1 \le i \le n_L, 1 \le j \le n_{L-1}) \end{aligned}\]

如果把上面两式表达为矩阵（向量）形式，则为：
\[\begin{aligned} & \boldsymbol{\delta}^{(L)} = - (\boldsymbol{y} - \boldsymbol{a}^{(L)}) \odot f'(\boldsymbol{z}^{(L)}) \\ & \nabla_{W^{(L)}} E = \boldsymbol{\delta}^{(L)} (\boldsymbol{a}^{(L-1)})^{\mathsf{T}} \\ \end{aligned}\]

注：符号 \(\odot\) 表示 Element-wise Product Operator，又称作 Hadamard product 。规则简单，把对应位置的元素分别相乘即可。如：
\[\left( \begin{array}{cc} a_{11} & a_{12} \\ a_{21} & a_{22} \\ a_{31} & a_{32} \end{array} \right) \odot \left( \begin{array}{cc} b_{11} & b_{12} \\ b_{21} & b_{22} \\ b_{31} & b_{32} \end{array} \right) = \left( \begin{array}{cc} a_{11}b_{11} & a_{12}b_{12} \\ a_{21}b_{21} & a_{22}b_{22} \\ a_{31}b_{31} & a_{32}b_{32} \end{array} \right)\]

向量式子 \(\boldsymbol{\delta}^{(L)} = - (\boldsymbol{y} - \boldsymbol{a}^{(L)}) \odot f'(\boldsymbol{z}^{(L)})\) 在前面的例子中，表达的就是这两个式子：
\[\begin{aligned} \delta_1^{(3)} = - (y_1 - a_1^{(3)}) f'(z_1^{(3)}) \\ \delta_2^{(3)} = -(y_2 - a_2^{(3)}) f'(z_2^{(3)}) \end{aligned}\]

对“隐藏层神经元的权重参数”求偏导，利用 \(\delta_i^{(l)}\) 的定义，有：
\[\begin{aligned} \frac{\partial E}{\partial w^{(l)}_{ij}} &= \frac{\partial E}{\partial z_i^{(l)}} \frac{\partial z_i^{(l)}}{\partial w^{(l)}_{ij}} \\ &= \delta_i^{(l)} \frac{\partial z_i^{(l)}}{\partial w^{(l)}_{ij}} \\ &= \delta_i^{(l)} a_j^{(l-1)} \\ \end{aligned}\]

其中 \(\delta_i^{(l)}, 2 \le l \le L-1\) 的推导如下：
\[\begin{aligned} \delta_i^{(l)} & \equiv \frac{\partial E}{\partial z_i^{(l)}} \\ &= \sum_{j=1}^{n_{l+1}} \frac{\partial E}{\partial z_j^{(l+1)}} \frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}} \\ &= \sum_{j=1}^{n_{l+1}} \delta_j^{(l+1)} \frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}} \\ \end{aligned}\]

上面式子中为什么有 \(\frac{\partial E}{\partial z_i^{(l)}} = \sum_{j=1}^{n_{l+1}} \frac{\partial E}{\partial z_j^{(l+1)}} \frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}\) 呢？其实利用的仅是“函数之和的求导法则”及“求导的链式法则”。如果把 \(E\) 从后往前展开，当展开到 \(l+1\) 层时， \(E\) 可看作是 \(\boldsymbol{z}^{(l+1)}\) 的函数；如果再往前展开一层到 \(l\) 层， \(E\) 可看作是 \(\boldsymbol{z}^{(l)}\) 的函数。 \(E\) 对 \(l\) 层的某个 \(z_i^{(l)}\) 求导时， 由于 \(l+1\) 层的每个神经元都和 \(z_i^{(l)}\) 所在神经元有连接，所以在函数 \(E\) 中，自变量 \(z_i^{(l)}\) 出现了 \(n_{l+1}\) 次，出现的每一次对应一个 \(z_j^{(l+1)}, 1 \le j \le n_{l+1}\) ，从而由“函数之和的求导法则”及“求导的链式法则”有：
\[\begin{aligned} \frac{\partial E}{\partial z_i^{(l)}} &= \frac{\partial E}{\partial z_1^{(l+1)}} \frac{\partial z_1^{(l+1)}}{\partial z_i^{(l)}} + \frac{\partial E}{\partial z_2^{(l+1)}} \frac{\partial z_2^{(l+1)}}{\partial z_i^{(l)}} + \cdots + \frac{\partial E}{\partial z_{n_{l+1}}^{(l+1)}} \frac{\partial z_{n_{l+1}}^{(l+1)}}{\partial z_i^{(l)}} \\ &= \sum_{j=1}^{n_{l+1}} \frac{\partial E}{\partial z_j^{(l+1)}} \frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}} \\ \end{aligned}\]

上面的推导过程可以从图 2 中更清楚地展示出来。

看一个简单的特例，如在图 1 所示神经网络中，有 \(\frac{\partial E}{\partial z_1^{(2)}} = \sum_{j=1}^{2} \frac{\partial E}{\partial z_j^{(3)}} \frac{\partial z_j^{(3)}}{\partial z_1^{(2)}}\)

由于 \(z_j^{(l+1)} = \sum_{i=1}^{n_l} w_{ji}^{(l+1)} a_i^{(l)} + b_j^{(l+1)} = \sum_{i=1}^{n_l} w_{ji}^{(l+1)} f(z_i^{(l)}) + b_j^{(l+1)}\) ，所以有 \(\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}} = \frac{\partial z_j^{(l+1)}}{\partial a_i^{(l)}} \frac{\partial a_i^{(l)}}{\partial z_i^{(l)}} = w_{ji}^{(l+1)} f'(z_i^{(l)})\) ，代入到前面计算的 \(\delta_i^{(l)}\) 式中，从而有：
\[\begin{aligned} {\color{red}{\delta_i^{(l)}}} &= \sum_{j=1}^{n_{l+1}} \delta_j^{(l+1)} w_{ji}^{(l+1)} f'(z_i^{(l)}) \\ &= {\color{red}{\left( \sum_{j=1}^{n_{l+1}} \delta_j^{(l+1)} w_{ji}^{(l+1)} \right) f'(z_i^{(l)})}} \\ \end{aligned}\]

上式是 BP 算法最核心的公式。它利用 \(l+1\) 层的 \(\boldsymbol{\delta}^{(l+1)}\) 来计算 \(l\) 层的 \(\boldsymbol{\delta}^{(l)}\) ，这就是“误差反向传播算法”名字的由来。 如果把它表达为矩阵（向量）形式，则为：
\[\boldsymbol{\delta}^{(l)} = \left((W^{(l+1)})^{\mathsf{T}} \boldsymbol{\delta}^{(l+1)} \right) \odot f'(\boldsymbol{z}^{(l)})\]

利用上面推导出来的隐藏层通用公式，对于图 1 所示神经网络，有：
\[\begin{gathered} \frac{\partial E}{\partial w^{(2)}_{11}} = \left(\delta_1^{(3)} w^{(3)}_{11} + \delta_2^{(3)} w^{(3)}_{21} \right) f'(z_1^{(2)}) a_1^{(1)} \\ \frac{\partial E}{\partial w^{(2)}_{12}} = \left(\delta_1^{(3)} w^{(3)}_{11} + \delta_2^{(3)} w^{(3)}_{21} \right) f'(z_1^{(2)}) a_2^{(1)} \\ \frac{\partial E}{\partial w^{(2)}_{13}} = \left(\delta_1^{(3)} w^{(3)}_{11} + \delta_2^{(3)} w^{(3)}_{21} \right) f'(z_1^{(2)}) a_3^{(1)} \\ \frac{\partial E}{\partial w^{(2)}_{21}} = \left(\delta_1^{(3)} w^{(3)}_{12} + \delta_2^{(3)} w^{(3)}_{22} \right) f'(z_2^{(2)}) a_1^{(1)} \\ \frac{\partial E}{\partial w^{(2)}_{22}} = \left(\delta_1^{(3)} w^{(3)}_{12} + \delta_2^{(3)} w^{(3)}_{22} \right) f'(z_2^{(2)}) a_2^{(1)} \\ \frac{\partial E}{\partial w^{(2)}_{23}} = \left(\delta_1^{(3)} w^{(3)}_{12} + \delta_2^{(3)} w^{(3)}_{22} \right) f'(z_2^{(2)}) a_3^{(1)} \\ \frac{\partial E}{\partial w^{(2)}_{31}} = \left(\delta_1^{(3)} w^{(3)}_{13} + \delta_2^{(3)} w^{(3)}_{23} \right) f'(z_3^{(2)}) a_1^{(1)} \\ \frac{\partial E}{\partial w^{(2)}_{32}} = \left(\delta_1^{(3)} w^{(3)}_{13} + \delta_2^{(3)} w^{(3)}_{23} \right) f'(z_3^{(2)}) a_2^{(1)} \\ \frac{\partial E}{\partial w^{(2)}_{33}} = \left(\delta_1^{(3)} w^{(3)}_{13} + \delta_2^{(3)} w^{(3)}_{23} \right) f'(z_3^{(2)}) a_3^{(1)} \\ \end{gathered}\]

通过把 \(E\) 继续展开到输入层可以验证上面这些式子：
\[\tiny \begin{aligned} E\! &= \frac{1}{2} \Vert \boldsymbol{y} - \boldsymbol{o} \Vert \\ &= \frac{1}{2} \Vert \boldsymbol{y} - \boldsymbol{a}^{(3)} \Vert \\ &= \frac{1}{2} \left((y_1 - a_1^{(3)})^2 + (y_2 - a_2^{(3)})^2 \right) \\ &= \frac{1}{2} \left((y_1 - f(z_1^{(3)}))^2 + (y_2 - f(z_2^{(3)}))^2 \right) \\ &= \frac{1}{2} \left((y_1 - f(w^{(3)}_{11} a^{(2)}_1 + w^{(3)}_{12} a^{(2)}_2 + w^{(3)}_{13} a^{(2)}_3 + b^{(3)}_1))^2 + (y_2 - f(w^{(3)}_{21} a^{(2)}_1 + w^{(3)}_{22} a^{(2)}_2 + w^{(3)}_{23} a^{(2)}_3 + b^{(3)}_2))^2 \right) \\ &= \frac{1}{2} \left((y_1 - f(w^{(3)}_{11} f(z^{(2)}_1) + w^{(3)}_{12} f(z^{(2)}_2) + w^{(3)}_{13} f(z^{(2)}_3) + b^{(3)}_1))^2 + (y_2 - f(w^{(3)}_{21} f(z^{(2)}_1) + w^{(3)}_{22} f(z^{(2)}_2) + w^{(3)}_{23} f(z^{(2)}_3) + b^{(3)}_2))^2 \right) \\ &= \frac{1}{2}\! \left(y_1\! -\! f\! \left(w^{(3)}_{11} f( {\color{red}{w^{(2)}_{11}}} a^{(1)}_1 + w^{(2)}_{12} a^{(1)}_2 + w^{(2)}_{13} a^{(1)}_3 + b^{(2)}_1) + w^{(3)}_{12} f(w^{(2)}_{21} a^{(1)}_1 + w^{(2)}_{22} a^{(1)}_2 + w^{(2)}_{23} a^{(1)}_3 + b^{(2)}_2)\! +\! w^{(3)}_{13} f(w^{(2)}_{31} a^{(1)}_1 + w^{(2)}_{32} a^{(1)}_2 + w^{(2)}_{33} a^{(1)}_3 + b^{(2)}_3) + b^{(3)}_1 \right)\! \right)^2 \\ & \; + \frac{1}{2}\! \left(y_2\! -\! f\! \left(w^{(3)}_{21} f( {\color{red}{w^{(2)}_{11}}} a^{(1)}_1 + w^{(2)}_{12} a^{(1)}_2 + w^{(2)}_{13} a^{(1)}_3 + b^{(2)}_1) + w^{(3)}_{22} f(w^{(2)}_{21} a^{(1)}_1 + w^{(2)}_{22} a^{(1)}_2 + w^{(2)}_{23} a^{(1)}_3 + b^{(2)}_2)\! +\! w^{(3)}_{23} f(w^{(2)}_{31} a^{(1)}_1 + w^{(2)}_{32} a^{(1)}_2 + w^{(2)}_{33} a^{(1)}_3 + b^{(2)}_3) + b^{(3)}_2 \right)\! \right)^2 \end{aligned}\]

上式中， \(a^{(1)}_i = x_i\) ，也就是某个训练数据的第 \(i\) 个维度，可参考图 1 中的表示。

\[\begin{aligned} \frac{\partial E}{\partial b_i^{(l)}} &= \frac{\partial E}{\partial z_i^{(l)}} \frac{\partial z_i^{(l)}}{ b_i^{(l)}} \\ &= \delta_i^{(l)} \end{aligned}\]
对应的矩阵（向量）形式为：
\[\nabla_{b^{(l)}} E = \boldsymbol{\delta}^l\]

前面已经完整地介绍了误差反向传播算法，可总结为下面四个公式：

\begin{align*} & \delta_i^{(L)} = - (y_i - a_i^{(L)}) f'(z_i^{(L)}) \tag{BP-1} \\ & \delta_i^{(l)} = \left( \sum_{j=1}^{n_{l+1}} \delta_j^{(l+1)} w_{ji}^{(l+1)} \right) f'(z_i^{(l)}) \tag{BP-2} \\ & \frac{\partial E}{\partial w^{(l)}_{ij}} = \delta_i^{(l)} a_j^{(l-1)} \tag{BP-3} \\ & \frac{\partial E}{\partial b_i^{(l)}} = \delta_i^{(l)} \tag{BP-4} \\ \end{align*}

这四个公式可以写成对应的矩阵（向量）形式：

\begin{align*} & \boldsymbol{\delta}^{(L)} = - (\boldsymbol{y} - \boldsymbol{a}^{(L)}) \odot f'(\boldsymbol{z}^{(L)}) \tag{BP-1} \\ & \boldsymbol{\delta}^{(l)} = \left((W^{(l+1)})^{\mathsf{T}} \boldsymbol{\delta}^{(l+1)} \right) \odot f'(\boldsymbol{z}^{(l)}) \tag{BP-2} \\ & \frac{\partial E}{\partial W^{(l)}} = \boldsymbol{\delta}^{(l)} (\boldsymbol{a}^{(l-1)})^{\mathsf{T}} \tag{BP-3} \\ & \frac{\partial E}{\partial b^{(l)}} = \boldsymbol{\delta}^l \tag{BP-4} \\ \end{align*}

或者表示为：

\begin{align*} & \boldsymbol{\delta}^{(L)} = - (\boldsymbol{y} - \boldsymbol{a}^{(L)}) \odot f'(\boldsymbol{z}^{(L)}) \tag{BP-1} \\ & \boldsymbol{\delta}^{(l)} = \left((W^{(l+1)})^{\mathsf{T}} \boldsymbol{\delta}^{(l+1)} \right) \odot f'(\boldsymbol{z}^{(l)}) \tag{BP-2} \\ & \nabla_{W^{(l)}} E = \boldsymbol{\delta}^{(l)} (\boldsymbol{a}^{(l-1)})^{\mathsf{T}} \tag{BP-3} \\ & \nabla_{b^{(l)}} E = \boldsymbol{\delta}^l \tag{BP-4} \\ \end{align*}

BP 算法四个核心公式就是求某个训练数据的代价函数对参数的偏导数，它的具体应用步骤总结如下：

第一步，初始化参数 \(W, \boldsymbol{b}\) 。
一般地，把 \(w_{ij}^{(l)}, b_i^{(l)}, 2 \le l \le L\) 初始化为一个很小的，接近于零的随机值。
注意：不要把 \(w_{ij}^{(l)}, b_i^{(l)}, 2 \le l \le L\) 全部初始化为零或者相同的其它值，这会导致对于所有 \(i\) ， \(w_{ij}^{(l)}\) 都会取相同的值。

参考：http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95

第二步，利用下面的“前向传播”公式计算每层的状态和激活值：
\[\begin{aligned} \boldsymbol{z}^{(l)} &= W^{(l)} \boldsymbol{a}^{(l-1)} + \boldsymbol{b}^{(l)} \\ \boldsymbol{a}^{(l)} &= f(\boldsymbol{z}^{(l)})\end{aligned}\]

第三步，计算 \(\boldsymbol{\delta}^{(l)}\)
首先，利用下面公式计算输出层的 \(\boldsymbol{\delta}^{(L)}\)
\[\delta_i^{(L)} = - (y_i - a_i^{(L)}) f'(z_i^{(L)}), \quad (1 \le i \le n_L)\]
其中， \(y_i\) 是期望的输出（这是训练数据给出的已知值）， \(a_i^{(L)}\) 是神经网络对训练数据产生的实际输出。
然后，利用下面公式从第 \(L-1\) 层到第 2 层依次计算隐藏层的 \(\boldsymbol{\delta}^{(l)}, (l = L-1, L-2, L-3, \cdots, 2)\)
\[\delta_i^{(l)} = \left( \sum_{j=1}^{n_{l+1}} \delta_j^{(l+1)} w_{ji}^{(l+1)} \right) f'(z_i^{(l)}), \quad (1 \le i \le n_l)\]

第四步，按下面公式求这个训练数据的代价函数对参数的偏导数：
\[\begin{align*} & \frac{\partial E}{\partial w^{(l)}_{ij}} = \delta_i^{(l)} a_j^{(l-1)} \\ & \frac{\partial E}{\partial b_i^{(l)}} = \delta_i^{(l)} \\ \end{align*}\]

工程实现中注意事项：
在前面传播的过程中，我们已经计算出了所有的 \(a_i^{(l)}\) ，反向传播过程中的 \(f'(z_i^{(l)})\) 可以直接利用 \(a_i^{(l)}\) 来计算。
假设使用的激活函数为 \(f(x) = \frac{1}{1 + e^{-x}}\) ，则 \(f'(x) = -2 \times \frac{1}{(1+e^{-x})^2} \times e^{-x} \times (-1) = \frac{2e^{-x}}{(1+e^{-x})^2}\) ，容易验证它又等于 \(f(x)(1-f(x))\) ，因此： \(f'(z_i^{(l)}) = a_i^{(l)} (1 - a_i^{(l)})\)

“批量梯度下降”算法更新参数的总结如下：
(1) 用 BP 算法四个核心公式求得每一个训练数据的代价函数对参数的偏导数；
(2) 按下面公式更新参数：
\[\begin{aligned} W^{(l)} &= W^{(l)} - \frac{\mu}{N} \sum_{i=1}^{N} \frac{\partial E_{(i)}}{\partial W^{(l)}} \\ \boldsymbol{b}^{(l)} &= \boldsymbol{b}^{(l)} - \frac{\mu}{N} \sum_{i=1}^{N} \frac{\partial E_{(i)}}{\boldsymbol{b}^{(l)}} \\ \end{aligned}\]
(3) 迭代执行第(1),(2)步，直到满足停止准则（比如相邻两次迭代的误差的差别很小，或者直接限制迭代的次数）。

说明：每对参数进行一次更新都要遍历整个训练数据集，当训练数据集不大时这不是问题，当训练数据集非常巨大时，可以采用“随机梯度下降法”（每次仅使用一个训练数据来更新参数）。