神经网络误差和梯度公式推导

输出误差公式从定义出发的推导过程

首先计算损失 L 对输出层线性组合${\mathbf{z}}^{(3)}$ 的梯度，我们称之为误差 ${\delta }^{(3)}$
根据定义我们写出计算公式如下 ${\delta }^{(3)}=\frac{\partial L}{\partial z_3}$
我们来推导下通解 $\frac{\partial L}{\partial z_k}$

可按链式法则写为 $\frac{\partial L}{\partial z_k}={\sum }_{i=1}^K\frac{\partial L}{\partial a_i}\frac{\partial a_i}{\partial z_k}$

因为交叉熵损失为$L=-{\sum }_{i=1}^3{t}_i\ln (a_i)$ 根据基本函数导数，第一部分等于 $\frac{\partial L}{\partial a_i}=-\frac{t_i}{a_i}$

代入链式法则，有
$$\frac{\partial L}{\partial z_k}=\sum _{i=1}^K\left(-\frac{t_i}{a_i}\right)\frac{\partial a_i}{\partial z_k}.$$

接下来需要求出 $\frac{\partial a_i}{\partial z_k}$（Softmax 的雅可比矩阵）其结果为：

$$
\frac{\partial a_i}{\partial z_k} =
\begin{cases}
a_i (1 - a_i), & i=k,\[1mm]

• a_i a_k, & i \neq k.
  \end{cases}
  $$

将求和拆开，分两种情况讨论 $i=k$ 和 $i\ne k$：
当 $i=k$ 时：$\text{项1}=-\frac{t_k}{a_k}{a}_k(1-a_k)=-t_k(1-a_k).$
当 $i\ne k$ 时：$$\text{项2}=\sum _{i\ne k}-\frac{t_i}{a_i}(-a_i{a}_k)=\sum _{i\ne k}{t}_i{a}_k.$$
因为 $a_k$与求和无关，因此$$\text{项2}=a_k\sum _{i\ne k}{t}_i.$$因为 one-hot 编码下，只有某一个分量为 1，其余为 0。假设目标类别为 $k^{\ast }$，那么对于 $k=k^{\ast }$有 $t_{k^{\ast }}=1$ 和对其他 $i$ $t_i=0$。

因此对于 $k=k^{\ast }$（正确类别）：
$$\frac{\partial L}{\partial z_{k^{\ast }}}=-1(1-a_{k^{\ast }})+a_{k^{\ast }}\sum _{i\ne k^{\ast }}0=a_{k^{\ast }}-1.$$
对于 $k\ne k^{\ast }$： $\frac{\partial L}{\partial z_k}=-0(1-a_k)+a_k(1)=a_k$

因此可以统一写成$\frac{\partial L}{\partial z_k}=a_k-t_k,$

权重梯度公式从定义出发的推导过程

权重${\mathbf{W}}^{(2)}$ 的梯度按照定义其公式$\frac{\partial L}{\partial W^{(2)}}$
通过链式法则如下:
$$\frac{\partial L}{\partial W^{(2)}}=\frac{\partial L}{\partial z^{(3)}}\cdot \frac{\partial z^{(3)}}{\partial W^{(2)}}$$
把$z^{(3)}=W^{(2)}.a^{(2)}+b^{(2)}$展开
$$z_j^{(3)}=\sum _{i=1}^2{W}_{ji}^{(2)}\cdot a_i^{(2)}+b_j^{(2)}(j=1,2,3)$$
对单个元素求导（根据求导规则只有k=i时,$W_{ji}^{(2)}$ 会出现在求和公式中化简如下）
$$\frac{\partial z_j^{(3)}}{\partial W_{ji}^{(2)}}=\frac{\partial }{\partial W_{ji}^{(2)}}\left(\sum _{k=1}^2{W}_{jk}^{(2)}\cdot a_k^{(2)}+b_j^{(2)}\right)=a_i^{(2)}$$

其实求偏导的时候不用考虑$b_j^{(2)}$ ,会变成0，所以我们可以把矩阵乘法${\sum }_{k=1}^2{W}_{jk}^{(2)}\cdot a_k^{(2)}$ 展开
$$\left[\begin{array}{c}{w}_{11}{a}_1+w_{21}{a}_2\\ w_{12}{a}_1+w_{22}{a}_2\\ w_{13}{a}_1+w_{23}{a}_2\end{array}\right]$$
对$W^{(2)}$ 任意元素$w_{ij}$求偏导导 为 $a_j$ ,矩阵求偏导具体结果如下:
$$\frac{\partial z^{(3)}}{\partial W^{(2)}}=\left[\begin{array}{cc}{a}_1& a_2\\ a_1& a_2\\ a_1& a_2\end{array}\right]$$
这就是一个雅可比矩阵，就是因变量对自变量的一阶偏导数构成的矩阵。因为${\delta }^{(3)}$ （3x1矩阵）和 $\frac{\partial z^{(3)}}{\partial W^{(2)}}$ （3x2矩阵）按照正规矩阵无法相乘，但由于$\frac{\partial z^{(3)}}{\partial W^{(2)}}$ 每行都相同都是 $({\mathbf{a}}^{(2)}{)}^T$ （1x2矩阵），可以用向量与矩阵的逐行加权做"乘法"，具体就是把${\delta }^{(3)}$ 看作3个标量(${\delta }_1^{(3)},{\delta }_2^{(3)},{\delta }_3^{(3)}$) , 然后每一个${\delta }_i^{(3)}$ 与 $\frac{\partial z^{(3)}}{\partial W^{(2)}}$ 的第i行($({\mathbf{a}}^{(2)}{)}^T$)相乘, 结果按照行堆叠，最终结果和${\delta }^{(3)}\cdot ({\mathbf{a}}^{(2)}{)}^T$ 完全等价。所以

$$\frac{\partial L}{\partial W_{ij}^{(2)}}={\delta }_i^{(3)}\cdot a_j^{(2)}$$

其中 $i$ 表示输出层的神经元索引 (1 到 3)，$j$ 表示隐层神经元索引 (1 到 2)。故可写成矩阵形式：
$${\nabla }_{{\mathbf{W}}^{(2)}}L={\delta }^{(3)}\cdot ({\mathbf{a}}^{(2)}{)}^T$$
这个转置是链式法则中的维度匹配，是元素级求导和维度匹配共同的结果，当然也符合反向传递和矩阵乘法逻辑要求。后面这个结论可以直接用。