神经网络优化任务的一般描述

一个估计器可以描述为如下形式. 其中$\mathbf{\Theta }$是参数集合, $\mathbf{x}$和$\hat{\mathbf{y}}$分别是输入和输出.

$$\hat{\mathbf{y}}=f(\mathbf{x},\mathbf{\Theta })$$

而学习目标则要求最小化损失函数$J$

$$\underset{\mathbf{\Theta }}{min}J(\mathbf{\Theta },\mathbf{x},\mathbf{y})$$

如果$J$是比较简单的形式, 如感知机中的均方误差MSE, 那么可以将$J$视为$\theta$的函数, 直接求导后使用梯度下降进行最优化求解. 下式中的$\lambda$为学习率.

$$\theta \leftarrow \theta -\lambda {\mathrm{\nabla }}_{\theta }J(\theta ),\mathrm{\forall }\theta \in \mathbf{\Theta }$$

为方便理解, 可以将$\theta$视为自变量, 而$\mathbf{x}$和$\mathbf{y}$视为损失函数的参数.

但是如果$J$是比较复杂的形式, 比如是某个$\theta \in \mathrm{\Theta }$的复合函数, 甚至对每个参数$\theta$的复合层级并不一致, 那么无法直接求得$J$对$\theta$的偏导数. 多层神经网络就是一个例子. 在这种情况下, 就需要用到反向传播(BP)算法.

BP算法一般形式的推导

首先回忆一下复合函数求导法则和多元复合函数求导法则:

$$\begin{array}{rl}{\mathrm{\nabla }}_{x}f(g(x))& =\frac{\partial f}{\partial g}\frac{\partial g}{\partial x}\\ {\mathrm{\nabla }}_{x}f(g(x),h(x))& =\frac{\partial f}{\partial g}\frac{\partial g}{\partial x}+\frac{\partial f}{\partial h}\frac{\partial h}{\partial x}\end{array}$$

考虑如下图所示的神经元, 其中一个神经元的输出被多个不同分支的神经元作为输入(当然也可以是一个或者没有).

这里的损失函数可以表示为$f,\mathbf{h}$的多元复合函数

$$J(\theta )=J(h_1(f(\theta )),h_2(f(\theta )),h_3(f(\theta )))=J(\mathbf{h}(f(\theta )))$$

那么损失函数对参数$\theta$的偏导数呼之欲出

$$\begin{array}{rl}{\mathrm{\nabla }}_{f}J& =\frac{\partial J}{\partial h_1}\frac{\partial h_1}{\partial f}+\frac{\partial J}{\partial h_2}\frac{\partial h_2}{\partial f}+\frac{\partial J}{\partial h_3}\frac{\partial h_3}{\partial f}={\mathrm{\nabla }}_{\mathbf{h}}J\cdot {\mathrm{\nabla }}_f\mathbf{h}\\ {\mathrm{\nabla }}_{\theta }J& =\frac{\partial J}{\partial f}\frac{\partial f}{\partial \theta }=({\mathrm{\nabla }}_{\mathbf{h}}J\cdot {\mathrm{\nabla }}_f\mathbf{h}){\mathrm{\nabla }}_{\theta }f\end{array}$$

整理一下便可以得到本文结论(典型的动态规划递推公式)

$$\begin{array}{rlrl}{\mathrm{\nabla }}_{f}J& ={\mathrm{\nabla }}_{\mathbf{h}}J\cdot {\mathrm{\nabla }}_f\mathbf{h}& ,& \text{Residual}\\ {\mathrm{\nabla }}_{\theta }J& ={\mathrm{\nabla }}_{f}J{\mathrm{\nabla }}_{\theta }f& ,& \text{Gradience to parameter }\theta \end{array}$$

可见损失函数$J$对参数$\theta$的梯度可以分为三个要件:

• ${\mathrm{\nabla }}_{\mathbf{h}}J$这个向量是损失函数对$f$所有直接后继节点的梯度
• ${\mathrm{\nabla }}_f\mathbf{h}$这个向量是$f$的所有直接后继节点对$f$本身的梯度
• ${\mathrm{\nabla }}_{\theta }f$这个数值就是$f$对参数$\theta$的梯度

注意前两个部分的点积组成了损失函数对$f$本身的梯度, 而这一梯度会在节点$f$的直接前驱节点的BP过程中使用到.

实际BP应用举例

在实际应用的时候, 也就是自定义一个神经网络的层的时候, 最需要注意的是, 只需要关心:

1. 本层传递给后继层的输出是什么? (其shape必然仅与本层相关)
2. 得到后继层反传来的残差后, 本层应该如何计算梯度并更新参数? (梯度的shape必然仅与本层参数的shape相关)
3. 得到后继层反传来的残差后, 本层反传给前驱层的残差是什么? (其shape必然仅与本层的输入相关)

前馈全连接网络

如果前馈全连接网络的输入是${\mathbf{x}}_0$, 输出是$\mathbf{y}$, 网络包含$n+1$层, 第$i$层的参数矩阵为${\mathbf{\Theta }}_i$, 则网络可以表示为

$$\begin{array}{rl}{\mathbf{x}}_1& =f_0({\mathbf{x}}_0,{\mathbf{\Theta }}_0)\\ {\mathbf{x}}_2& =f_1({\mathbf{x}}_1,{\mathbf{\Theta }}_1)\\ & \dots \\ {\mathbf{x}}_n& =f_{n-1}({\mathbf{x}}_{n-1},{\mathbf{\Theta }}_{n-1})\\ \hat{\mathbf{y}}& =f_n({\mathbf{x}}_n,{\mathbf{\Theta }}_n)\end{array}$$

其中, 如果对于某一层$i$, 其前驱, 本身, 后继层的节点个数分别为$l,m,n$, 那么

$$f_i({\mathbf{x}}_i,{\mathbf{\Theta }}_i)=\{\begin{array}{ll}{\mathbf{\Theta }}_i{\mathbf{x}}_i,{\mathbf{\Theta }}_i\in {\mathbb{R}}^{m\times l},{\mathbf{x}}_i\in {\mathbb{R}}^l,& \text{如果是连接层}\\ max(0,{\mathbf{x}}_i),{\mathbf{x}}_i\in {\mathbb{R}}^l,& \text{如果是激活层且使用relu}\end{array}$$

而目标为最小化损失函数

$$\underset{{\mathrm{\Theta }}_0,\dots ,{\mathrm{\Theta }}_n}{min}J({\mathbf{x}}_0,\mathbf{y},{\mathbf{\Theta }}_0,{\mathbf{\Theta }}_1,\dots ,{\mathbf{\Theta }}_{n-1},{\mathbf{\Theta }}_n)$$

为方便理解, 这里将${\mathrm{\nabla }}_{f_i}J$简写为${\mathrm{\nabla }}_i$. 对第$i$层套用BP过程的结论

$$\begin{array}{rl}{\mathrm{\nabla }}_i& =\varphi ({\mathrm{\nabla }}_{f_i}{f}_{i+1},{\mathrm{\nabla }}_{i+1})=\varphi ({\mathrm{\nabla }}_{{\mathbf{x}}_{i+1}}{f}_{i+1},{\mathrm{\nabla }}_{i+1})\in {\mathbb{R}}^m\\ {\mathrm{\nabla }}_{{\mathbf{\Theta }}_i}J& ={\mathrm{\nabla }}_i\otimes {\mathrm{\nabla }}_{{\mathbf{\Theta }}_i}{f}_i\in {\mathbb{R}}^{m\times l}\end{array}$$

其中

$$\begin{array}{rl}\varphi (\mathbf{A},\mathbf{b})& =\{\begin{array}{ll}{\mathbf{A}}^{\mathsf{T}}\mathbf{b}\text{(matrix-vector product)}& \text{如果第}i+1\text{层是连接层}\\ \mathbf{A}\circ \mathbf{b}\text{(entry-wise product)}& \text{如果第}i+1\text{层是激活层, 注意此时}l=m\text{且}\mathbf{A}\text{实际上是向量}\end{array}\\ {\mathrm{\nabla }}_{{\mathbf{x}}_{i+1}}{f}_{i+1}& =\{\begin{array}{ll}{\mathbf{\Theta }}_{i+1}\in {\mathbb{R}}^{n\times m},& \text{如果第}i+1\text{层是连接层}\\ max(0,\text{sgn}({\mathbf{x}}_{i+1}))\in {\mathbb{R}}^m,& \text{如果第}i+1\text{层是激活层}\end{array}\\ {\mathrm{\nabla }}_{{\mathbf{\Theta }}_i}{f}_i& =\{\begin{array}{ll}{\mathbf{x}}_i\in {\mathbb{R}}^l,& \text{如果第}i\text{层是连接层}\\ 0,& \text{如果第}i\text{层是激活层}\end{array}\end{array}$$

练习题

1. 卷积层的前向和后向过程分别是怎样的? (参考卷积神经网络概要)
2. 池化层的呢?
3. 各种Normalization层呢?
4. 循环神经网络的呢?

参考文献

1. 链式法则 - Wikipedia
2. Tensor Product - Wikipedia
3. List of mathematical symbols - Wikipedia