深度学习实战教程(三):神经网络和反向传播算法

2018年11月26日16:26:58 4 621 °C
摘要

我们将把这些单独的单元按照一定的规则相互连接在一起形成神经网络,从而奇迹般的获得了强大的学习能力。我们还将介绍这种网络的训练算法:反向传播算法。最后,我们依然用代码实现一个神经网络。如果您能坚持到本文的结尾,将会看到我们用自己实现的神经网络去识别手写数字。现在请做好准备,您即将双手触及到深度学习的大门。

深度学习实战教程(三):神经网络和反向传播算法

往期回顾

在上一篇文章中,我们已经掌握了机器学习的基本套路,对模型、目标函数、优化算法这些概念有了一定程度的理解,而且已经会训练单个的感知器或者线性单元了。在这篇文章中,我们将把这些单独的单元按照一定的规则相互连接在一起形成神经网络,从而奇迹般的获得了强大的学习能力。我们还将介绍这种网络的训练算法:反向传播算法。最后,我们依然用代码实现一个神经网络。如果您能坚持到本文的结尾,将会看到我们用自己实现的神经网络去识别手写数字。现在请做好准备,您即将双手触及到深度学习的大门。

神经元

神经元和感知器本质上是一样的,只不过我们说感知器的时候,它的激活函数是阶跃函数;而当我们说神经元时,激活函数往往选择为sigmoid函数或tanh函数。如下图所示:

深度学习实战教程(三):神经网络和反向传播算法

计算一个神经元的输出的方法和计算一个感知器的输出是一样的。假设神经元的输入是向量\(\vec{x}\),权重向量是\(\vec{w}\)(偏置项是\(w_0\),激活函数是sigmoid函数,则其输出y:

\(y=sigmoid(\vec{w}^T·\vec{x})\qquad(式1)\)

sigmoid函数的定义如下:

\(sigmoid(x)=\frac{1}{1+e^{-x}}\)

将其带入前面的式子,得到

\(y=\frac{1}{1+e^{-\vec{w}^T·\vec{x}}}\)

sigmoid函数是一个非线性函数,值域是(0,1)。函数图像如下图所示

深度学习实战教程(三):神经网络和反向传播算法

sigmoid函数的导数是:

\(\begin{align}
&令y=sigmoid(x)\\
&则y'=y(1-y)
\end{align}\)

可以看到,sigmoid函数的导数非常有趣,它可以用sigmoid函数自身来表示。这样,一旦计算出sigmoid函数的值,计算它的导数的值就非常方便。

神经网络是啥

深度学习实战教程(三):神经网络和反向传播算法

神经网络其实就是按照一定规则连接起来的多个神经元。上图展示了一个全连接(full connected, FC)神经网络,通过观察上面的图,我们可以发现它的规则包括:

  • 神经元按照来布局。最左边的层叫做输入层,负责接收输入数据;最右边的层叫输出层,我们可以从这层获取神经网络输出数据。输入层和输出层之间的层叫做隐藏层,因为它们对于外部来说是不可见的。
  • 同一层的神经元之间没有连接。
  • 第N层的每个神经元和第N-1层的所有神经元相连(这就是full connected的含义),第N-1层神经元的输出就是第N层神经元的输入。
  • 每个连接都有一个权值

上面这些规则定义了全连接神经网络的结构。事实上还存在很多其它结构的神经网络,比如卷积神经网络(CNN)、循环神经网络(RNN),他们都具有不同的连接规则。

计算神经网络的输出

神经网络实际上就是一个输入向量\(\vec{x}\)到输出向量\(\vec{y}\)的函数,即:

\(\vec{y} = f_{network}(\vec{x})\)

根据输入计算神经网络的输出,需要首先将输入向量\(\vec{x}\)的每个元素\(x_i\)的值赋给神经网络的输入层的对应神经元,然后根据式1依次向前计算每一层的每个神经元的值,直到最后一层输出层的所有神经元的值计算完毕。最后,将输出层每个神经元的值串在一起就得到了输出向量\(\vec{y}\)。

接下来举一个例子来说明这个过程,我们先给神经网络的每个单元写上编号。

深度学习实战教程(三):神经网络和反向传播算法

如上图,输入层有三个节点,我们将其依次编号为1、2、3;隐藏层的4个节点,编号依次为4、5、6、7;最后输出层的两个节点编号为8、9。因为我们这个神经网络是全连接网络,所以可以看到每个节点都和上一层的所有节点有连接。比如,我们可以看到隐藏层的节点4,它和输入层的三个节点1、2、3之间都有连接,其连接上的权重分别为\(w_{41},w_{42},w_{43}\)。那么,我们怎样计算节点4的输出值\(a_4\)呢?

为了计算节点4的输出值,我们必须先得到其所有上游节点(也就是节点1、2、3)的输出值。节点1、2、3是输入层的节点,所以,他们的输出值就是输入向量\(\vec{x}\)本身。按照上图画出的对应关系,可以看到节点1、2、3的输出值分别是\(x_1,x_2,x_3\)。我们要求输入向量的维度和输入层神经元个数相同,而输入向量的某个元素对应到哪个输入节点是可以自由决定的,你偏非要把\(x_1\)赋值给节点2也是完全没有问题的,但这样除了把自己弄晕之外,并没有什么价值。

一旦我们有了节点1、2、3的输出值,我们就可以根据式1计算节点4的输出值\(a_4\):

\(\begin{align}
a_4&=sigmoid(\vec{w}^T·\vec{x})\\
&=sigmoid(w_{41}x_1+w_{42}x_2+w_{43}x_3+w_{4b})
\end{align}\)

上式的\(w_{4b}\)是节点4的偏置项,图中没有画出来。而\(w_{41},w_{42},w_{43}\)分别为节点1、2、3到节点4连接的权重,在给权重\(w_{ji}\)编号时,我们把目标节点的编号j放在前面,把源节点的编号i放在后面。

同样,我们可以继续计算出节点5、6、7的输出值\(a_5,a_6,a_7\)这样,隐藏层的4个节点的输出值就计算完成了,我们就可以接着计算输出层的节点8的输出值\(y_1\):

\(\begin{align}
y_1&=sigmoid(\vec{w}^T·\vec{a})\\
&=sigmoid(w_{84}a_4+w_{85}a_5+w_{86}a_6+w_{87}a_7+w_{8b})
\end{align}\)

同理,我们还可以计算出\(y_2\)的值。这样输出层所有节点的输出值计算完毕,我们就得到了在输入向量\(\vec{x}=\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}\)时,神经网络的输出向量\(\vec{y}=\begin{bmatrix}y_1\\y_2\end{bmatrix}\)。这里我们也看到,输出向量的维度和输出层神经元个数相同

神经网络的矩阵表示

神经网络的计算如果用矩阵来表示会很方便(当然逼格也更高),我们先来看看隐藏层的矩阵表示。

首先我们把隐藏层4个节点的计算依次排列出来:

深度学习实战教程(三):神经网络和反向传播算法

接着,定义网络的输入向量\(\vec{x}\)和隐藏层每个节点的权重向量\(\vec{w_j}\)。令

深度学习实战教程(三):神经网络和反向传播算法

代入到前面的一组式子,得到:

深度学习实战教程(三):神经网络和反向传播算法

现在,我们把上述计算\(a_4,a_5,a_6,a_7\)的四个式子写到一个矩阵里面,每个式子作为矩阵的一行,就可以利用矩阵来表示它们的计算了。令

深度学习实战教程(三):神经网络和反向传播算法

带入前面的一组式子,得到

\(\vec{a}=f(W·\vec{x})\qquad (式2)\)

式2中,\(f\)是激活函数,在本例中是\(sigmoid\)函数;\(W\)是某一层的权重矩阵;\(\vec{x}\)是某层的输入向量;\(\vec{a}\)是某层的输出向量。式2说明神经网络的每一层的作用实际上就是先将输入向量左乘一个数组进行线性变换,得到一个新的向量,然后再对这个向量逐元素应用一个激活函数。

每一层的算法都是一样的。比如,对于包含一个输入层,一个输出层和三个隐藏层的神经网络,我们假设其权重矩阵分别为\(W_1,W_2,W_3,W_4\),每个隐藏层的输出分别是\(\vec{a}_1,\vec{a}_2,\vec{a}_3\),神经网络的输入为\(\vec{x}\),神经网络的输入为\(\vec{y}\),如下图所示:深度学习实战教程(三):神经网络和反向传播算法

则每一层的输出向量的计算可以表示为:

深度学习实战教程(三):神经网络和反向传播算法

这就是神经网络输出值的计算方法。

神经网络的训练

现在,我们需要知道一个神经网络的每个连接上的权值是如何得到的。我们可以说神经网络是一个模型,那么这些权值就是模型的参数,也就是模型要学习的东西。然而,一个神经网络的连接方式、网络的层数、每层的节点数这些参数,则不是学习出来的,而是人为事先设置的。对于这些人为设置的参数,我们称之为超参数(Hyper-Parameters)

接下来,我们将要介绍神经网络的训练算法:反向传播算法。

反向传播算法(Back Propagation)

我们首先直观的介绍反向传播算法,最后再来介绍这个算法的推导。当然读者也可以完全跳过推导部分,因为即使不知道如何推导,也不影响你写出来一个神经网络的训练代码。事实上,现在神经网络成熟的开源实现多如牛毛,除了练手之外,你可能都没有机会需要去写一个神经网络。

我们以监督学习为例来解释反向传播算法。在深度学习实战教程(二):线性单元和梯度下降一文中我们介绍了什么是监督学习,如果忘记了可以再看一下。另外,我们设神经元的激活函数\(f\)为\(sgmoid\)函数(不同激活函数的计算公式不同,详情见反向传播算法的推导)。

我们假设每个训练样本为\((\vec{x},\vec{t})\),其中向量\(\vec{x}\)是训练样本的特征,而\(\vec{t}\)是样本的目标值。

深度学习实战教程(三):神经网络和反向传播算法

首先,我们根据上一节介绍的算法,用样本的特征,计算出神经网络中每个隐藏层节点的输出,以及输出层每个节点的输出\(y_i\)。

然后,我们按照下面的方法计算出每个节点的误差项\(\delta_i\):

  • 对于输出层节点i,

\(\delta_i=y_i(1-y_i)(t_i-y_i)\qquad(式3)\)

其中,\(\delta_i\)是节点i的误差项,\(y_i\)是节点i的输出值,\(t_i\)是样本对应于节点i的目标值。举个例子,根据上图,对于输出层节点8来说,它的输出值是\(y_1\),而样本的目标值是\(t_1\),带入上面的公式得到节点8的误差项\(\delta_8\)应该是:

\(\delta_8=y_1(1-y_1)(t_1-y_1)\)

  • 对于隐藏层节点,

\(\delta_i=a_i(1-a_i)\sum_{k\in{outputs}}w_{ki}\delta_k\qquad(式4)\)

其中,\(a_i\)是节点i的输出值,\(w_{ki}\)是节点i到它的下一层节点k的连接的权重,\(\delta_k\)是节点i的下一层节点k的误差项。例如,对于隐藏层节点4来说,计算方法如下:

\(\delta_4=a_4(1-a_4)(w_{84}\delta_8+w_{94}\delta_9)\)

最后,更新每个连接上的权值:

\(w_{ji}\gets w_{ji}+\eta\delta_jx_{ji}\qquad(式5)\)

其中,\(w_{ji}\)是节点i到节点j的权重,\(\eta\)是一个成为学习速率的常数,\(\delta_j\)是节点j的误差项,\(x_{ji}\)是节点i传递给节点j的输入。例如,权重\(w_{84}\)的更新方法如下:

\(w_{84}\gets w_{84}+\eta\delta_8 a_4\)

类似的,权重\(w_{41}\)的更新方法如下:

\(w_{41}\gets w_{41}+\eta\delta_4 x_1\)

偏置项的输入值永远为1。例如,节点4的偏置项\(w_{4b}\)应该按照下面的方法计算:

\(w_{4b}\gets w_{4b}+\eta\delta_4\)

我们已经介绍了神经网络每个节点误差项的计算和权重更新方法。显然,计算一个节点的误差项,需要先计算每个与其相连的下一层节点的误差项。这就要求误差项的计算顺序必须是从输出层开始,然后反向依次计算每个隐藏层的误差项,直到与输入层相连的那个隐藏层。这就是反向传播算法的名字的含义。当所有节点的误差项计算完毕后,我们就可以根据式5来更新所有的权重。

以上就是基本的反向传播算法,并不是很复杂,您弄清楚了么?

反向传播算法的推导

反向传播算法其实就是链式求导法则的应用。然而,这个如此简单且显而易见的方法,却是在Roseblatt提出感知器算法将近30年之后才被发明和普及的。对此,Bengio这样回应道:

很多看似显而易见的想法只有在事后才变得显而易见。

接下来,我们用链式求导法则来推导反向传播算法,也就是上一小节的式3式4式5

前方高能预警——接下来是数学公式重灾区,读者可以酌情阅读,不必强求。

按照机器学习的通用套路,我们先确定神经网络的目标函数,然后用随机梯度下降优化算法去求目标函数最小值时的参数值。

我们取网络所有输出层节点的误差平方和作为目标函数:

\(E_d\equiv\frac{1}{2}\sum_{i\in outputs}(t_i-y_i)^2\)

其中,\(E_d\)表示是样本d的误差。

然后,我们用文章深度学习实战教程(二):线性单元和梯度下降中介绍的随机梯度下降算法对目标函数进行优化:

\(w_{ji}\gets w_{ji}-\eta\frac{\partial{E_d}}{\partial{w_{ji}}}\)

随机梯度下降算法也就是需要求出误差\(E_d\)对于每个权重\(w_{ji}\)的偏导数(也就是梯度),怎么求呢?

深度学习实战教程(三):神经网络和反向传播算法

观察上图,我们发现权重\(w_{ji}\)仅能通过影响节点j的输入值影响网络的其它部分,设\(net_j\)是节点j加权输入,即

深度学习实战教程(三):神经网络和反向传播算法

\(E_d\)是\(net_j\)的函数,而\(net_j\)是\(w_{ji}\)的函数。根据链式求导法则,可以得到:

深度学习实战教程(三):神经网络和反向传播算法

上式中,\(x_{ji}\)是节点i传递给节点j的输入值,也就是节点i的输出值。

对于\(\frac{\partial{E_d}}{\partial{net_j}}\)的推导,需要区分输出层隐藏层两种情况。

输出层权值训练

对于输出层来说,\(net_j\)仅能通过节点j的输出值\(y_j\)来影响网络其它部分,也就是说\(E_d\)是\(y_j\)的函数,而\(y_j\)是\(net_j\)的函数,其中z\(y_j=sigmoid(net_j)\)。所以我们可以再次使用链式求导法则:

深度学习实战教程(三):神经网络和反向传播算法

考虑上式第一项:

深度学习实战教程(三):神经网络和反向传播算法

考虑上式第二项:

深度学习实战教程(三):神经网络和反向传播算法

将第一项和第二项带入,得到:

深度学习实战教程(三):神经网络和反向传播算法

如果令\(\delta_j=-\frac{\partial{E_d}}{\partial{net_j}}\),也就是一个节点的误差项\(\delta\)是网络误差对这个节点输入的偏导数的相反数。带入上式,得到:

深度学习实战教程(三):神经网络和反向传播算法

上式就是式3

将上述推导带入随机梯度下降公式,得到:

深度学习实战教程(三):神经网络和反向传播算法

上式就是式5

隐藏层权值训练

现在我们要推导出隐藏层的\(\frac{\partial{E_d}}{\partial{net_j}}\)。

首先,我们需要定义节点j的所有直接下游节点的集合\(Downstream(j)\)。例如,对于节点4来说,它的直接下游节点是节点8、节点9。可以看到\(net_j\)只能通过影响\(Downstream(j)\)再影响\(E_d\)。设\(net_k\)是节点j的下游节点的输入,则\(E_d\)是\(net_k\)的函数,而\(net_k\)是\(net_j\)的函数。因为\(net_k\)有多个,我们应用全导数公式,可以做出如下推导:

深度学习实战教程(三):神经网络和反向传播算法

因为\(\delta_j=-\frac{\partial{E_d}}{\partial{net_j}}\),带入上式得到:

深度学习实战教程(三):神经网络和反向传播算法

上式就是式4

——数学公式警报解除——

至此,我们已经推导出了反向传播算法。需要注意的是,我们刚刚推导出的训练规则是根据激活函数是sigmoid函数、平方和误差、全连接网络、随机梯度下降优化算法。如果激活函数不同、误差计算方式不同、网络连接结构不同、优化算法不同,则具体的训练规则也会不一样。但是无论怎样,训练规则的推导方式都是一样的,应用链式求导法则进行推导即可。

神经网络的实现

完整代码请参考GitHub:点击查看

现在,我们要根据前面的算法,创建bp.py编写代码,实现一个基本的全连接神经网络,这并不需要太多代码。我们在这里依然采用面向对象设计。

首先,我们先做一个基本的模型:

深度学习实战教程(三):神经网络和反向传播算法

如上图,可以分解出5个领域对象来实现神经网络:

  • Network 神经网络对象,提供API接口。它由若干层对象组成以及连接对象组成。
  • Layer 层对象,由多个节点组成。
  • Node 节点对象计算和记录节点自身的信息(比如输出值\(a\)、误差项等\(\delta\)),以及与这个节点相关的上下游的连接。
  • Connection 每个连接对象都要记录该连接的权重。
  • Connections 仅仅作为Connection的集合对象,提供一些集合操作。

Node实现如下:

ConstNode对象,为了实现一个输出恒为1的节点(计算偏置项\(w_b\)时需要)

Layer对象,负责初始化一层。此外,作为Node的集合对象,提供对Node集合的操作。

Connection对象,主要职责是记录连接的权重,以及这个连接所关联的上下游节点。

Connections对象,提供Connection集合操作。

Network对象,提供API。

至此,实现了一个基本的全连接神经网络。可以看到,同神经网络的强大学习能力相比,其实现还算是很容易的。

梯度检查

怎么保证自己写的神经网络没有BUG呢?事实上这是一个非常重要的问题。一方面,千辛万苦想到一个算法,结果效果不理想,那么是算法本身错了还是代码实现错了呢?定位这种问题肯定要花费大量的时间和精力。另一方面,由于神经网络的复杂性,我们几乎无法事先知道神经网络的输入和输出,因此类似TDD(测试驱动开发)这样的开发方法似乎也不可行。

办法还是有滴,就是利用梯度检查来确认程序是否正确。梯度检查的思路如下:

对于梯度下降算法:

\(w_{ji}\gets w_{ji}-\eta\frac{\partial{E_d}}{\partial{w_{ji}}}\)

来说,这里关键之处在于\(\frac{\partial{E_d}}{\partial{w_{ji}}}\)的计算一定要正确,而它是\(E_d\)对\(w_{ji}\)的偏导数。而根据导数的定义:

\(f'(\theta)=\lim_{\epsilon->0}\frac{f(\theta+\epsilon)-f(\theta-\epsilon)}{2\epsilon}\)

对于任意\(\theta\)的导数值,我们都可以用等式右边来近似计算。我们把\(E_d\)看做是\(w_{ji}\)的函数,即\(E_d(w_{ji})\),那么根据导数定义,\(\frac{\partial{E_d(w_{ji})}}{\partial{w_{ji}}}\)应该等于:

\(\frac{\partial{E_d(w_{ji})}}{\partial{w_{ji}}}=\lim_{\epsilon->0}\frac{f(w_{ji}+\epsilon)-f(w_{ji}-\epsilon)}{2\epsilon}\)

如果把\(\epsilon\)设置为一个很小的数(比如\(10^{-4}\)),那么上式可以写成:

\(\frac{\partial{E_d(w_{ji})}}{\partial{w_{ji}}}\approx\frac{f(w_{ji}+\epsilon)-f(w_{ji}-\epsilon)}{2\epsilon}\qquad(式6)\)

我们就可以利用式6,来计算梯度\(\frac{\partial{E_d}}{\partial{w_{ji}}}\)的值,然后同我们神经网络代码中计算出来的梯度值进行比较。如果两者的差别非常的小,那么就说明我们的代码是正确的。

下面是梯度检查的代码。如果我们想检查参数\(w_{ji}\)的梯度是否正确,我们需要以下几个步骤:

1.首先使用一个样本d对神经网络进行训练,这样就能获得每个权重的梯度。

2.将\(w_{ji}\)加上一个很小的值(\(10^{-4}\)),重新计算神经网络在这个样本d下的\(E_{d+}\)。

3.将\(w_{ji}\)加上一个很小的值(\(10^{-4}\)),重新计算神经网络在这个样本d下的\(E_{d-}\)。

4.根据式6计算出期望的梯度值,和第一步获得的梯度值进行比较,它们应该几乎想等(至少4位有效数字相同)。

当然,我们可以重复上面的过程,对每个权重\(w_{ji}\)都进行检查。也可以使用多个样本重复检查。

至此,会推导、会实现、会抓BUG,你已经摸到深度学习的大门了。接下来还需要不断的实践,我们用刚刚写过的神经网络去识别手写数字。

神经网络实战——手写数字识别

针对这个任务,我们采用业界非常流行的MNIST数据集。MNIST大约有60000个手写字母的训练样本,我们使用它训练我们的神经网络,然后再用训练好的网络去识别手写数字。

MNIST数据集下载地址见文章末尾

手写数字识别是个比较简单的任务,数字只可能是0-9中的一个,这是个10分类问题。

完整代码请参考GitHub:点击查看

超参数的确定

我们首先需要确定网络的层数和每层的节点数。关于第一个问题,实际上并没有什么理论化的方法,大家都是根据经验来拍,如果没有经验的话就随便拍一个。然后,你可以多试几个值,训练不同层数的神经网络,看看哪个效果最好就用哪个。嗯,现在你可能明白为什么说深度学习是个手艺活了,有些手艺很让人无语,而有些手艺还是很有技术含量的。

不过,有些基本道理我们还是明白的,我们知道网络层数越多越好,也知道层数越多训练难度越大。对于全连接网络,隐藏层最好不要超过三层。那么,我们可以先试试仅有一个隐藏层的神经网络效果怎么样。毕竟模型小的话,训练起来也快些(刚开始玩模型的时候,都希望快点看到结果)。

输入层节点数是确定的。因为MNIST数据集每个训练数据是28*28的图片,共784个像素,因此,输入层节点数应该是784,每个像素对应一个输入节点。

输出层节点数也是确定的。因为是10分类,我们可以用10个节点,每个节点对应一个分类。输出层10个节点中,输出最大值的那个节点对应的分类,就是模型的预测结果。

隐藏层节点数量是不好确定的,从1到100万都可以。下面有几个经验公式:

深度学习实战教程(三):神经网络和反向传播算法

因此,我们可以先根据上面的公式设置一个隐藏层节点数。如果有时间,我们可以设置不同的节点数,分别训练,看看哪个效果最好就用哪个。我们先拍一个,设隐藏层节点数为300吧。

对于3层\(784*300*10\)的全连接网络,总共有\(300*(784+1)+10*(300+1)=238510\)个参数!神经网络之所以强大,是它提供了一种非常简单的方法去实现大量的参数。目前百亿参数、千亿样本的超大规模神经网络也是有的。因为MNIST只有6万个训练样本,参数太多了很容易过拟合,效果反而不好。

模型的训练和评估

MNIST数据集包含10000个测试样本。我们先用60000个训练样本训练我们的网络,然后再用测试样本对网络进行测试,计算识别错误率:

\(错误率=\frac{错误预测样本数}{总样本数}\)

我们每训练10轮,评估一次准确率。当准确率开始下降时(出现了过拟合)终止训练。

代码实现

首先,我们需要把MNIST数据集处理为神经网络能够接受的形式。MNIST训练集的文件格式可以参考官方网站,这里不在赘述。每个训练样本是一个28*28的图像,我们按照行优先,把它转化为一个784维的向量。每个标签是0-9的值,我们将其转换为一个10维的one-hot向量:如果标签值为n,我们就把向量的第n维(从0开始编号)设置为0.9,而其它维设置为0.1。例如,向量[0.1,0.1,0.9,0.1,0.1,0.1,0.1,0.1,0.1,0.1]表示值2。

创建mnist.py文件,编写代码如下:

网络的输出是一个10维向量,这个向量第个(从0开始编号)元素的值最大,那么就是网络的识别结果。下面是代码实现:

我们使用错误率来对网络进行评估,下面是代码实现:

最后实现我们的训练策略:每训练10轮,评估一次准确率,当准确率开始下降时终止训练。下面是代码实现:

运行mnist.py文件,开始训练。在我的机器上测试了一下,1个epoch大约需要9000多秒,所以要对代码做很多的性能优化工作(比如用向量化编程)。训练要很久很久,可以把它上传到服务器上,在tmux的session里面去运行。为了防止异常终止导致前功尽弃,我们每训练10轮,就把获得参数值保存在磁盘上,以便后续可以恢复。(代码略)

向量化编程

完整代码请参考GitHub:点击查看

在经历了漫长的训练之后,我们可能会想到,肯定有更好的办法!是的,程序员们,现在我们需要告别面向对象编程了,转而去使用另外一种更适合深度学习算法的编程方式:向量化编程。主要有两个原因:一个是我们事实上并不需要真的去定义Node、Connection这样的对象,直接把数学计算实现了就可以了;另一个原因,是底层算法库会针对向量运算做优化(甚至有专用的硬件,比如GPU),程序效率会提升很多。所以,在深度学习的世界里,我们总会想法设法的把计算表达为向量的形式。我相信优秀的程序员不会把自己拘泥于某种(自己熟悉的)编程范式上,而会去学习并使用最为合适的范式。

下面,我们用向量化编程的方法,重新实现前面的全连接神经网络

首先,我们需要把所有的计算都表达为向量的形式。对于全连接神经网络来说,主要有三个计算公式。

前向计算,我们发现式2已经是向量化的表达了:

\(\vec{a}=\sigma(W·\vec{x})\qquad (式2)\)

上式中的\(\sigma\)表示sigmoid函数。

反向计算,我们需要把式3式4使用向量来表示:

\(\vec{\delta}=\vec{y}(1-\vec{y})(\vec{t}-\vec{y})\qquad(式7)\\
\vec{\delta^{(l)}}=\vec{a}^{(l)}(1-\vec{a}^{(l)})W^T\delta^{(l+1)}\qquad(式8)\)

式8中,\(\delta^{(l)}\)表示第l层的误差项;\(W^T\)表示矩阵\(W\)的转置。

我们还需要权重数组W和偏置项b的梯度计算的向量化表示。也就是需要把式5使用向量化表示:

\(w_{ji}\gets w_{ji}+\eta\delta_jx_{ji}\qquad(式5)\)

其对应的向量化表示为:

\(W \gets W + \eta\vec{\delta}\vec{x}^T\qquad(式9)\)

更新偏置项的向量化表示为:

\(\vec{b} \gets \vec{b} + \eta\vec{\delta}\qquad(式10)\)

现在,我们根据上面几个公式,重新实现一个类:FullConnectedLayer。它实现了全连接层的前向和后向计算:

上面这个类一举取代了原先的Layer、Node、Connection等类,不但代码更加容易理解,而且运行速度也快了几百倍。

现在,我们对Network类稍作修改,使之用到FullConnectedLayer:

现在,Network类也清爽多了,用我们的新代码再次训练一下MNIST数据集吧。

小结

至此,你已经完成了又一次漫长的学习之旅。你现在应该已经明白了神经网络的基本原理,高兴的话,你甚至有能力去动手实现一个,并用它解决一些问题。如果感到困难也不要气馁,这篇文章是一个重要的分水岭,如果你完全弄明白了的话,在真正的『小白』和装腔作势的『大牛』面前吹吹牛是完全没有问题的。

作为深度学习入门的系列文章,本文也是上半场的结束。在这个半场,你掌握了机器学习、神经网络的基本概念,并且有能力去动手解决一些简单的问题(例如手写数字识别,如果用传统的观点来看,其实这些问题也不简单)。而且,一旦掌握基本概念,后面的学习就容易多了。

在下半场,我们讲介绍更多『深度』学习的内容,我们已经讲了神经网络(Neutrol Network),但是并没有讲深度神经网络(Deep Neutrol Network)。Deep会带来更加强大的能力,同时也带来更多的问题。如果不理解这些问题和它们的解决方案,也不能说你入门了『深度』学习。

目前业界有很多开源的神经网络实现,它们的功能也要强大的多,因此你并不需要事必躬亲的去实现自己的神经网络。我们在上半场不断的从头发明轮子,是为了让你明白神经网络的基本原理,这样你就能非常迅速的掌握这些工具。在下半场的文章中,我们改变了策略:不会再去从头开始去实现,而是尽可能应用现有的工具。

下一篇文章,我们介绍不同结构的神经网络,比如鼎鼎大名的卷积神经网络,它在图像和语音领域已然创造了诸多奇迹,在自然语言处理领域的研究也如火如荼。某种意义上说,它的成功大大提升了人们对于深度学习的信心。

参考资料

  1. Tom M. Mitchell, "机器学习", 曾华军等译, 机械工业出版社
  2. CS 224N / Ling 284, Neural Networks for Named Entity Recognition
  3. LeCun et al. Gradient-Based Learning Applied to Document Recognition 1998

原文链接:https://www.zybuluo.com/hanbingtao/note/476663

感谢原作者的付出!

文件下载 MNIST数据集
下载地址
weinxin
微信公众号
分享技术,乐享生活:Jack Cui公众号每周五推送“程序员欢乐送”系列资讯类文章,欢迎您的关注!
Jack Cui

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:4   其中:访客  2   博主  2

    • avatar 苹果pie 来自天朝的朋友 谷歌浏览器 Windows 10 陕西省西安市 联通 2

      终于等到了,好想哭啊 :cry: :cry: :cry:

        • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器  Android 8.0.0 MIX 2 Build/OPR1.170623.027 辽宁省沈阳市 联通GSM/WCDMA/LTE共用出口

          @苹果pie 哈哈,感谢支持。

        • avatar 黄齑淡饭蒂 来自天朝的朋友 谷歌浏览器 Windows 10 河北省石家庄市 移动 0

          你好,教学很全面,很清晰。着实感谢
          我想问一下我在用gradient_check()的时候Network类下的calc_delta函数中
          output_nodes = self.layers[-1].nodes
          for i in range(len(label)):
          output_nodes[i].calc_output_layer_delta(label[i])
          output_nodes一直被认为是constnode,然后一直爆’ConstNode’ object has no attribute ‘calc_output_layer_delta’的提示。。。请问您能帮我一下么0v0

            • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 7 辽宁省沈阳市 东北大学三舍南(研究生)

              @黄齑淡饭蒂 calc_output_layer_delta是自己定义的,你得放到调用的前面。