You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

9.6 KiB

41 | 从感知机到神经网络算法

从机器学习模型角度看目前最简单的机器学习模型大概就是感知机了而最火热的机器学习模型则是神经网络。人工智能领域几乎所有炫酷的东西都是神经网络的成果有下赢人类最顶尖围棋棋手的AlphaGo、自动驾驶技术、聊天机器人、语音识别与自动翻译等。事实上神经网络和感知机是一脉相承的就像复杂的人体是由一个个细胞组成、复杂的大脑是由一个个神经元组成而神经网络正是由感知机组成的。

感知机

感知机是一种比较简单的二分类模型,将输入特征分类为+1、-1两类就像下图所示的一条直线将平面上的两类点分类。

二维平面上的点只有两个输入特征(横轴坐标和纵轴坐标),一条直线就可以分类。如果输入数据有更多维度的特征,那么就需要建立同样多维度的模型,高维度上的分类模型也被称为超平面。

感知机模型如下:

f(x)=sign(w\\cdot x+b)

其中x代表输入的特征空间向量,输出空间是{-1, +1}w为权值向量,b叫作偏置,sign是一个符号函数。

w\\cdot x+b=0为超平面的方程,当感知机输出为+1表示输入值在超平面的上方当感知机输出为-1表示输入值在超平面的下方。训练感知机模型就是要计算出wb的值,当有新的数据需要分类的时候,输入感知机模型就可以计算出+1或者-1从而进行分类。

由于输出空间只有{-1, +1}两个值,所以只有误分类的时候,才会有模型计算值和样本真实值之间的偏差,偏差之和就是感知机的损失函数。

L(w,b)=-\\sum\_{x\_{i}\\in M}{y\_i}({w\\cdot{x\_i}+b})

其中M为误分类点集合误分类点越少损失函数的值越小如果没有误分类点损失函数值为0。求模型的参数wb,就是求损失函数的极小值。

数学上求函数的极小值就是求函数的一阶导数,但是感知机损失函数用统计求和函数表达,没办法计算解析解。机器学习采用梯度下降法求损失函数极小值,实质上就是求导过程的数值计算方法。

对于误分类点集合M,损失函数L(w,b)变化的梯度,就是某个函数变量的变化引起的函数值的变化,根据感知机损失函数可知:

\\Delta\_{w}L(w,b)=-\\sum\_{x\_i\\in M}{y\_i x\_i}
\\Delta\_{b}L(w,b)=-\\sum\_{x\_i\\in M}{y\_i}

使用梯度下降更新wb,不断迭代使损失函数L(w,b)不断减小直到为0也就是没有误分类点。感知机算法的实现过程

1.选择初始值w\_0,b\_0

2.在样本集合中选择样本数据x\_i,y\_i

3.如果y\_i(w\\cdot x\_i+b)< 0,表示y\_i为误分类点,那么w = w +\\eta y\_i x\_ib = b +\\eta y\_i,在梯度方向校正wb。其中\\eta为步长,步长选择要适当,步长太长会导致每次计算调整太大出现震荡;步长太短又会导致收敛速度慢、计算时间长。

4.跳转回2直到样本集合中没有误分类点 即全部样本数据y\_i(w\\cdot x\_i+b)\\geq 0

神经网络

我们现在所说的神经网络,通常是指机器学习所使用的“人工神经网络”,是对人脑神经网络的一种模拟。人脑神经网络由许多神经元构成,每个神经元有多个树突,负责接收其他神经元的输出信号,神经元细胞完成对输入信号的处理,转换成输出信号,通过突触传递给其他神经元。

神经元细胞的输出只有0或者1两种输出但是人脑大约有140亿个神经元这些神经元组成一个神经网络前面的神经元输出作为后面的神经元输入进一步处理最终实现人类的智能。

人脑神经元可以通过感知机进行模拟,每个感知机相当于一个神经元,使用sign函数的感知机输出也是只有两个值,跟人脑神经元一样。

x\_1,x\_2,x\_3相当于神经元的树突,实现信号的输入;sum()+bsign函数相当于神经元细胞,完成输入的计算;y是神经元的输出,上图用数学形式表达的话是

y=sign(w\_1x\_1+w\_2x\_2+w\_3x\_3+b)

它是感知机y=sign(w\\cdot x+b)向量展开形式。

将感知机组成一层或者多层网络状结构,就构成了机器学习神经网络。下图就是一个两层神经网络。

在多层神经网络中,每一层都由多个感知机组成。将输入的特征向量x传递给第一层的每一个感知机,运算以后作为输出传递给下一层的每一个感知机,直到最后一层感知机产生最终的输出结果。这就是机器学习神经网络的实现过程,通过模拟人脑神经网络,利用样本数据训练每个感知机神经元的参数,在某些场景下得到的模型可以具有不可思议的效果。

以神经网络实现手写数字识别为例,样本如下。

这个手写数字样本中的每个数字都是一个28×28像素的图片我们把每个像素当作一个特征值这样每个数字就对应784个输入特征。因为输出需要判别10个数字所以第二层输出层的感知机个数就是10个每个感知机通过0或者1输出是否为对应的数字。

使用梯度下降算法,利用样本数据,可以训练神经网络识别手写数字,计算每个感知机的wb参数值。当所有的感知机参数都计算出来,神经网络也就训练出来了。这样对于新输入的手写数字图片,可以进行自动识别,输出对应的数字。

训练神经网络的时候采用一种反向传播的算法,针对每个样本,从最后一层,也就是输出层开始,利用样本结果使用梯度下降算法计算每个感知机的参数。然后以这些参数计算出来的结果作为倒数第二层的输出计算该层的参数。然后逐层倒推,反向传播,计算完所有感知机的参数。

当选择两层神经网络的时候,原始感知机的sign函数表现并不太好,更常用的是sigmoid函数。

对于两层以上的多层神经网络,ReLU函数的效果更好一些。ReLU函数表达式非常简单

y=max(x,0)

x大于0输出x;当x小于0输出0。

神经网络根据组织和训练方式的不同有很多类型。当神经网络层数比较多的时候我们称它们为深度学习神经网络。前两年在人工智能领域大放异彩的围棋程序AlphaGo则是一种卷积神经网络。

对于一个19×19的围棋棋盘在下棋过程中每个位置有黑、白、空三种状态将其提取为特征就是神经网络的输入事实上输入特征还需要包括气、眼、吃等围棋规则盘面信息。而输出设置19×19即361个感知机产生对应的落子。然后将大量人类的棋谱即当前盘面下的最佳落子策略作为训练样本就可以训练出一个智能下棋的神经网络。

但是这样根据人类棋谱训练得到神经网络最多就是人类顶尖高手的水平AlphaGo之所以能够碾压人类棋手还依赖一种叫蒙特卡洛搜索树的算法对每一次落子以后的对弈过程进行搜索判断出真正的最佳落子策略。利用蒙特卡洛搜索树结合神经网络AlphaGo还可以进行自我对弈不断进行自我强化找到近乎绝对意义上的最优落子策略。

小结

神经网络的应用目前在大数据领域越来越广泛很多传统机器学习模型的算法逐步尝试用神经网络代替。一般说来传统的机器学习算法的结果是可以解释的KNN算法的分类结果为什么是这样贝叶斯分类的结果为什么是这样都是可以利用样本数据和算法来解释的。如果分类效果不好是样本数据有问题还是算法过程有问题也都可以分析出来。但是一般认为神经网络计算的结果是不可解释的为什么神经网络会分类输出这样的结果人们无法解释输出结果不满意也无法找到原因只能不断尝试。

神经网络中每个感知机的参数可以通过训练获得,也就是wb可以计算得到,但是一个神经网络应该设置多少层,每层应该有多少个感知机神经元,这些参数必须要算法工程师设置,因此这些参数也被称为超级参数。超级参数如何设置目前还没有太好的方法,只能依赖算法工程师的经验和不断尝试去优化。

思考题

你认为强人工智能是否会出现呢?人类有一天会被机器人统治吗?

欢迎你点击“请朋友读”,把今天的文章分享给好友。也欢迎你写下自己的思考或疑问,与我和其他同学一起讨论。