神经网络初步学习3——数据与损失
一、传统机器学习与神经网络
前言:该部分需要一定的机器学习与数学基础(很浅的基础),如果有不理解的地方可以自行查阅。
(1)区别
这里不妨以图像识别为例子:
(1)在传统的机器学习视角中:我们需要人工手动去设置并提取我们的特征量,例如常见的SIFT、SURF和HOG等,随后需要我们选择合适的分类器(例如:SVM、KNN等分类器),接着把我们的参数训练出来。
(2)而在神经网络的视角中:我们只需要把图片喂给它即可,它自动帮助我们去提取特征量,自动训练找出参数,相较于传统的机器学习更加方便。
下面的这张图可以很好地反映出他们的关系:

(2)数据
一般来说,无论是传统机器学习还是现在的深度学习,都需要三种常见的数据:
1、训练集:即用来训练模型的数据,模型通过这些数据来不断优化和调整自己的参数
2、验证集:通常从训练集中抽取部分作为验证集,主要用来观测模型,判断是否更换模型或者是否出现意外情况
3、测试集:使用测试数据评价训练得到的模型的实际能力反映模型的泛化能力
此外,如果模型在一个数据集表现很好,但是在其他数据集(测试集或真实场景)面前很差,说明模型可能出现了过拟合的情况,如何消除过拟合的情况是一个值得思考的问题,这里不细讲。
二、损失函数
顾名思义,就是反映这个模型“损失”了多少的函数,在高中的时候我们就遇见过它(最小二乘法相关知识),在这里损失函数是表示神经网络性能的“恶劣程度”的指标,即当前的 神经网络对监督数据在多大程度上不拟合,在多大程度上不一致。
(1)均方误差(mean squared error)

其中表示的是神经网络的输出,
表示的是监督数据。举个例子,手写数字识别案例中,神经网络总共有十个输出,属于前面我们提到的分类问题,下面是可能存在的一种情况
那么中间的值就是我们的 (概率值),右边的值是我们的
(由图可知6是我们的正确答案),我们就可以按照上面的运算进行求解
这里将正确解标签表示为1,其他标签表示为0的表示方法称 为one-hot表示
(2)交叉熵误差(cross entropy error)
其公式如下:

需要注意的是这里的log一般是指以e为底数的自然对数()。那么我们会发现,如果按照one-hot表示,那么最终的结果只是与我们的正确结果的
有关,即交叉熵误差的值是由正确解标签所对应的输出结果决定的
其python表达形式如下:
import numpy as npdef cross_entropy_error(y, t):a = 1e-7return -np.sum(t* np.log(y + a))
有人就会问了,为什么要加一个a呢?
——如果说 = 0 ,那么结果会是负无穷大,为了解决这个问题,我们引入 a(很小)来进行调整,防止出现这种情况。
(3)批量处理
在真正的数据集面前,以手写数字识别为例,往往一个数据集就有几万张图片(一张图片的像素不会很高,不像我们手机里面的照片那样),那么我们能不能把所有的数据全部放进去学习呢?
当然不能,除非你的电脑有足够大的显存,而我们通常的解决方案就是把数据分批次放进去学习,例如一次放100张图片进去学习,那么我们这一批次的损失函数计算是把所有100张图片的损失函数加起来取平均:

三、神经网络的输入与输出
在大部分的图像处理当中,我们一般是将图像的每一个像素作为我们的神经元的输入,将最终的预测分类数目作为输出。
以手写数字图像识别为例,如果图像像素是30*30,那么输入数据是一个30*30=900维达到数据。输出则是一个十维的输出。