深度学习第四课
第九章 卷积神经网络解读
9.1 计算机视觉
目标分类
目标识别
64x64x3=12288
1000x1000x3=3000000
使用传统神经网络处理机器视觉面临的一个挑战是：数据的输入会非常大
一般的神经网络很难处理海量图像数据。解决这一问题的方法就是卷积神经网络
9.2 卷积运算
神经网络由浅层到深层，分别可以检测出不同层次的信息，在计算机视觉中我们依托深度卷积神经网络，来依次学习理解图片的边缘特征、局部特征(例如眼睛、鼻子等)，直至最后一层综合前面检测的特征来识别整体图像内容。
9.3 边缘检测
- 垂直边缘检测
- 水平边缘检测
*：表示卷积
9.4 Padding填充
输入大小：nxn
滤波器大小：fxf
输出大小：（n-f+1）x（n-f-1）
问题：边缘的次数较少，中间的次数较多，因此忽略了边缘的信息，我们可以在卷积前，先填充一层像素。
Padding=1：填充一圈
- Valid卷积：不填充
- Same卷积：填充后，输出输出大小一样，此时p=（f-1）/2
9.5 Stride卷积步长
Stride=2
输出大小：(n+2p-f)/s +1
9.6 三维卷积
不同通道的滤波器可以不相同。
9.7 单层卷积网络
9.8 简单卷积网络示例
卷积神经网络包含有三种典型的层结构：
- Convolution
- Pooling
- Fully connected
9.9 池化层
1、Max pooling
缩减模型的大小，提高计算速度，同时减小噪声提高所提取特征的稳健性。
2、Average pooling
9.10 卷积神经网络示例
9.11 为什么使用卷积？？
- 参数共享：一个滤波器能对整个输入的某一特征进行探测
- 稀疏连接：输入与输出之间的连接是稀疏的，每个输出值只取决于输入在局部的一小部分值
由于CNN参数数量较小，所需的训练样本就相对较少，因此在一定程度上不容易发生过拟合现象。
第十章 经典CNN网络实例详解
10.1 经典卷积网络
1、LeNet5：手写字体识别模型，90年代提出来，是最早的卷积神经网络之一
当 LeNet-5 模型被提出时，其池化层使用的是平均池化，而且各层激活函数一般选用 Sigmoid 和 tanh。现在我们更多的会使用最大池化并选用 ReLU 作为激活函数。
2、AlexNet
3、VGG-16：证明了增加网络的深度能够在一定程度上影响网络最终的性能，大家广泛的将其作为典型CNN结构。
16是指网络中包含16个卷积层和全连接层，超参数较少
10.2 残差网络 ResNet
随着神经网络层数变多和变深，会带来严重的梯度消失和梯度爆炸问题，使得模型难以寻训练成功！
在网络结构层面，一种解决方法是人为地让神经网络某些层跳过下一层神经元的连接，隔层相连，弱化每层之间的强联系。这种神经网络被称为Residual Networks(ResNets)残差网络。
说明残差网络有助于解决梯度消失和梯度爆炸问题，使得在训练更深网络的同时，又能保证良好的性能。
残差网络有效的原因？
10.3 1x1卷积（滤波器的尺寸为1）
相当于乘积操作，类似全连接层的神经网络结构，从而对数据进行升降维度
10.4 Inception网络
之前的CNN典型结构，都只选择单一尺寸和类型的滤波器，而Inception网络的作用是代替人工来确定卷积层中的滤波器尺寸与类型
Inception 网络选用不同尺寸的滤波器进行 Same 卷积，并将卷积和池化得到的输出组合拼接起来，最终让网络自己去学习需要的参数和采用的滤波器组合。
Inception引入了1x1卷积来减少计算量问题。1x1 的卷积层通常被称作瓶颈层(Bottleneck layer)。借助在网络中合理设计瓶颈层，可以在保持网络性能的前提下显著缩小计算规模。
10.6 迁移学习
10.7 数据扩增
镜像翻转、随机裁剪、色彩转换