神经网络的基础

序言，本文讲解了一些神经网络的基础知识以及基本简单，卷积网络模块例如VGG，Resnet等等

卷积神经网络：

CNN本质特征：局部感知，权重共享，平移不变性。

但是①细微特征（例如颜色）获取不了，②长距离以来问题

图片特征：包括轮廓，纹理，颜色，大小。

卷积擅长提取：图片特征

LeNet5网络

深度卷积神经网络AlexNet

VGG网络

GoogleNet网络

合并连接网络GoogleNet

网络的中间层特征对学习是有益的，GoogleNet多尺度损失头结合loss =0.3*loss_one + 0.3loss_two + 1.2*loss_main

浅层--->提取几何特征 深层-->提取语义特征

tips： 调整多头loss的惩罚系数比例有利于提升准确率，系数越大学习的越多(有概率只留mian头反而效果更好)

残差网络ResNet

ResNet解决了网络退化问题，不是解决了梯度消失的问题，可以缓解梯度消失

目的：再加一层不会让上一层的特征变得更差。

做法：H(x) = X:上一层输出 +F(x)：中间网络层

残差的模式

其他补充：

神经元一定是要经过线性变换和非线性变换两种变换的