当前位置: 首页 > news >正文

“深度学习”学习日记。--ImageNet、VGG、ResNet

2023.2.14

一、小历史:

在2012年的ILSVRC(ImageNet Large Scale Visual Recognitoin Chanllege),基于深度学习的方法AlexNet 以绝对优势获胜并且他颠覆了以前的图片识别方法,此后深度学习方法一直活跃在这个舞台。

二、ImageNet:

ImageNet是一个拥有超过100万张图像的数据集,并且每一张图片都有标签,;在2012年的AlexNet大幅度降低了错误的识别率,并且,此后基于深度学习的方法不断提升识别精度,特别是2015年的ResNet(超过150层的深度网络)将错误率下降到了3.5%

ImageNet数据集的下载: https://image-net.org/

ImageNet数据集的下载步骤:

如果没有账号,先注册再登陆,没有登陆就无法进入下载页面

 三、VGG:

VGG是有卷积层和池化层构成的基础CNN。不过,正如这个结构图所表示,他的特点在与将有权重的层(卷积层或全连接层)叠加值深层。VGG16表示有16层,VGG19表示有19层

VGG的一个特点是他是基于3×3的小型卷积核的运算时连续进行的,正如图像所示,重复进行“卷积层重叠2次或者4次,再通过池化层将大小减半”的处理,最后由全连接层输出结果,结构简单,应用性强。

VGG的结构图:

 

四、GoogleNet:

结构图:

  

从图像看上去,这是一个很复杂的网络结构,但是实际上它基本上和CNN的差别不大GoogLeNet的一个特征就是不仅在纵向上有深度,在横向上也有广度,这样横向的广度称为“Inception”结构,它使用了多个大小不同的卷积核(和池化),最后合并他们的结果

 Incepton结构:

 五、ResNet:

ResNet是微软团队开发的网络,他的特征在于比以前的网络更具有深度的结构;以前的学习,我们可以知道加深层对于提升性能非常重要,但是,过深的结构会导致神经网络最终的性能不佳。于是,阿紫ResNet中为了解决这个问题,就导入了“快捷结构”,此后,就可以随着层的加深二不断提升性能了。

快捷通道:

像这样,“快捷结构”横跨(跳过了)输入数据的卷积层,将输入x合计到输出。在连续两层的卷积层中,将输入x跳着连接值两层后的输出f(x),变成f(x)+x。因为快捷通道会原封不动的传递输入数据,所以反向传播时会将来自上有的梯度原封不动地传向下游。这里的重点时不对来自上游的梯度做任何处理,将其原封不动地传向下游。因此,基于快捷结构,不用担心梯度会变大还是变小,能够向前传递的是有意义的梯度。所以,这样的“快捷结构”也能使得因为加深层而导致梯度消失的问题得到缓解。

ResNet:以VGG为基础添加“快捷结构”:

 

六、迁移学习:

实践中,经常会灵活应用ImageNet数据集去完成神经网络的学习权重参数的过程,这称为 “迁移学习”

将学习完的权重的一部分复制到其他神经网络,进行再学习(fine tuning) 。比如,准备一个和VGG相同结构的神经网络模型,把学习完的数据作为 权重的初始值 ,以新数据为对象,进行再学习。迁移学习在数据集较少时效果显著。

http://www.lryc.cn/news/7855.html

相关文章:

  • 关于APP下载量提升的技巧
  • 以“大数据”赋能产业链精准招商
  • 内存泄漏检测组件 -- hook
  • Diffusion model(三): 公式结论
  • Angular笔记(二)组件
  • 微信小程序|基于小程序+C#制作一个超酷的个人简历
  • 华为OD机试 - 最快到达医院的方法(Java JS Python)
  • 92.【SpringCloud NetFilx】
  • [ahk]如何载入Scite的会话Session文件
  • MyISAM和InnoDb的区别
  • K8s管理应用生命周期-Deployment篇
  • 类和对象(下)(二)
  • MapBox-draw绘制插件的使用教程(含修改样式和方法封装)
  • 使用 ONLYOFFICE 转换 API 构建在线文档转换器
  • Kubernetes的负载均衡方案:MetalLB
  • 【项目】Vue3+TS CMS 基本搭建相关配置
  • ros2 dds
  • chain33架构介绍
  • Lucene学习笔记
  • 动态规划【Day01】| 669 · 换硬币、114 · 不同的路径、116 · 跳跃游戏
  • 1.Hello Python
  • C语言实例|编写C程序在控制台打印余弦曲线
  • 《Hadoop篇》------大数据及Hadoop入门
  • TCP核心机制详解(三)
  • 最易上手的爬虫请求库:Requests核心功能速览(下)
  • 生产故障|Kafka ISR频繁伸缩引发性能急剧下降
  • c++终极螺旋丸:₍˄·͈༝·͈˄*₎◞ ̑̑“类与对象的结束“是结束也是开始
  • 【Python--torch.nn.functional】F.normalize用法 + 代码说明
  • 【算法题】1887. 使数组元素相等的减少操作次数
  • GD库图片裁剪指定形状解决办法(PHP GD库 海报)