当前位置： 首页 > news >正文

计算机视觉（五）深度学习基础

news 2025/7/24 11:57:46

文章目录

  • 深度学习基础
    • 卷积神经网络与传统神经网络区别
      • 深度学习与神经网络的区别
    • 目标函数
      • 选择合适的目标函数
      • Softmax层
    • 改进的梯度下降
      • 梯度消失的直观解释
      • 激活函数
      • 学习步长
      • SGD的问题
        • Momentum动量
        • Nesterov Momentum
        • Adagrad
        • RMSprop
        • Adam
      • 各种梯度下降算法比较
      • 关于算法选择的建议
      • Batch Normalization的由来
    • 避免过适应
        • 早期停止训练
        • 权重衰减
        • Dropout
          • 测试时权重应减小
  • CNN初步介绍
    • CNN的基本组件
      • CNN卷积层
      • CNN池化层
      • CNN-Softmax层
    • 池化层的误差反向传播
      • 卷积层计算![在这里插入图片描述](https://img-blog.csdnimg.cn/be682bd439e04b999fe2448259bf47e5.png)
      • 卷积层运算的展开表示
    • 卷积层的误差反向传播

深度学习基础

卷积神经网络与传统神经网络区别

深度学习与神经网络的区别

在这里插入图片描述

目标函数

选择合适的目标函数

在这里插入图片描述
在这里插入图片描述

Softmax层

在这里插入图片描述

改进的梯度下降

梯度消失的直观解释

在这里插入图片描述

激活函数

在这里插入图片描述
在这里插入图片描述

学习步长

在这里插入图片描述

SGD的问题

在这里插入图片描述
存在马鞍面，使我们的训练卡住，于是提出下面方法：

Momentum动量

在这里插入图片描述

Nesterov Momentum

在这里插入图片描述
先利用“惯性”，“走”一步。避免一开始，就被当前梯度带偏。

Adagrad

为不同的参数设置不同的学习步长。
在这里插入图片描述

RMSprop

改进的Adagrad。使：
小的可以变大，大的可以变小。
在这里插入图片描述

Adam

在这里插入图片描述

各种梯度下降算法比较

在这里插入图片描述
在这里插入图片描述

关于算法选择的建议

在这里插入图片描述

Batch Normalization的由来

在这里插入图片描述
在这里插入图片描述
量纲不同，需要进行归一化处理。

避免过适应

在这里插入图片描述

早期停止训练

在这里插入图片描述

权重衰减

在这里插入图片描述

Dropout

在这里插入图片描述

测试时权重应减小

在这里插入图片描述

CNN初步介绍

CNN的基本组件

在这里插入图片描述

CNN卷积层

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

CNN池化层

在这里插入图片描述
通道数没变，尺度大小变了。

CNN-Softmax层

在这里插入图片描述

池化层的误差反向传播

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

卷积层计算在这里插入图片描述

卷积层运算的展开表示

在这里插入图片描述
与全连接是有区别的。

卷积层的误差反向传播

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
转了180度

在这里插入图片描述
在这里插入图片描述
下面是残差在这里插入图片描述

下面是梯度·在这里插入图片描述

http://www.lryc.cn/news/103978.html

相关文章：

  • ES6学习-Generator
  • Flowable-服务-微服务任务
  • opencv03-补充-vector的操作
  • 二叉树(C语言)
  • 介绍下Django中的表单（forms）模块中的类forms.CharField
  • 元宇宙与数字孪生的异同？
  • 智慧农业：科技赋能农村发展
  • x86架构ubuntu22下运行WILL模拟器dophin
  • Jvm的一些技巧
  • 8.docker仓库
  • 价值 1k 嵌入式面试题-计算机网络 OSI
  • spring boot去除get post空格
  • 设计模式四：单例模式(Singleton)
  • 《水经注地图服务》发布的影像数据如何在OsgEarth中调用
  • css滤镜：drop-shadow
  • java ThreadLocal
  • MySQL高级篇第6章（索引的数据结构）
  • Unity 性能优化三：动画模块、物理模块
  • 延迟函数
  • IBM报告：2023数据泄露平均成本将达到445万美元
  • 20.3 HTML 表格
  • flutter项目运行时一直卡在Running Gradle task ‘assembleDebug‘解决办法
  • “深入理解Spring Boot：从入门到精通“
  • IP 工具
  • Linux - 进程概念(进程状态、优先级)
  • k8s概念-deployment
  • Flutter 调试工具篇 | 壹 - 使用 Flutter Inspector 分析界面
  • 什么是云原生和 CNCF?
  • 数据结构——单链表
  • 微信小程序手写签字版