当前位置： 首页 > news >正文

深度学习记录--Batch Norm

news 2025/7/1 12:36:54

Batch Norm

与Input Norm对输入层进行归化不同，Batch Norm是对隐藏层进行归化

实现

\mu = \frac{1}{m}\sum_{i=1}^{m}z^{(i)}

\sigma^2=\frac{1}{m}\sum_{i=1}^{m}(z_{i}-\mu)^2

z^{(i)}_{norm}=\frac{z^{(i)}-\mu}{\sqrt{\sigma^2+\varepsilon}}

\tilde{z}^{(i)}=\gamma z^{(i)}_{norm}+\beta，其中\gamma、\beta调节均值和方差

if: \gamma=\sqrt{\sigma^2+\varepsilon},\beta=\mu， then :\tilde{z}^{(i)}=z^{(i)}

http://www.lryc.cn/news/288444.html

相关文章：

  • svn和git的本质区别是什么
  • Redis面试
  • 贪吃蛇（C）
  • 【云原生】Docker基于Dockerfile多级构建，实现缩小镜像体积
  • 第七十一周周报
  • 绿色制造的行业标杆OEKO-TEX STeP认证
  • 第3章：Python 的函数和模块（基于最新版 Python3.12 编写）
  • 网络安全产品之认识漏洞扫描设备
  • Hadoop增加新节点环境配置（自用）
  • Apache Shiro 安全框架
  • 防火墙的NAT
  • Java基础进阶03-注解和单元测试
  • Mac+Android Studio配置 Flutter环境
  • 架构整洁之道-设计原则
  • 数据结构(队列)
  • docker容器启动后修改或添加端口 nacos容器 版本2.x需要额外开放9848、9849
  • C语言实现归并排序算法（附带源代码）
  • 考研C语言刷题基础篇之分支循环结构基础（二）
  • Scala基础知识
  • 数学建模-------误差来源以及误差分析
  • Arduino和MPLAB X 开发STM32F103和PIC16F15376
  • 手机操作系统Android
  • 2024年，你是否还在迷茫？
  • ART: Automatic multi-step reasoning and tool-use for large language models 导读
  • Github 2024-01-26 开源项目日报Top10
  • 免费的 UI 设计资源网站 Top 8
  • 人机协同对人工智能治理的影响
  • Form.List的使用，设置某个字段的值
  • React16源码: React中的updateHostComponent的源码实现
  • uniapp导入uView组件库