当前位置： 首页 > news >正文

【EM算法】算法及注解

news 2025/7/15 14:23:55

EM算法又称期望极大算法，是一种迭代算法，每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximization）。

目录

算法背景

EM算法

算法背景

如果概率模型的变量都是观测变量，那么可以直接用极大似然估计法，或贝叶斯估计法估计模型参数。但是，当模型含有隐变量时，就需要考虑EM算法，EM算法是含有隐变量的概率模型参数的极大似然估计法。

EM算法

输入:观测变量数据Y，隐变量数据Z，联合分布P(Y,Z | \theta )，条件分布P( Z| Y,\theta )

输出：模型参数\theta

1.选择参数的初值$\theta^{(0)}$,开始迭代；

EM算法对初值敏感

2.E步：记$\theta^{(i)}$为第$i$ 次迭代参数$\theta$的估计值，在第$i+1$次迭代的E步，计算

Q(\theta,\theta^{(i)})=E_Z[\log P(Y,Z|\theta)|Y,\theta^{(i)}]
=\sum_{Z}\log P(Y,Z|\theta)P(Z|Y,\theta^{(i)})

$P(Z|Y,\theta^{(i)})$ 是在给定观测数据$Y$和当前的参数估计$\theta^{(i)}$下隐变量数据$Z$的条件概率分布

$Q(\theta,\theta^{(i)})$是完全数据的对数似然函数P(Y,Z | \theta )关于在给定观测数据$Y$和当前的参数估计$\theta^{(i)}$下隐变量数据$Z$的条件概率分布$P(Z|Y,\theta^{(i)})$的期望。

其中，$Q(\theta,\theta^{(i)})$第一个变元\theta是要极大化的参数，第二个变元$\theta^{(i)}$是参数的当前估计。

3.M步：求使$Q(\theta,\theta^{(i)})$极大化的$\theta$,确定第$i+1$ 次迭代的参数的估计值 $\theta^{(i+1)}$


\theta^{(i+1)}=\arg\max_\theta Q(\theta,\theta^{(i)})

每次迭代$\theta^{(i)}\to\theta^{(i+1)}$使似然函数增大或达到局部极值

4.重复第2步和第3步，直到收敛。

收敛条件通常为：\|\theta^{(i+1)}-\theta^{(i)}\|<\varepsilon_1\quad或\quad\|Q(\theta^{(i+1)},\theta^{(i)})-Q(\theta^{(i)},\theta^{(i)})\|<\varepsilon_2

http://www.lryc.cn/news/588421.html

相关文章：

  • aspnetcore Mvc配置选项中的ModelBindingMessageProvider
  • 群晖Nas - Docker（ContainerManager）上安装SVN Server和库权限设置问题
  • k8s-高级调度（二）
  • SVN客户端(TortoiseSVN)和SVN-VS2022插件(visualsvn)官网下载
  • Kotlin Map映射转换
  • LeetCode 424.替换后的最长重复字符
  • vim扩展
  • 0-1搭建springboot+vue的教务管理系统（核心源码）
  • c++算法一
  • kali安装失败-选择并安装软件包-一步到位
  • 几种上传ipa到app store的工具
  • 深度解读virtio：Linux IO虚拟化核心机制
  • Redis7持久化
  • Gstreamer之”pad-added“事件
  • 并发编程核心概念详解：进程、线程与协程的本质与差异
  • 融合竞争学习与高斯扰动的多目标加权平均算法（MOWAA）求解多无人机协同路径规划（多起点多终点，起始点、无人机数、障碍物可自定义），提供完整MATLAB代码
  • 【抖音滑动验证码风控分析】
  • 【人工智能99问】什么是深度学习？(2/99)
  • RK3568/3588 Android 12 源码默认使用蓝牙mic录音
  • 显示器核心三要素详解：刷新率、分辨率、色深
  • PHP password_get_info() 函数
  • 渗透笔记1-4
  • Java 树形结构、层级结构数据构建
  • 【LeetCode 热题 100】94. 二叉树的中序遍历——DFS
  • 第四章 uniapp实现兼容多端的树状族谱关系图，剩余组件
  • 用基础模型构建应用（第九章）AI Engineering: Building Applications with Foundation Models学习笔记
  • GaussDB in的用法
  • Elasticsearch 9.x 升级变化
  • C++后端面试八股文
  • 【postgresql数据库实现表的树结构查询】