当前位置： 首页 > news >正文

强化学习各种符号含义解释

news 2025/8/8 9:22:10

s,{s}' ：状态

a : 动作

r : 奖励

R : 奖励函数

S : 非终结状态

S^{+} : 全部状态，包括终结状态

A : 动作集合

ℛ : 奖励集合

\boldsymbol{P} : 转移矩阵

t : 离散时间步

T ： 回合内最终时间步

S_t : 时间t的状态

A_t : 时间t动作

R_t : 时间t的奖励,通常为随机量，且由A_t和S_t决定

G_t : 回报

G_t^{(n)} : n步回报

G_t^{\lambda} : \lambda 折扣回报

\pi : 策略

\pi(s) : 根据确定性策略\pi, 状态s时所采取的动作

\pi(a|s) : 根据随机性策略\pi, 在状态s时执行动作a的概率

p({s}',r|s,a) : 根据状态s和动作a，使得状态转移成{s}'且获得奖励r的概率

p({s}'|s,a) : 根据转态s和动作a,使得状态转移成{s}'的概率

v_{\pi}(s) : 根据策略\pi，状态s的价值(回报期望)

v_{\star}(s) : 根据最优策略，状态s的价值

q_{\pi}(s,a) : 动作价值函数，根据策略\pi，在状态s时执行动作a的价值

q_{\star}(s,a) : 根据最优策略，在状态s时执行动作a的价值

V,V_t : 状态价值函数的估计

Q,Q_t : 动作价值函数的估计

\tau ： \tau = (S_0, A_0,R_0,S_1,A_1,R_1,...) 状态，动作，奖励的轨迹

\gamma ： \gamma \in [0,1] , 奖励折扣因子

\epsilon ： 根据\epsilon-贪婪策略，执行随机动作的概率

\alpha, \beta : 步长

\lambda : 资格迹的衰减速率

R(\tau) 是轨迹\tau的\gamma-折扣化回报，R(\tau)=\sum_{t=0}^{\infty}\gamma^{t}R_t

p(\tau) 是轨迹的概率：

        p(\tau) = \rho_0(S_0)\prod_{t=0}^{T-1}p(S_{t+1}|S_t)，对于\rho_0(S_0)是起始状态分布

        p(\tau|\pi)=\rho_0(S_0)\prod_{t=0}^{T-1}p(S_{t+1}|S_t,A_t)\pi(A_t|S_t),\rho_0(S_0)是起始状态分布

J(\pi)是策略\pi的期望回报，J(\pi)=\int_{\tau}p(\tau|\pi)R(\tau)=\mathbb{E}_{\tau\sim\pi}[R(\tau)]: 对于这个公式的理解为策略\pi可以产生很多轨迹\tau,产生每个轨迹的概率为p(\tau|\pi),而每个轨迹\tau的奖励为R(\tau),所以总的策略\pi可以获得的奖励的期望就是所有轨迹的概率乘与该轨迹的奖励的积分。对于右边期望描述的就是对于服从策略\pi的轨迹\tau，求轨迹的奖励值R(\tau)的期望。

\pi^{\star}是最优策略，最优策略就是能够获得最大的策略期望的策略，即为\pi^{\star}=arg max_{\pi}J(\pi)

v_{\pi}(s)是状态s在策略\pi下的价值，也就是这个状态能够获得的期望回报。

v_{\star}(s)是状态s在最优策略\pi下的价值，也就是这个状态能够在最优策略下获得的期望回报，最终都转化为了奖励的计算。

q_{\pi}(s,a)是状态s在策略\pi下执行动作a的价值（期望回报）

q_{\star}(s,a)是状态s在最优策略下执行动作a的价值（期望回报）

V(s)是对MRP（Markov Reward Process）中从状态s开始的状态价值的估计

V^{\pi}(s)是对MDP（Markov Decision Process）中在线状态价值函数的估计，给定策略\pi,有期望回报：

V^{\pi}(s)\approx v_{\pi}(s)=\mathbb{E}_{\tau\sim\pi}[R(\tau)|S_0=s]

其中MP，MRP，MDP参考：MP、MRP、MDP（第二节） - 知乎 (zhihu.com)

Q^{\pi}(s,a)是对MDP下在线动作价值函数的估计，给定策略 \pi，有期望回报：

 Q^{\pi}(s,a)\approx q_{\pi}(s,a)=\mathbb{E}_{\tau\sim\pi}[R(\tau)|S_0=s,A_0=a]

V^{\star}(s)是对MDP下最优动作价值函数的估计，根据最优策略，有期望回报：

V^{\star}(s)\approx v_{\star}(s) = max_{\pi}\mathbb{E}_{\tau\sim\pi}[R(\tau)|S_0=s]

Q^{\star}(s,a)是对MDP下最优动作价值函数的估计，根据最优策略，有期望回报：

Q^{\star}(s,a)\approx q_{\star}(s,a) = max_{\pi}\mathbb{E}_{\tau \sim\pi}[R(\tau)|S_0=s,A_0=a]

A^{\pi}(s,a)是对状态s和动作a的优势估计函数：

A^{\pi}(s,a)=Q^{\pi}(s,a) - V^{\pi}(s) 

 在线状态价值函数v_{\pi}(s)和在线动作价值函数q_{\pi}(s,a)的关系：

v_{\pi}(s)=\mathbb{E}_{a\sim\pi}[q_{\pi}(s,a)]

如上图所示：状态s对应多个动作a1,a2，执行一个动作之后，又可能转移到多个状态中去， 所以v_{\pi}(s)的值就是在状态s之下能够采取的所有动作的动作价值函数的期望，即为

v_{\pi}(s)=\mathbb{E}_{a\sim\pi}[q_{\pi}(s,a)]

另一种写法：

 v_{\pi}(s)=\sum_{a \in A}\pi(a|s)q_{\pi}(s,a)

这里写的是v_{\pi}(s)和q_{\pi}(s,a)之间的关系，同理另外一种转换关系是，执行一个动作之后得到的及时奖励值+下一个状态的状态价值函数的折扣，即为

v_{\pi}(s)=\sum_{a\in A}\pi(a|s)(R_s^a+\gamma\sum_{s'\in S}P_{ss'}^av_{\pi}(s')), 

P_{ss'}^a是在状态s执行动作a转移到s'的概率，这样就把v_{\pi}(s)和v_{\pi}(s')关联起来了。另一种写法如下：

v_{\pi}(s)=\mathbb{E}_{a\sim \pi(\cdot |s),s'\sim p(\cdot |s,a)}[R(s,a)+\gamma v_{\pi}(s')]

最优状态价值函数v_{\star}(s)和最优动作价值函数q_{\star}(s,a)的关系是：

v_{\star}(s)=max_{a}q_{\star}(s,a)

上面的公式很好理解，在最优策略下，给一个状态s，这个策略肯定能够选到最好的动作去执行，那么当前状态的价值函数就不是去求所有动作价值函数的期望了，而是就等于动作价值函数最大的那个值。

a_{\star}(s)是在最优策略下，状态s执行的最优动作

a_{\star}(s)=argmax_{a}q_{\star}(s,a)

 在线动作价值函数的贝尔曼方程：

q_{\pi}(s,a)=\mathbb{E}_{s' \sim p(\cdot |s,a)}[R(s,a)+\gamma\mathbb{E}_{a' \sim \pi(\cdot|s')}[q_{\pi}(s',a')]]

另外一种写法是：

q_{\pi}(s,a)=R_s^a+\gamma\sum_{s' \in S}p_{ss'}^{a}\sum_{a' \in A}\pi(a'|s')q_{\pi}(s',a') 

上面是 q_{\pi}(s,a)和q_{\pi}(s',a')的关系，下面是q_{\pi}(s,a)和v_{\pi}(s')的关系：

q_{\pi}(s,a)=R_s^a+\gamma\sum_{s' \in S}P_{ss'}^av_{\pi}(s')

另外一种写法是：

q_{\pi}(s,a)=R_s^a+\gamma\mathbb{E}_{s' \sim p(\cdot|s,a)}[v_{\pi}(s')] 

 最优状态价值函数的贝尔曼方程：

v_{\star}(s)=max_a \mathbb{E}_{s' \sim p(\cdot | s,a)}[R(s,a)+\gamma v_{\star}(s')]

 另外一种写法是：

v_{\star}(s)=max_aR_s^a+\gamma \sum_{s' \in S}P_{ss'}^av_{\star}(s')

 最优动作价值函数的贝尔曼方程：

q_{\star}(s,a)=\mathbb{E}_{s' \sim p(\cdot |s,a)}[R(s,a)+\gamma max_{a'}q_{\star}(s',a')]

另外一种写法是：

q_{\star}(s,a)=R_s^a+\gamma \sum_{s' \in S}P_{ss'}^amax_{a'}q_{\star}(s',a') 

 

http://www.lryc.cn/news/234355.html

相关文章：

  • Axure基础详解二十：中继器随机抽奖效果
  • 企业信息化与电子商务＞供应链信息流
  • 【Proteus仿真】【STM32单片机】防火防盗GSM智能家居设计
  • 快速入门ESP32——开发环境配置PlatformIO IDE
  • Oxygen XML Editor 26版新功能
  • Pikachu漏洞练习平台之SSRF(服务器端请求伪造)
  • WPF异步编程
  • 同态加密定义，四大发展阶段总结，FHE系统正式定义-全同态加密
  • 网上的搜索
  • 【算法-哈希表2】快乐数 和 两数之和
  • MR外包团队：MR、XR混合现实技术应用于游戏、培训，心理咨询、教育成为一种创新的各行业MR、XR形式！
  • 【P1008 [NOIP1998 普及组] 三连击】
  • 机器学习算法——集成学习
  • java springboot在当前测试类中添加临时属性 不影响application和其他范围
  • 原型网络Prototypical Network的python代码逐行解释，新手小白也可学会！！由于工作量大，准备整8个系列完事，-----系列5
  • milvus数据库的数据管理-插入数据
  • 系列一、请谈谈你对JVM的理解？Java8的虚拟机有什么更新？
  • 恕我直言，大模型对齐可能无法解决安全问题，我们都被表象误导了
  • Apache Airflow (九) ：Airflow Operators及案例之BashOperator及调度Shell命令及脚本
  • IJ中配置TortoiseSVN插件：
  • 个人实现在线支付，一种另类的在线支付解决方案
  • 浅谈智能安全配电装置应用在银行配电系统中
  • macOS下如何使用Flask进行开发
  • 记一次服务器配置文件获取OSS
  • 合众汽车选用风河Wind River Linux系统
  • PTA平台-2023年软件设计综合实践_5(指针及引用)
  • 智慧卫生间
  • Cadence virtuoso drc lvs pex 无法输入
  • 反序列化漏洞(2), 分析调用链, 编写POC
  • Pytorch reshape用法