21.在线与离线MC强化学习简介
文章目录
- 1. 什么是在线MC强化学习
- 2. 什么是离线MC强化学习
- 3. 在线MC强化学习有何缺点
1. 什么是在线MC强化学习
在线强化学习（on-policy MC RL），是指：智能体在策略评估时为获取完整轨迹所采用的采样策略 π s a m p l e ( a ∣ s ) \pi_{sample}(a|s) πsample(a∣s)，与策略控制时要改进的策略 π ( a ∣ s ) \pi(a|s) π(a∣s)都是同一个策略,即： π = π s a m p l e \pi=\pi_{sample} π=πsample。
简而言之：所谓在线，就是在对一个初始策略评估的同时，利用 ϵ − \epsilon- ϵ−贪心算法对它进行及时改进。
2. 什么是离线MC强化学习
所在离线强化学习（off-policy MC RL），是指：智能体在策略评估时为获取完整轨迹所采用的采样策略 π s a m p l e ( a ∣ s ) \pi_{sample}(a|s) πsample(a∣s)，与策略控制时要改进的策略 π ( a ∣ s ) \pi(a|s) π(a∣s)不是同一个策略,即： π ≠ π s a m p l e \pi\ne\pi_{sample} π=πsample。
3. 在线MC强化学习有何缺点
- 所学到的策略可能不适合作为最终的策略使用。
- 为什么？
- 因为它引入的 ϵ − \epsilon- ϵ−贪心算法虽然确保了完整轨迹覆盖状态的多样性，但却以牺牲较快找到最优策略为代价，它总是小心翼翼，认为最优行为有可能存在于依赖经验确定的最优行为之外；
- 它没有考虑这一常识：随着轨迹覆盖了更多的状态和行为，随着这些状态行为对出现次数的增多，依赖完全贪心算法所确定的最优行为应该越来越具有获得更高累积回报期望的把握
- 如果智能体已经有关于如何更快更好地获得完整轨迹采样的先验策略，而这样的策略能够帮助自己更快地优化最终所要采取的策略，就没有必要在策略评估和策略控制中采用同一策略了。
- 为什么？
由于以上缺点，人们已经发展出了离线强化学习算法，它可以进一步细分为
- 重要性采样MC强化学习算法
- 加权重要性采样MC强化学习算法