强化学习中的Multi-Step TD Target方法详解
强化学习中的Multi-Step TD Target方法详解
Multi-Step TD Target
Multi-Step TD Target是一种结合多步时间差分（TD）方法的目标计算方式，用于在强化学习中更新价值函数。这种方法不仅使用当前时间步的信息，还利用接下来多个时间步的信息来更新值函数，从而在某种程度上缓解单步更新中估计偏差较大的问题。
Multi-Step TD Target 的基本概念
在标准的时间差分学习中，目标是基于单步回报计算的，而多步 TD 目标则基于多个时间步的累积回报。这种方法通过引入多个时间步的回报，权衡了短期和长期信息的使用，提供了更丰富的估计。
Multi-Step TD Target 的计算
- 定义多步回报：
对于一个给定的时间步 t ，多步 T D 回报 G t ( n ) 是从当前时间步 t 开始的 n 步累积回报加上未来的估计值。公式为：
$$
G_t^{(n)} = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \ldots + \gamma^{n-1} R_{t+n} + \gamma^n V(S_{t+n})
$$
其中， $R_{t+1}, R_{t+2}, \ldots, R_{t+n}$ 是接下来的 n 步奖励， $V(S_{t+n})$ 是状态 $S_{t+n}$ 的估计值。
- 多步TD更新：
使用多步回报更新值函数 V ：
$$
V(S_t) \leftarrow V(S_t) + \alpha \left( G_t^{(n)} - V(S_t) \right)
$$
其中， $\alpha$ 是学习率。
Multi-step TD 的优势
- 平衡偏差和方差：
多步 TD 方法结合了单步 TD 的低方差和蒙特卡洛方法的低偏差，通过选择合适的步数 ( n )，可以在偏差和方差之间取得平衡。
- 更快的收敛速度：
由于使用了更多的回报信息，多步 TD 方法通常比单步 TD 方法具有更快的收敛速度。
- 灵活性：
可以根据任务的具体需求调整步数 ( n )，以适应不同的环境动态和复杂度。
Multi-step TD 在强化学习中的应用
Multi-step TD 被用于强化学习中的许多算法，如：
- n-step SARSA：
扩展了标准 SARSA 的更新方式，结合多个时间步的回报。
- n-step Q-learning：
将多步 TD 目标用于 Q-learning 的更新，结合多个步骤的最大值。
- TD(λ)：
通过权重衰减将多个步长结合起来，形成了一个参数化的连续多步方法。
总结
Multi-step TD Target 是一种有效的强化学习方法，通过结合多步回报来改进值函数的更新。它在处理复杂环境、加速收敛和改善估计精度方面提供了灵活的工具，是许多强化学习算法的重要组成部分。
笔记
普通的Sarsa方法和Q-Learning方法都是One-Step Return方法，都是只用了一个时刻的环境奖励去进行TD计算更新网络参数。
Multi-Step Return使用了更多的环境真实反馈奖励，方法效果更好，更接近真实情况。