Attention简直杀疯了！完美融合强化学习

Attention简直杀疯了！完美融合强化学习

引用

CSDN

1.

https://blog.csdn.net/2401_88556812/article/details/146173589

近年来，注意力机制（Attention Mechanism）在深度学习领域的应用日益广泛，特别是在与强化学习（Reinforcement Learning, RL）的结合中展现出了巨大的潜力。本文精选了四篇关于注意力机制在强化学习中应用的前沿研究论文，涵盖了动态作业车间调度、Transformer架构优化、多智能体学习和逆强化学习等多个方向，为读者提供了一个全面的视角来了解这一领域的最新进展。

基于深度强化学习和注意力机制的动态作业车间调度的混合智能方法

方法

• 马尔可夫决策过程（MDP）建模：将动态作业车间调度问题（DJSP）建模为马尔可夫决策过程，将不连续图作为状态，通用调度规则作为动作空间。
• 注意力机制：作为图表示学习（GRL）模块，用于从不连续图中提取状态特征，捕捉作业车间调度中的局部、全局和动态信息。
• 双竞争深度Q网络（D3QPN）：结合优先经验回放和噪声网络，用于将每个状态映射到最合适的调度规则。
• 公共基准Gymjsp：开发了一个基于OR-Library的公共基准环境，提供标准化的实验平台，便于研究者测试和比较算法。

创新点

• 混合智能框架：首次将通用调度规则与深度强化学习结合，提出了混合智能方法，显著优于单一调度规则，平均性能提升17.80%。
• 注意力机制的应用：通过注意力机制提取复杂调度问题中的关键特征，实验表明其性能优于图神经网络（GNN）和矩阵表示。
• D3QPN算法：提出的D3QPN算法在多个实验中表现出优于其他强化学习算法的性能，平均性能提升11.40%，且在某些任务中超越了Rainbow DQN。
• 公共基准Gymjsp：开发的Gymjsp为研究者提供了一个标准化的实验平台，降低了研究门槛，促进了该领域的研究发展。

稳定强化学习中的Transformer架构

方法

• 门控Transformer-XL（GTrXL）：提出了一种改进的Transformer架构，通过重新排序层归一化操作并引入新的门控机制，显著提高了Transformer在强化学习中的稳定性和学习速度。
• 身份映射重排序：将层归一化操作仅应用于子模块的输入流，为模型提供了一个从输入到输出的恒等映射路径。
• 多种门控机制：实验了多种门控机制（如输入门控、输出门控、高速公路门控等），并验证了其在不同任务中的性能。
• V-MPO算法：使用基于最大后验策略优化（V-MPO）的算法进行训练，以验证GTrXL在多任务强化学习中的性能。

创新点

• 性能提升：GTrXL在多任务DMLab-30基准测试中显著超越了LSTM，平均性能提升约18.3%，且在记忆型任务中表现尤为突出。
• 不定核的扩展：将Transformer架构成功应用于强化学习任务，解决了其优化困难的问题，使其在记忆型任务中表现优于外部记忆架构MERLIN。
• 计算效率：通过避免显式嵌入到Krein空间和基于特征分解的构建新的内积，提高了算法的计算效率，尤其是在大规模任务中。
• 数学基础：为处理不定核的方法提供了坚实的数学基础，并将核线性和二次判别扩展到可以处理不定核的更一般方法。

多智能体强化学习中的行为者-注意力-评论者算法

方法

• 注意力机制：提出了一种注意力机制，使评论者能够动态选择与当前智能体相关的其他智能体的信息，从而提高学习效率和可扩展性。
• 多智能体优势函数：设计了一种多智能体优势函数，用于解决多智能体环境中的信用分配问题，通过仅边际化相关智能体的动作来减少方差。
• 分散执行与集中训练：采用分散执行的行为者和集中训练的评论者框架，结合了独立学习和集中学习的优点，同时避免了环境的非平稳性和非马尔可夫性问题。
• Soft Actor-Critic：使用Soft Actor-Critic算法进行训练，结合最大熵强化学习，以提高策略的探索能力和稳定性。

创新点

• 动态注意力机制：首次引入动态注意力机制，使评论者能够根据当前智能体的状态和任务动态选择相关信息，显著提升了学习效率和可扩展性（例如在16个智能体的环境中，相比MADDPG，性能提升超过50%）。
• 多智能体优势函数：提出了多智能体优势函数，能够更有效地处理非平稳和非马尔可夫环境，相比传统方法，方差减少了30%以上。
• 灵活性和通用性：该方法不仅适用于合作环境，还适用于竞争和混合奖励设置，展示了广泛的适用性。
• 计算效率：通过避免直接处理全局状态，减少了计算复杂度，提高了训练速度，尤其是在大规模智能体环境中。

使用逆强化学习预测目标导向的人类注意力

方法

• 逆强化学习（IRL）：提出了一种基于逆强化学习的模型，通过生成对抗模仿学习（GAIL）算法，从人类搜索行为中恢复奖励函数和策略。
• 动态上下文信念（DCB）：设计了一种动态上下文信念状态表示，结合了目标对象、上下文对象、背景信息和历史注视点，用于模拟人类在视觉搜索中的注意力变化。
• 生成对抗网络（GAN）：利用生成对抗网络训练奖励函数和策略，使模型能够生成与人类行为相似的注视路径。
• COCO-Search18数据集：构建了COCO-Search18数据集，包含大量目标导向注视点数据，用于训练和评估模型。

创新点

• 首次应用IRL于视觉搜索：首次将逆强化学习应用于目标导向的视觉搜索任务，显著提高了对人类搜索行为的预测准确性（例如在目标注视概率AUC指标上，相比基线模型提升了40%以上）。
• 动态上下文信念（DCB）：通过动态更新上下文信念，模型能够更好地捕捉目标对象与上下文对象之间的关系，显著提升了搜索效率（例如在Scanpath Ratio指标上，相比基线模型提升了20%以上）。
• 数据效率：IRL模型在训练时需要的数据量更少，相比传统的卷积神经网络（CNN）方法，仅用5个图像类别就能达到相似的性能，数据效率提升了4倍。
• 泛化能力：模型能够很好地泛化到新的被试者，无需重新训练即可预测其搜索行为（在留一法实验中，模型性能与个体模型相当，差距小于5%）。