深度强化学习玩Atari游戏

深度强化学习玩Atari游戏

引用

CSDN

1.

https://blog.csdn.net/weixin_36829761/article/details/140397701

近年来，深度学习在计算机视觉和语音识别等领域取得了突破性进展。这些方法能够直接从原始感知数据中提取高级特征，而无需人工设计特征。因此，将深度学习与强化学习相结合是一个很自然的想法。本文提出了一种新的深度学习模型，用于强化学习。我们的方法能够直接从原始像素输入学习控制策略，已在Atari 2600游戏上实现了最先进的性能。

1. 引言

强化学习是人工智能的一个重要分支,其目标是让智能体通过与环境交互来学习最优策略。然而,从高维感知输入(如视觉)直接学习控制策略一直是强化学习面临的长期挑战。传统上,大多数成功的强化学习应用都依赖于手工设计的特征和线性值函数或策略表示。

近年来,深度学习在计算机视觉和语音识别等领域取得了突破性进展。这些方法能够直接从原始感知数据中提取高级特征,而无需人工设计特征。因此,将深度学习与强化学习相结合是一个很自然的想法。

本文提出了一种新的深度学习模型,用于强化学习。我们的方法能够直接从原始像素输入学习控制策略,并在Atari 2600游戏上实现了最先进的性能。主要贡献包括:

2. 提出了一种深度Q网络(DQN)架构,可以直接从原始像素输入学习控制策略。
3. 设计了一种在线Q学习算法,结合了随机小批量更新和经验回放机制,以稳定深度网络的训练。
4. 在7个Atari游戏上进行了实验,不需要对架构或超参数进行调整,在6个游戏上取得了最佳结果,在3个游戏上超越了人类专家。

2. 背景

2.1 强化学习问题

在强化学习中,智能体通过与环境E交互来学习最优策略。在每个时间步t,智能体从合法动作集合A={1,…,K}中选择一个动作at。该动