博士论文 | Porto 2024 | 图强化学习用于改善智能电网服务

博士论文 | Porto 2024 | 图强化学习用于改善智能电网服务

近年来，图强化学习（Graph Reinforcement Learning，GRL）作为人工智能领域的前沿课题，受到了学术界的广泛关注。通过将强化学习技术应用于基于图的环境，可以优化顺序决策过程并充分利用网络应用中的图拓扑特征。随着图神经网络的发展，GRL研究取得了重要进展。本文介绍了一篇来自葡萄牙波尔图大学的博士论文，该论文深入探讨了GRL在智能电网服务中的应用，为解决动态经济电力调度问题提供了新的思路和方法。

研究背景与意义

图强化学习（Graph Reinforcement Learning，GRL）是近年来学术界关注的课题。通过启用强化学习技术来学习和优化基于图的环境中顺序决策过程，可以改进系统并获得在面向网络的应用领域中利用图拓扑特征的能力。随着 2010 年代后期图神经网络在学习如何从给定场景中提取有效图表示方面的进步，提出了更复杂的 GRL 方法，该主题开始引起学者们的好奇心。尽管近年来，该领域已经做了很多工作，但这些技术的研究仍被认为处于早期阶段。

此外，考虑到当前与可持续性和能源系统相关的全球挑战，越来越需要在以能源为中心的智能系统方面取得进展，以实现当前电网的现代化。目前，可再生能源在减少对化石燃料的依赖方面发挥着重要作用，随着消费者获得产生可再生能源的能力，这改变了能源分配系统的拓扑结构。随着人工智能和机器学习的进步，系统可以适应能源生产的分散化，并有效地管理能源系统的监控、分配和传输。在这项工作中，主要重点是改进 GRL 算法，该算法将用于解决动态经济电力调度问题，这是其主要应用领域，考虑到可再生能源和能源存储系统。

研究内容与方法

通过这种方式，本论文旨在通过以下方式推进现有的图强化学习技术研究：（1）对最近关于各种提出的 GRL 方法和动态经济调度系统的文献进行全面回顾，以全面了解最近最先进的技术及其局限性；（2）实施和校准两种最突出的方法，从而产生 GCN-SAC 和 GAT-SAC 模型（3）对两种提出的 GRL 方法与动态经济电力调度问题的 SAC 算法进行比较和系统的实证研究。

研究结果与展望

结果最终有利于最先进的 SAC 算法而不是提出的实现。所提出的模型的特征提取能力未能克服 SAC 的样本效率和稳定性，前者模型在两种情况下都取得了更好的表现。然而，GRL 方法，尤其是 GCN-SAC，在更大的场景中表现出了良好的结果，并表现出对更复杂环境的良好可扩展性。

论文信息

论文题目：Graph Reinforcement Learning for Improving Smart Grid Services

作者：António Oliveira

类型：2024年博士论文

学校：Universidade do Porto（葡萄牙波尔图大学）

下载链接：
链接:https://pan.baidu.com/s/1o9aknMv9k1mWJjPsyr0N6w?pwd=7rq8

硕博论文汇总：
链接:https://pan.baidu.com/s/1Gv3R58pgUfHPu4PYFhCSJw?pwd=svp5

相关图表

智能电网基础设施金字塔。描绘了基础层和高级应用之间的层次关系。底层代表资产管理框架等基本技术组件，而顶层则表示未来的应用，强调核心基础设施如何支持高级电网功能和效率改进 [18]。

Grid2Op l2rpn_idf_2023 118 总线测试用例 [4]。该图图表由已实现的 Grid2Op 逻辑生成，可以可视化电网的当前状态。

所提解决方案的总体架构。此实现使用 GNN 算法从每个状态中提取相关节点嵌入，然后使用新的、更具代表性的描述来训练 DRL 方法。

所用 36 母线和 118 母线方案之间的层次关系，其中第一个在红色矩形中可见。绿色五边形表示现有的发电机，而红色三角形表示负载 [4]。