申请/专利权人：东北电力大学

申请日：2022-11-30

公开（公告）日：2024-04-30

公开（公告）号：CN115809597B

主分类号：G06F30/27

分类号：G06F30/27;H02J13/00;G06N3/084;G06N3/045;G06N3/092;G06F113/04

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2023.04.04#实质审查的生效;2023.03.17#公开

摘要：本发明公开的强化学习紧急直流功率支援的频率稳定系统及方法，属于电力系统频率控制技术领域，本发明将邻近优化策略算法的强化学习模型作为决策主体，实际电力系统作为环境，通过提取电力系统节点模型的多个历史时刻的特征电气量作为强化学习中的状态值以构建观测数据；构建基于近端策略优化算法的强化学习网络；对电气量进行分析和分类，部分电气量作为强化学习网络的输入，部分电气量用于更新强化学习网络参数，紧急直流功率支援措施作为强化学习网络的输出，通过强化学习进行优化训练生成策略模型；通过对策略模型的提取，直流系统能够在电力系统发生扰动时快速、准确的给出相应的紧急直流功率支援措施使得系统频率恢复到安全范围。

主权项：1.一种强化学习紧急直流功率支援的频率稳定系统，其特征在于，包括：初始化模块，用于配置基于邻近优化策略算法的强化学习网络的网路参数、设置交互间每次循环的最大交互次数和所要训练的循环数，读取预设的紧急直流功率支援指令集合及电力系统的特征电气量集合；交互模块，用于执行以下操作：在电力系统运行一个交互间隔步长后读取一次特征电气量数据，若强化学习网络有紧急直流功率支援的指令输出，则将指令传递给电力系统；数据处理模块，用于将交互模块所读取的特征电气量分为以下三类：决策措施电气量、控制效果电气量和安全约束电气量；评判模块，用于根据直流系统两端的交流母线频率值，利用奖励函数得到奖励值；决策模块，用于将所述决策措施电气量作为强化学习网络的输入数据传入至强化学习网络，将紧急直流功率支援指令作为强化学习网络的输出，使得直流系统能够在电力系统发生扰动时给出相应的紧急直流功率支援措施使得系统频率恢复到安全范围；学习模块，用于根据控制效果电气量判断频率恢复效果及根据安全约束电气量判断是否触发电力系统安全约束，并在此基础上结合评判模块得到的奖励值更新强化学习网络的网路参数；所述基于邻近优化策略算法的强化学习网络包含两个神经网络，分别为策略神经网络和价值神经网络，其中策略神经网络的输入为实时的直流系统两端的交流母线频率值及其变化率，输出为紧急直流功率支援指令；价值神经网络的输入为实时的直流系统两端的交流母线频率值及其变化率和所述紧急直流功率支援指令，输出为用于更新策略神经网络和价值神经网络的神经网络权重；所述特征电气量包括最近的一个或多个交互间隔内若干时间点的直流系统两端的交流母线频率值及其变化率、直流系统逆变侧换流母线电压、直流电流、逆变侧换流变漏抗、逆变侧换流变变比、逆变侧关断角、超前触发角和邻近直流系统的线路功率；所述基于邻近优化策略算法的强化学习网络的网络参数包括学习率、批大小、梯度裁剪大小和折扣因子大小；所述紧急直流功率支援指令集合由电力系统中参与紧急直流功率支援的设备和允许的紧急直流功率支援范围构建而成；所述紧急直流功率支援的设备即所控制的电力系统中能够进行紧急直流功率支援的直流系统；所述允许的紧急直流功率支援范围即整个电力系统或单个直流系统所允许输出功率的最低值和最高值。

全文数据：

权利要求：

百度查询： 东北电力大学 强化学习紧急直流功率支援的频率稳定系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD