买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东科技大学申请的专利基于深度强化学习的多时间尺度电压调节方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119209561B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411696765.3，技术领域涉及：H02J3/12；该发明授权基于深度强化学习的多时间尺度电压调节方法及系统是由白星振;杨竣翔;李军盟;田树森;崔纳昆设计研发完成，并于2024-11-26向国家知识产权局提交的专利申请。

本基于深度强化学习的多时间尺度电压调节方法及系统在说明书摘要公布了：本发明属于配电网技术领域，具体公开了一种基于深度强化学习的多时间尺度电压调节方法及系统。本发明提出了一种包含时间序列特性的拥有混合设备联合控制能力的有源配电网电压调节方法，即首先设置一个可以输出离散动作和连续动作的智能体，通过一个包含时间序列特征的网络，实现对有载调压器、电容器组、可再生能源逆变器的小时级和分钟级的双时间尺度调度。此外，本发明还设计了一种冗余的多智能体协同控制系统，通过横向相互作用的倍增机制对各个智能体的动作输出进行协调。另外，本发明还整合了优先经验回放技术、汤普森采样技术以及安全模块机制，用于提高智能体的学习效率和控制效果。

本发明授权基于深度强化学习的多时间尺度电压调节方法及系统在权利要求书中公布了：1.基于深度强化学习的多时间尺度电压调节方法，其特征在于，包括如下步骤：步骤1.对存在大量可再生能源的有源配电网进行建模，建立有源配电网电压优化模型；步骤2.建立含时间序列特性的拥有连续动作和离散动作特性的智能体；智能体包括两个网络，一个是用于有载调压器、电容器组调度的在小时级别的时间尺度上进行离散控制的慢速网络，一个是用于逆变器、电储能系统调度的在分钟级别的时间尺度上进行连续控制的快速网络；智能体的快速网络和慢速网络又有两个内部网络，分别定义为快速控制Q网络、快速控制目标Q网络、慢速控制Q网络、慢速控制目标Q网络；对快速网络的动作集合和慢速网络的动作集合进行堆叠，得到某时刻智能体的动作；步骤3.使用单层马尔科夫构建多时间尺度决策过程，用于描述有源配电网电压优化模型和智能体的交互过程，并引入配电网状态、快速网络状态以及慢速网络状态；其中特别的设计三个状态耦合的状态转移函数，并且使用时间计数器将快速时间尺度和慢速时间尺度分离，把时间计数器的输出作为激活信号用于控制慢速网络；定义描述环境即ADN状态的转移函数，描述快速网络内部状态的转移函数，描述慢速网络内部状态的转移函数；则转移概率函数使用单层马尔科夫构建多时间尺度决策过程如下：a状态空间：定义状态st＝xt,yt,zt；其中，xt是环境即ADN的当前状态yt是快速网络的内部状态；zt是慢速网络的内部状态；其中，表示负载有功功率需求量，表示负载无功功率需求量，Vi,t表示节点i在t时刻电压的幅值，表示在t时刻节点i处储能系统的电量含量，分别表示在t时刻接入节点i的光伏发电装置的有功功率输出量、风力发电机的有功功率输出量；b动作空间：定义动作其中，是快速网络在t时刻的动作，是慢速网络在t时刻的动作； 其中，表示光伏逆变器无功功率的控制率，表示风力发电装置的逆变器的有功功率的控制率；表示储能设备的有功控制率；对于光伏和风机的逆变器，首先使用和得到可用的无功功率，然后在相应的控制率作用下得到注入到ADN的无功功率 其中，表示光伏发电装置可用的无功功率，表示风力发电机可用的无功功率；分别为光伏和风机逆变器的额定容量，和表示控制率；对于储能系统，在控制率的影响下得到实际注入ADN中的有功功率如果则如果则 其中表示OLTC的分接触头的档位，表示接入ADN的电容器组的组数，即通过确定有载调压器OLTC的分接头tapt的位置，通过确定电容器接入配电网的组数c转移概率： 转移概率Pst+1|st,at进一步分解为： 其中，描述环境即ADN状态的转移函数，描述快速网络内部状态的转移函数，描述慢速网络内部状态的转移函数；d计数器：对于慢速网络，引入一个计数器ct来跟踪时间步；根据计数器的结果，在到达慢速网络动作的小时时间尺度的时候，慢速网络应该新的动作；在其他时间步，它保持上一个动作的状态；如果时间步到达小时单位则ct＝0；如果时间步为分钟单位则ct≠0，则有慢速网络的动作选择： 步骤4.提出一种用于有源配电网的基于深度强化学习的多时间尺度电压调节的冗余的多智能体协同控制系统；在系统中使用多个智能体去执行相同的电压调节任务，然后通过冗余协调机制调整智能体的动作输出，最终将协调后的动作应用于有源配电网；冗余协调机制包括建立冗余协调矩阵、多个智能体之间动作的协调以及冗余协调矩阵的更新；步骤5.建立智能体的训练过程；将经过训练好的智能体，结合冗余的多智能体协同控制系统，应用于有源配电网的电压控制，实现多时间尺度电压调节。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东科技大学，其通讯地址为：266590 山东省青岛市黄岛区前湾港路579号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。