申请/专利权人：清华大学

申请日：2021-03-10

公开（公告）日：2021-07-16

公开（公告）号：CN113132232A

主分类号：H04L12/721(20130101)

分类号：H04L12/721(20130101);G06N3/04(20060101);G06N3/063(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2022.05.20#授权;2021.08.03#实质审查的生效;2021.07.16#公开

摘要：本申请实施例公开了一种能量路由优化方法，包括：获取能源互联网中由N个能量路由器互联形成的网络结构，以及每个能量路由器的状态信息历史数据集和设备参数；并根据网络结构构建并训练由图卷积神经网络、强化学习Q网络、actor网络和critic网络组成的深度强化学习模型；将能源互联网中各能量路由器的实时状态信息和设备参数，以及能源互联网中的新增负载输入至深度强化学习模型中，得到最优的供电能量路由器和能量路由路径。通过图卷积神经网络和深度强化学习相结合的方式对能源互联网中多能量路由器之间的能量传递过程进行学习，使得可利用能量路由器的实时数据对能量传输线路进行快速、准确的优化，减少能量传输的损失，提高了供电的效率和可靠性。

主权项：1.一种能量路由优化方法，其特征在于，包括：获取能源互联网中由N个能量路由器互联形成的网络结构，以及每个能量路由器的状态信息历史数据集和设备参数；根据所述能源互联网和能量路由器的运行原理构建能源互联网的强化学习环境，并根据所述网络结构构建由图卷积神经网络、强化学习Q网络、actor网络和critic网络组成的深度强化学习模型；其中，所述强化学习Q网络、actor网络和critic网络均采用全连接的神经网络结构；根据所述能源互联网中每个能量路由器的状态信息历史数据集和设备参数，并综合每个能量路由器的可用供电容量、供电质量和可靠性、价格，以及新增负载到该能量路由器需要经过的路由数量、传输线路长度，构建供电能量路由器的评价Q函数，并对每两个能量路由器之间的能量传递，构建每一次能量传递的奖励R函数；其中，所述评价Q函数用于计算供电能量路由器的奖励值；所述奖励R函数用于计算执行每一次能量传递动作所获得的奖励值；初始化图卷积神经网络、强化学习Q网络、actor网络和critic网络的参数θG、θQ、θa和θc；通过在随机能量路由器增加负载来模拟新增负载的情况，利用能源互联网中各能量路由器的状态信息历史数据集和设备参数作为输入样本，以及利用各能量路由器的评价Q函数、能量路由路径和奖励R函数作为输出样本，训练由图卷积神经网络、强化学习Q网络、actor网络和critic网络组成的深度强化学习模型；对于能源互联网中新增负载的需求，将能源互联网中各能量路由器的实时状态信息和设备参数，以及所述新增负载输入至所述深度强化学习模型中，得到最优的供电能量路由器和能量路由路径；所述最优的供电能量路由器为Q函数值最大的能量路由器，最优的能量路由路径由actor网络输出。

全文数据：

权利要求：

百度查询： 清华大学 一种能量路由优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD