申请/专利权人：山东鲁软数字科技有限公司

申请日：2021-08-20

公开（公告）日：2024-03-22

公开（公告）号：CN113673696B

主分类号：G06N3/092

分类号：G06N3/092;G06N3/098;G06N20/20;G06F21/62;H04L9/40;G06Q50/06

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.12.07#实质审查的生效;2021.11.19#公开

摘要：本发明公开了一种基于强化联邦学习的电力行业起重作业违章检测方法，该方法包括以下步骤：S1、使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型；S2、将步骤S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值；S3、强化学习模块通过强化学习，生成强化融合模型；S4、联邦学习C中心节点使用强化融合模型采用加权平均来对A节点和B节点的模型进行模型融合；S5、将融合后的模型下发到A节点和B节点；S6、重复步骤S1到S5，直至模型训练完成。有益效果：使用强化学习保证联邦学习共同建模效果，选择优质节点共同建立模型，降低异构性问题的影响。

主权项：1.一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，该方法包括以下步骤：S1、使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型；S2、将步骤S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值；S3、强化学习模块通过强化学习，生成强化融合模型；S4、联邦学习C中心节点使用强化融合模型采用加权平均来对A节点和B节点的模型进行模型融合；S5、将融合后的模型下发到A节点和B节点；S6、重复步骤S1到S5，直至模型训练完成；所述将步骤S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值还包括以下步骤：S21、强化学习DQN使用神经网络来近似值函，即神经网络的输入是函数值statess，输出是函数值Qs，a，S22、通过神经网络计算出值函数后，强化学习DQN使用∈-greedy∈-greedy策略来输出函数值action；S23、根据Rew去更新值函数网络的参数，重复步骤S21至S22并进行模型融合；所述通过神经网络计算出值函数后，强化学习DQN使用∈-greedy∈-greedy策略来输出函数值action还包括以下步骤：S221、通过环境给出一个函数值obs，智能体根据值函数网络得到关于这个obs的所有函数值Qs，aQs，a；S222、利用∈-greedy∈-greedy选择函数值action并做出决策，环境接收到此函数值action后会给出一个奖励函数值Rew及下一个obs；所述智能体根据值函数网络得到关于这个obs的所有函数值的Qs，aQs，a的估算公式如下：Qs，aQs，a≈^Qs，a，w≈Qπs，aQ^s，a，w≈Qπs，a；所述强化学习DQN的算法如下：初始化Qs，a，Vs∈S，a∈As，且Q终止状态，＝0；重复，对于每个片段；初始化状态S；重复，对于每个片段的每一步；根据Q选择一个S处的动作A；执行动作A，观测R，S'；QS，A←QS，A+aR+γmaxgQS'，a-QS，A；S←S'；直到S是终止状态并收敛。

全文数据：

权利要求：

百度查询： 山东鲁软数字科技有限公司 一种基于强化联邦学习的电力行业起重作业违章检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD