申请/专利权人：河海大学

申请日：2021-10-29

公开（公告）日：2024-04-16

公开（公告）号：CN113989561B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/82;G06N3/04;G06N3/098;G06N20/00;G06F21/62

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.02.18#实质审查的生效;2022.01.28#公开

摘要：本发明公开了一种基于异步联邦学习的参数聚合更新方法、设备及系统。所述方法通过在参数服务器上保存权重摘要来保留工作节点的最新权重，并且所有工作节点所占权重比例相同，权重摘要通过每个工作节点只能更新自身摘要部分，限制了快节点高频更新对整体权重的影响；所述方法通过在参数服务器上设置版本感知机制对权重摘要的版本进行记录，使得参数服务器聚合时可以根据工作节点不同的版本确定不同的加权比例，当整体版本差距过大时，通过全局更新的方式将慢节点中使用的旧权重更新到最新权重，从而提高慢节点的更新效率，使参数服务器上的模型更快的收敛。本发明可有效地提高基于联邦学习的机器学习模型的训练速度。

主权项：1.一种基于异步联邦学习的参数聚合更新方法，其特征在于，用于参数服务器端，所述方法包括以下步骤：随机选择n个工作节点，向选择的工作节点分发神经网络模型、神经网络模型初始参数、训练轮次T、超时时间tl，设置最大版本差距阈值th，并初始化本地版本为versionlatest←1，初始化α表示调节参数；接收工作节点传来的节点id、神经网络权重w，并保存serverw[id]←w；本地版本递增versionlatest←versionlatest+1，并根据工作节点传来的神经网络权重w，计算当前最新权重wlatest，计算公式如下： 式中，α表示调节参数，serverw[i]表示工作节点i在参数服务器上存储的神经网络权重w；判断当前最新权重wlatest是否达到预设训练精度ta要求，如果测试集精度大于等于ta，则停止训练；如果测试集精度小于ta，则判断当前整体版本差距是否大于最大版本差距阈值th：如果版本差距超过阈值th，则发送最新权重wlatest到所有节点；如果版本差距小于阈值th，则发送最新权重wlatest到刚接收权重的工作节点；等待工作节点下次传来节点id、神经网络权重w，进行下一轮更新。

全文数据：

权利要求：

百度查询： 河海大学 基于异步联邦学习的参数聚合更新方法、设备及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD