恭喜浪潮云信息技术股份公司伊文超获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浪潮云信息技术股份公司申请的专利一种面向数据不均衡的联邦聚合方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116340790B 。
龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310182577.8,技术领域涉及:G06F18/23;该发明授权一种面向数据不均衡的联邦聚合方法及装置是由伊文超;朱利霞;何彬彬;潘心冰;李旭东设计研发完成,并于2023-03-01向国家知识产权局提交的专利申请。
本一种面向数据不均衡的联邦聚合方法及装置在说明书摘要公布了:本发明涉及联邦学习技术领域,具体提供了一种面向数据不均衡的联邦聚合方法及装置,具有如下步骤:S1、构建数据质量向量,由梯度因子、分布因子、数量因子组成;S2、以数据质量向量作为聚类特征,对参与方进行聚类分析,实现参与方分组;S3、基于分组聚合梯度的方式,完成全局梯度计算。与现有技术相比,本发明构建了一个数据质量描述向量,权衡了数据不均衡情况下各个参与方数据的数量、质量、模型贡献,多角度衡量数据集之间的差异,且基于此向量的聚类分析可以大大提升通讯效率。
本发明授权一种面向数据不均衡的联邦聚合方法及装置在权利要求书中公布了:1.一种面向数据不均衡的联邦聚合方法,其特征在于,具有如下步骤: S1、构建数据质量向量,由梯度因子、分布因子、数量因子组成; 进一步包括: S101、参与方从中央服务器获取t-1轮训练的模型全局梯度并更新本地模型参数 S102、参与方基于本地数据进行第t轮模型训练,得到本地模型各个神经元的梯度同时取上一轮全局梯度值以神经网络中各个网络层为基本单元划分梯度,计算和梯度偏移; 计算和梯度偏移,作为数据质量向量的一个因子,记为衡量当前数据集对于模型的优化方向影响,其中梯度偏移的度量准则选择向量内积,各个值位于[0,1]之间; 选用3层全连接神经网络,按网络层为基本单元划分后的梯度如下所示共包含3个向量,每个向量表示了对应网络层的梯度信息: 表示第一层全连接各个神经元的梯度,是一个向量; 表示第一层全连接本地训练后各个神经元的梯度,是一个向量; 其中符号°表示内积运算,偏移结果的结果示例为:[0.2,0.5,0.8],网络的每一层结构,对应一个值; S103、参与方统计各自数据集的数据量,并进行归一化; 参与方统计各自数据集的数据量,并进行归一化,记为作为数据质量向量的第二因子,其中其计算公式如下: 其中n表示参与方个数,i表示第i个参与方,Di表示参与方的数据拥有量; S104、各个参与方计算自己数据集与均匀分布的KL散度作为均衡参与方参与训练时数据集的分布差异,记为 S105、构建数据质量向量,记为 S2、以数据质量向量作为聚类特征,对参与方进行聚类分析,实现参与方分组; 进一步包括: S201、参与方上传数据质量向量,至中央服务器; S202、为质量向量中三个特征:分配不同的权重αβγ,其中αβγ且α+β+γ=1; S203、在中央服务器,基于聚类算法,完成聚类过程,得到类簇cluster及类簇内的各个参与方,聚类过程中的距离度量使用加权欧式距离,权重由步骤2设定的αβγ; 聚类完成后得到各个类簇及类簇下的参与方,以ABCDE共五个参与方的聚类; 通过聚类,参与分依据数据质量,被划分为不同类簇,同一类簇中的参与方在数据分布以及对梯度的贡献都是近似的,数据质量一致; S3、基于分组聚合梯度的方式,完成全局梯度计算; 进一步包括: S301、各个参与方上传本次训练梯度至中央服务器; S302、在中央服务器,遍历步骤S2中的聚类产生的类簇,聚合同一类簇中的参与方梯度,同一类簇中各个参与方的数据相近,采用均值计算; S303、类簇间梯度聚合,类簇之间反映了不同质量数据的差异,使用联邦平均算法聚合,得到本轮的全局梯度,记为 S304、中央服务器下发全局梯度至各个参与方,各个参与方更新权重,完成本轮训练。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浪潮云信息技术股份公司,其通讯地址为:250100 山东省济南市高新区浪潮路1036号浪潮科技园S02号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。