申请/专利权人：浙江工商大学;浙大城市学院

申请日：2023-12-26

公开（公告）日：2024-03-22

公开（公告）号：CN117744761A

主分类号：G06N3/098

分类号：G06N3/098;G06N3/096;G06N3/0895

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明公开了一种支持数据异构的基于监督对比学习的联邦模型训练方法及系统。本发明通过在横向联邦学习中的每一轮训练过程中，中心服务器下发全局编码器，本地客户端利用全局编码器与本地编码器进行知识蒸馏与监督对比学习，得到训练完成的本地编码器后上传给中心服务器，中心服务器权重聚合得到的本地编码器得到新的全局编码器，并利用公共数据集得到一个通用的预测器。本发明让更多数据分布不同的设备能够参与联邦学习，同时保证了参与者的隐私安全，利用知识蒸馏加快了客户端的训练效率并提升学习性能，利用了监督对比学习利用了数据之间内在的联系，提高了模型的学习性能，增强了模型对数据异构的抗性。

主权项：1.支持数据异构基于监督对比学习的联邦模型训练方法，其特征在于：包括以下步骤：S1、初始化客户端-中心服务器的横向联邦学习模型参数，在横向联邦学习全局模型训练的任一轮中，中心服务器将全局模型参数发送给参与训练的客户端，各个客户端根据全局模型的参数来更新本地模型的参数；S2、客户端进行本地模型参数更新后，对数据异构的数据集进行数据增强，使用经过数据增强后的数据集对本地模型与全局模型进行神经网络训练，使客户端的模型参数得到更新；S3、客户端将训练得到的编码器参数上传给中心服务器；S4、中心服务器收到参与训练的各个客户端编码器参数后，对收到的所有客户编码器参数进行权重聚合，得到本轮联邦学习训练后的全局编码器，中心服务器进行预测器生成，得到适合全局编码器的全局预测器；S5、中心服务器将全局编码器与全局预测器下发给各客户端，客户端将全局编码器与全局预测器组合成一个完整的模型，客户端更新本地编码器后继续进行本地模型的更新训练，得到更新训练的本地模型。

全文数据：

权利要求：

百度查询： 浙江工商大学;浙大城市学院 支持数据异构基于监督对比学习的联邦模型训练方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD