申请/专利权人：湖南大学

申请日：2022-07-05

公开（公告）日：2024-04-09

公开（公告）号：CN115146313B

主分类号：G06F21/62

分类号：G06F21/62;G06N20/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2022.10.25#实质审查的生效;2022.10.04#公开

摘要：本发明公开了一种基于模型差值稀疏化的联邦学习差分隐私保护方法，设有中央服务器和若干个客户端，在中央服务器生成一个初始的全局模型，中央服务器将全局模型下发给各参与训练的客户端，各参与训练的客户端利用本地数据对全局模型进行若干次本地训练后得到本地模型，用全局模型减去本地模型得到模型差值，对模型差值进行稀疏、裁剪、加噪，将模型差值上传至中央服务器，中央服务器聚合收到的若干个模型差值，用全局模型减去聚合后的模型差值得到新的全局模型，以上步骤迭代若干次后得到最终的全局模型。本发明不仅可以有效防止敌手从模型参数中逆向推断得到客户端的隐私数据信息，同时还可以提升模型的可用性并减小通信开销。

主权项：1.一种基于模型差值稀疏化的联邦学习差分隐私保护方法，其特征在于，设有中央服务器和若干个参与训练的客户端，具体包括以下步骤：步骤1，设联邦学习训练中使用的模型参数量为d，初始化掩码矩阵集合M，M中每个掩码矩阵的元素个数与模型的参数量相等，即M中每个掩码矩阵的元素个数为d，使用公共数据集Dpub求得最终的掩码矩阵集合M′；步骤2，对于联邦学习中的每次全局迭代t∈{0，1，2，...，T-1}，其中T表示全局迭代次数，设参与训练的客户端个数为n，各参与训练的客户端先从中央服务器下载全局模型θt，再利用本地数据对全局模型进行τ次训练得到本地模型θt，τ，最后用全局模型减去本地模型得到模型差值Δ，即Δ＝θt-θt，τ；步骤3，使用M′中的掩码矩阵轮流对Δ进行稀疏，每次稀疏都会使Δ中p×d个值为0，其余1-p×d个值不变，稀疏后的模型差值记作Δ′；步骤4，裁剪Δ′使其二范数||Δ′||2小于或等于预先设定的裁剪阈值C，裁剪后的模型差值记作步骤5，根据预先设置的隐私参数和参与训练的客户端个数n来计算需要添加的高斯噪声的方差，对添加稀疏后的高斯噪声，最终得到稀疏、裁剪、加噪后的模型差值步骤6，将稀疏、裁剪、加噪后的模型差值上传至中央服务器；步骤7，中央服务器使用FedAvg算法聚合收到的n个模型差值，用全局模型θt减去聚合后的模型差值得到新的全局模型θt+1；重复步骤2至步骤7，直到达到设置的指定训练轮次，从而得到最终的全局模型。

全文数据：

权利要求：

百度查询： 湖南大学 基于模型差值稀疏化的联邦学习差分隐私保护方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD