申请/专利权人：北京工业大学

申请日：2024-01-11

公开（公告）日：2024-04-02

公开（公告）号：CN117807597A

主分类号：G06F21/56

分类号：G06F21/56;G06N3/098;G06F18/213;G06F18/214;G06F18/2451

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.19#实质审查的生效;2024.04.02#公开

摘要：本发明公开了面向后门攻击的鲁棒个性化联邦学习方法，所述方法包含异构的个性化模型训练方法和基于参数扰动的后门攻击抵御方法两部分。通过联合训练特征提取层学习通用的数据表示，提高模型的泛化能力，客户端根据自身计算资源和数据分布选择适合自己的本地分类器结构，实现了对硬件资源的充分使用，同时能够保护自身的分类器结构不被泄露；客户端通过对特征提取器中后门神经元添加高斯噪声，降低了模型对后门触发器的拟合程度，从而缓解恶意客户端的后门攻击效果。

主权项：1.一种面向后门攻击的鲁棒个性化联邦学习方法，其特征在于，包括以下步骤：步骤1：搭建联邦学习环境；构建包含一个中心服务器和N个客户端的联邦学习系统，所有的客户端共享相同的特征提取器第k个客户端根据自身的计算资源和数据分布设计与其他客户端不同结构的本地分类器θ为联邦学习过程训练的特征提取参数，wk为特定于客户端的本地训练参数；步骤2：模型参数初始化；对于特征提取层，可以使用在大型数据集上预训练的模型来进行初始化，为联邦学习提供一个良好的起点；对于本地分类器层，使用标准的随机初始化方法，根据输入和输出单位的数量调整权重的初始分布，以避免在训练初期的梯度消失或爆炸；步骤3：下发全局特征提取参数；在第t轮训练开始之前，服务器检查所有客户端的可用性，并使用随机抽样方法从可用的客户端集合中选择数量为K＝C·N的客户端构成参与设备集参与训练，其中C∈0,1）是当前轮次选择的客户端比例，服务器将上一轮聚合得到的特征提取器参数广播θt-1到选定客户端；步骤4：训练特征提取器；如果当前轮次为第1轮，各客户端直接在本地上数据上通过随机梯度下降法训练完整的模型，否则，各客户端收到全局特征提取参数后，冻结异构的本地分类器参数，通过随机梯度下降算法训练得到下一次的特征提取参数学习跨设备数据的通用特征，提高模型的泛化性能，其中ηt是第t轮训练时特征提取参数的学习率，是第k个客户端的损失函数Lk关于特征提取参数θ的梯度，是客户端k在本地进行第i次训练时选取的一批数据样本，是该轮训练本地分类器的初始权重；步骤5：对后门权重进行扰动；针对步骤4中可能引入的后门特征权重，通过对损失函数关于特征提取器的Hessian矩阵上的小幅值元素添加高斯噪声进行干扰，降低后门神经元对触发器的过拟合能力；步骤6：聚合特征提取器；在所有客户端完成后门权重扰动操作后，服务器会对选定客户端的特征提取参数进行聚合：其中|Dk|是第k个客户端的数据量，|D|是参与该轮训练的客户端数据总量，I是本地训练的总迭代次数，为第t轮服务器所选择的客户端集合；步骤7：训练本地分类器；客户端固定特征提取层参数，使用随机梯度下降对异构的本地分类器进行更新：本地数据中的个性化知识会进一步融入异构本地模型，从而提高其个性化程度；其中是第k个客户端的损失函数Lk关于本地分类器参数wk的梯度；步骤8：生成个性化模型；判断是否达到给定的训练轮次，若是，则各客户端将全局特征提取器与异构的本地分类器组合成完整的个性化模型为特征提取层和本地分类器的组合操作；否则返回步骤3进行下一轮的迭代训练。

全文数据：

权利要求：

百度查询： 北京工业大学 面向后门攻击的鲁棒个性化联邦学习方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD