申请/专利权人：浙江大学

申请日：2021-08-05

公开（公告）日：2024-03-22

公开（公告）号：CN113657607B

主分类号：G06N3/098

分类号：G06N3/098;G06N3/096;G06F16/35;G06F21/62

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.12.03#实质审查的生效;2021.11.16#公开

摘要：本发明公开了一种面向联邦学习的连续学习方法。联邦学习服务端和各个客户端在确定学习任务后，通过搜集若干个与任务类型匹配的无隐私问题的公开数据集，各自独立地构建一份辅助数据集，用于后续训练过程；客户端借助知识蒸馏损失让本地模型在学习新任务的同时学习辅助数据集以及辅助标签，从而减少对旧知识的遗忘；服务端借助知识蒸馏损失让聚合模型同时学习辅助数据集以及辅助标签，从而减少模型在聚合过程中产生的遗忘。本发明在隐私安全且通信代价小的基础上，提升了联邦模型的连续学习能力。

主权项：1.一种面向联邦学习的连续学习方法，其特征在于：该方法应用于中文新闻标题分类任务，联邦学习系统包括服务端和若干客户端，该方法的步骤如下：1在确定学习任务后，服务端和各客户端通过搜集若干个与任务类型匹配的无隐私问题的公开数据集，各自独立地构建一份辅助数据集，用于后续训练过程；服务端将其维护的辅助数据集分成与客户端数量相等的若干子集；所述公开数据集为中文文本数据集，所述辅助数据集为公开的中文社交网络数据集；2客户端在开始本地训练之前，将辅助数据集输入模型，记录其输出作为辅助标签；所述步骤2具体为：每个客户端具体将其辅助数据集输入已经学习过旧任务的模型，并记录其输出作为辅助标签：学习过旧任务的模型是指已经在一些数据上训练至收敛的神经网络，记录的输出是指神经网络在辅助数据集上的输出向量；3在联邦学习的本地训练阶段，客户端借助知识蒸馏损失让本地模型在学习新任务的同时学习辅助数据集以及辅助标签，从而减少对旧知识的遗忘；每个客户端将新任务的优化目标与知识蒸馏损失相加后作为最终的优化目标；所述步骤3具体为：在联邦系统学习新任务的本地训练阶段，一部分客户端仅以新任务的损失为优化目标，迭代更新本地模型；另一部分客户端以辅助数据集及辅助标签构造知识蒸馏损失，这些客户端仅以此知识蒸馏损失为优化目标，迭代更新本地模型；4本地训练完成后，各个客户端将本地模型上传至服务端，服务端依照聚合算法对本地模型进行模型聚合；5在完成模型聚合之后，服务端记录每个本地模型在对应辅助数据集上的输出作为辅助标签；服务端借助知识蒸馏损失，让聚合模型学习辅助数据集及其记录的辅助标签，从而减少模型在聚合过程中产生的遗忘；6联邦学习系统在任务序列中的每个任务的训练过程中重复上述步骤2至步骤5。

全文数据：

权利要求：

百度查询： 浙江大学 一种面向联邦学习的连续学习方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD