买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东浪潮科学研究院有限公司申请的专利一种基于互学习的联邦大模型微调方法、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119443209B 。

龙图腾网通过国家知识产权局官网在2025-06-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510038816.1，技术领域涉及：G06N3/098；该发明授权一种基于互学习的联邦大模型微调方法、设备及介质是由郝虹;赵鑫鑫;姜凯设计研发完成，并于2025-01-10向国家知识产权局提交的专利申请。

本一种基于互学习的联邦大模型微调方法、设备及介质在说明书摘要公布了：本申请公开了一种基于互学习的联邦大模型微调方法、设备及介质，涉及大语言模型技术领域。方法包括：通过客户端和本地私有数据集，对第一语言模型进行微调，得到第二语言模型；通过第二语言模型对公共数据集进行计算，得到第二结果；计算第二结果和第一结果的第一损失值，将第二结果和第一损失值组成第一知识集合；获取知识集合，并通过第三语言模型对公共数据集进行计算，得到第三结果；计算第三结果的第二损失值，并将第一损失值和第二损失值进行比较，以微调第三语言模型。本申请通过上述方法实现了充分利用客户端小型语言模型的知识来丰富服务器端大型语言模型，同时使用服务器端大模型的知识提升客户端小型语言模型的能力。

本发明授权一种基于互学习的联邦大模型微调方法、设备及介质在权利要求书中公布了：1.一种基于互学习的联邦大模型微调方法，其特征在于，所述方法包括： 通过客户端和本地私有数据集，对第一语言模型进行微调，得到第二语言模型，具体包括： 在所述第一语言模型的注意力机制层和前馈神经网络层中，引入两个低秩矩阵； 初始化所述低秩矩阵，使用所述本地私有数据集训练所述低秩矩阵，得到微调后的模型；所述第一语言模型为客户端语言模型； 通过所述第二语言模型对公共数据集进行计算，得到第二结果，其中，所述公共数据集已有第一结果，所述第二结果包括特征向量、注意力分布和梯度信息； 计算所述第二结果和第一结果的第一损失值，将所述第二结果和第一损失值组成第一知识集合； 获取所述知识集合，并通过第三语言模型对所述公共数据集进行计算，得到第三结果，所述第三语言模型为服务器端语言模型； 计算所述第三结果与第一结果的的第二损失值，并将所述第一损失值和第二损失值进行比较，以微调所述第三语言模型，具体包括： 获取最小的第一损失值，并根据与所述客户端的词汇映射表，比较所述最小的第一损失值和第二损失值； 若所述第一损失值小于第二损失值，获取该客户端的第一知识集合，对所述第三语言模型进行微调； 将所述第三结果和第二损失值组成第二知识集合； 根据与所述客户端的词汇映射表，将所述第三结果发送至客户端。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东浪潮科学研究院有限公司，其通讯地址为：250101 山东省济南市高新区浪潮路1036号S02号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。