买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东浪潮科学研究院有限公司申请的专利Transformer模型的训练方法、装置、电子设备及可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119807714B 。

龙图腾网通过国家知识产权局官网在2025-06-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510280316.9，技术领域涉及：G06F17/16；该发明授权Transformer模型的训练方法、装置、电子设备及可读存储介质是由邵嘉豪;王聪;张吉臣;王景坤;段强设计研发完成，并于2025-03-11向国家知识产权局提交的专利申请。

本Transformer模型的训练方法、装置、电子设备及可读存储介质在说明书摘要公布了：本发明提供一种Transformer模型的训练方法、装置、电子设备及可读存储介质，涉及机器学习技术领域，包括将原始Transformer模型每层中的注意力头分为自注意力头和跨注意力头，使用与原始Transformer模型结构一致的向量模型对目标领域文本进行特征提取，得到目标领域文本特征向量，在跨注意力头中引入目标领域文本特征向量进行特征融合，得到中间Transformer模型，使用目标领域文本训练中间Transformer模型，得到目标Transformer模型；能够在低计算资源场景下，高质量实现大规模预训练语言模型从源领域到目标领域的文本迁移任务，显著降低了领域迁移时对目标领域文本训练数据的需求，降低了计算资源成本，提升了大规模预训练语言模型识别不同领域文本的适应性。

本发明授权Transformer模型的训练方法、装置、电子设备及可读存储介质在权利要求书中公布了：1.一种Transformer模型的训练方法，其特征在于，包括： 将原始Transformer模型每层中的注意力头分为自注意力头和跨注意力头；所述原始Transformer模型是基于源领域文本训练得到的； 对目标领域文本进行特征提取，得到目标领域文本特征向量； 在所述跨注意力头中引入所述目标领域文本特征向量进行特征融合，得到中间Transformer模型； 使用所述目标领域文本训练所述中间Transformer模型，得到目标Transformer模型，包括： 冻结除所述中间Transformer模型的跨注意力头中的LoRA参数以外的其他所有参数，使用所述目标领域文本训练所述LoRA参数；所述LoRA参数是通过低秩分解引入的调整参数； 解冻所述中间Transformer模型的指定关键层的自注意力参数进行微调，得到所述目标Transformer模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东浪潮科学研究院有限公司，其通讯地址为：250101 山东省济南市高新区浪潮路1036号浪潮科技园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。