买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国平安人寿保险股份有限公司申请的专利基于人工智能的预训练语言模型的处理方法、装置及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113688245B 。

龙图腾网通过国家知识产权局官网在2023-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111016984.9，技术领域涉及：G06F16/35；该发明授权基于人工智能的预训练语言模型的处理方法、装置及设备是由殷子墨设计研发完成，并于2021-08-31向国家知识产权局提交的专利申请。

本基于人工智能的预训练语言模型的处理方法、装置及设备在说明书摘要公布了：本发明公开了一种基于人工智能的预训练语言模型的处理方法，应用于人工智能技术领域，用于解决现有的分类模型对一词多义的语句理解能力弱的技术问题。本发明提供的方法包括：构建文本样本语句；通过该文本样本语句对待训练的预训练语言模型进行第一阶段预训练；当该待训练的预训练语言模型的输出对该文本样本语句的输出与该文本样本语句所属的类别相同时，得到训练好的预训练语言模型；将训练好的该预训练语言模型作为分类模型的编码器，将训练好的该预训练语言模型的参数作为该编码器的初始参数，在该编码器之后构建全连接层，得到初始分类模型；根据该初始分类模型的应用需求，对该初始分类模型进行第二阶段训练，得到训练好的分类模型。

本发明授权基于人工智能的预训练语言模型的处理方法、装置及设备在权利要求书中公布了：1.一种基于人工智能的预训练语言模型的处理方法，其特征在于，所述方法包括：构建文本样本语句，所述文本样本语句包括正文本样本语句和负文本样本语句，所述正文本样本语句中包含有一词多义的相同词语的个数为至少两个，且至少两个所述相同词语的表意为至少两种，所述负文本样本语句中包含有所述一词多义的所述词语的个数为一个；所述构建所述文本样本语句的步骤还包括：将所述正文本样本语句的两个不同的语句中的所述相同词语均用预设字符进行替换，得到对应的正样本替换语句；将各所述正样本替换语句进行组合拼接，得到所述正文本样本语句；将所述负文本样本语句的第一语句中包含的一个所述一词多义的词语用所述预设字符进行替换，得到第一替换语句；在所述负文本样本语句的第二语句中随机选择一个随机词语用所述预设字符进行替换，得到第二替换语句；将所述第一替换语句与所述第二替换语句进行组合拼接，得到所述负文本样本语句；通过所述文本样本语句对待训练的预训练语言模型进行第一阶段预训练的步骤包括：将所述文本样本语句输入至所述待训练的预训练语言模型，得到所述文本样本语句为正样本或负样本的输出结果；当所述输出结果与所述文本样本语句实际所属的类型不相同时，调整所述预训练语言模型的参数；循环所述将所述文本样本语句输入至所述待训练的预训练语言模型，至所述调整所述预训练语言模型的参数之间的步骤，直至所述预训练语言模型对所述文本样本语句的输出结果与所述文本样本语句实际所属的类型相同；当所述待训练的预训练语言模型的输出对所述文本样本语句的输出与所述文本样本语句所属的类别相同时，得到训练好的预训练语言模型；将训练好的所述预训练语言模型作为分类模型的编码器，将训练好的所述预训练语言模型的参数作为所述编码器的初始参数，在所述编码器之后构建全连接层，得到初始分类模型；根据所述初始分类模型的应用需求，对所述初始分类模型进行第二阶段训练，得到训练好的分类模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国平安人寿保险股份有限公司，其通讯地址为：518000 广东省深圳市福田区益田路5033号平安金融中心14、15、16、37、41、44、45、46层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。