中国科学院信息工程研究所虎嵩林获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国科学院信息工程研究所申请的专利一种基于遮蔽语言模型的两阶段情感迁移方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN113095063B 。
龙图腾网通过国家知识产权局官网在2024-07-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202010018333.2,技术领域涉及:G06F40/216;该发明授权一种基于遮蔽语言模型的两阶段情感迁移方法和系统是由虎嵩林;张滔;伍星;臧良俊;韩冀中设计研发完成,并于2020-01-08向国家知识产权局提交的专利申请。
本一种基于遮蔽语言模型的两阶段情感迁移方法和系统在说明书摘要公布了:本发明涉及一种基于遮蔽语言模型的两阶段情感迁移方法和系统。该方法包括:利用基于注意力机制的情感分类器和基于相对频率的融合方法,计算语料库中的所有词的得分,根据得分构建情感标记词的词库;利用情感标记词的词库对语料进行遮蔽处理,得到遮蔽语料;将遮蔽语料输入遮蔽语言模型中,利用遮蔽语言模型在遮蔽语料的遮蔽位置进行填空,得到迁移语料;将迁移语料输入预训练的情感分类器中,输出情感置信度分值,并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型。本发明通过显式分割情感迁移任务,先找出句子中的情感信息进行遮蔽,再填入能代表目标情感信息的情感词,通过分解任务降低难度,能够达到更好的效果。
本发明授权一种基于遮蔽语言模型的两阶段情感迁移方法和系统在权利要求书中公布了:1.一种基于遮蔽语言模型的两阶段情感迁移方法,其特征在于,包括以下步骤:利用基于注意力机制的情感分类器和基于相对频率的融合方法,计算语料库中的所有词的得分,根据得分构建情感标记词的词库;利用情感标记词的词库对语料进行遮蔽处理,得到遮蔽语料;将遮蔽语料输入遮蔽语言模型中,利用遮蔽语言模型在遮蔽语料的遮蔽位置进行填空,得到迁移语料;将迁移语料输入预训练的情感分类器中,输出情感置信度分值,并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型;其中,得到迁移语料的过程包括:1使用预训练的双向Transformer表示编码模型的权重,初始化和预训练遮蔽语言模型;2使用遮蔽语言模型在情感语料上进行遮蔽词推测的训练,缓解遮蔽语言模型预训练的维基百科语料和情感语料的数据分布偏差,使得遮蔽语言模型能够在情感语料上进行合理的上下文编码,对遮蔽位置进行填空预测;3将遮蔽语言模型输入层的片段词向量改为类别标签词向量,从而能使遮蔽语言模型在推测遮蔽时同时考虑目标情感类别和上下文信息;4使用修改后的考虑类别的遮蔽语言模型在情感语料上进行遮蔽词推测的训练,使得遮蔽语言模型能考量类别标签词向量的作用;5使用遮蔽语言模型得到迁移句子,构成迁移语料;其中,步骤4使用的计算公式为 其中,表示进行遮蔽词推测训练的损失函数,表示根据遮蔽句子和情感极性a推测遮蔽词ti的概率;其中,步骤5使用的计算公式为 其中表示迁移句子,表示迁移目标情感极性,AC表示情感极性条件,MLM表示遮蔽语言模型,AC-MLM表示情感极性条件约束的遮蔽语言模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学院信息工程研究所,其通讯地址为:100093 北京市海淀区闵庄路甲89号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。