申请/专利权人:厦门渊亭信息科技有限公司
申请日:2020-12-11
公开(公告)日:2024-04-05
公开(公告)号:CN112633014B
主分类号:G06F40/35
分类号:G06F40/35;G06N3/045;G06N3/08
优先权:
专利状态码:有效-授权
法律状态:2024.04.05#授权;2021.04.27#实质审查的生效;2021.04.09#公开
摘要:本发明涉及自然语言处理学习领域,公开了一种基于神经网络的长文本指代消解方法和装置,所述方法具体为一种回指消解方法,通过构建多层注意力模型实现自然语言的不同层次信息的处理,根据注意力机制计算指代部分和被指代部分在其周围信息和原文条件下的向量表示,进而计算出是否存在指代关系。这种方法有助于指代部分和被指代部分在当前语境下直接进行指代关系判别,对于显性指代和零指代两种情况都有较好的效果。
主权项:1.一种基于神经网络的长文本指代消解方法,其特征在于:包括以下步骤:步骤S1:输入长文本;步骤S2:抽取长文本中的指代部分信息、指代部分周围词信息、原文信息、被指代部分信息、被指代部分周围词信息,进行向量化表示;并将向量化表示的指代部分信息、指代部分周围词信息、原文信息、被指代部分信息、被指代部分周围词信息分别嵌入位置信息,对应输出指代部分向量、指代部分周围信息向量、原文部分向量、被指代部分向量和被指代部分周围信息向量;步骤S3:将指代部分向量与指代部分周围信息向量进行多头注意力机制计算,再使得到的结果继续与原文部分向量采用多头注意力机制计算,得到第一特征结果;步骤S4:将被指代部分向量、被指代部分周围信息向量进行多头注意力机制计算,再使得到的结果继续和原文部分向量进行多头注意力机制计算,得到第二特征结果;步骤S5:将步骤S3和步骤S4中获得的第一特征结果和第二特征结果连接组成一个综合结果,并利用Softmax层将它映射在判别空间中,进行指代与否的判断;其中,所述步骤S3具体包括:以指代部分向量为第一多头注意力模型的查询,以指代部分周围信息向量为键和值,第一多头注意力模型的输出作为第二多头注意力模型的查询,原文部分向量作为第二多头注意力模型的键和值,第二多头注意力模型输出第一特征结果;所述步骤S4具体包括:以被指代部分向量为第三多头注意力模型的查询,以被指代部分周围信息向量为键和值,第三多头注意力模型的输出作为第四多头注意力模型的查询,原文部分向量作为第四多头注意力模型的键和值,第四多头注意力模型输出第二特征结果。
全文数据:
权利要求:
百度查询: 厦门渊亭信息科技有限公司 一种基于神经网络的长文本指代消解方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。