申请/专利权人：苏州大学

申请日：2020-03-24

公开（公告）日：2020-06-26

公开（公告）号：CN111339281A

主分类号：G06F16/332(20190101)

分类号：G06F16/332(20190101);G06F40/205(20200101);G06F40/279(20200101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2022.04.12#授权;2020.07.21#实质审查的生效;2020.06.26#公开

摘要：本发明公开了一种多视角融合的阅读理解选择题的答案选择方法，包括以下步骤：1获取上下文段落文本；2FACN模型。通过上述方式，本发明多视角融合的阅读理解选择题的答案选择方法通过引入上下文信息段落文本，结合多感知的注意力机制和胶囊网络FACN模型，能够有效地捕获事实类问题还是非事实类问题的特性，进而不同方式处理，在多视角融合的阅读理解选择题的答案选择方法的普及上有着广泛的市场前景。

主权项：1.一种多视角融合的阅读理解选择题的答案选择方法，其特征在于，包括以下步骤：。1获取上下文段落文本：1.1检索上下文段落文本：对于一个给定的初始问题Q，借助搜索引擎，检索出与问题相关的排名前10个的上下文段落文本；1.2获取候选答案集和段落文本：对于每个已检索出的上下文段落文本，利用增强型的预训练语言模型，分别计算候选答案集A与每个已检索出的上下文段落文本的相似度，由此得到10个相似度分数，降序输出相似度最高分数对应的段落文本，标记为P；1.3编为三元组信息：经过步骤1.1、步骤1.2的处理，可以获取到初始问题Q、段落文本P、候选答案集A，编为三元组Q，P，A信息，用于后续的模型训练；2FACN模型：2.1初始问题Q、段落文本P、候选答案集A编码表示：借助开源的自然语言处理工具分别对初始问题Q、段落文本P、候选答案集A进行处理，把他们P，Q，A对应的词性标注特征、实体识别特征和词向量拼接在一起，送入到双向长短记忆BiLSTM网络，分别得到段落文本、问题和候选答案的隐藏层表示，即为计算公式如下所示： 其中，h为隐藏层表示，e为词向量，p为词性标注特征，n为实体识别特征，t表示第t个词块，对规整后，即为Hp，Hq，Ha；2.2融合式的问题段落文本和候选答案注意力：利用经典的attention机制来分别对齐问题段落文本和候选答案中重要的词语，分别得到对齐的上下文表示向量Attpa，Attap，计算公式如下： 其中，表示段落文本和候选答案对齐交互矩阵，Wpa表示训练权重参数，softmax和tanh表示神经网络的激活函数，为了从不同视角获取问题段落文本和候选答案交互信息，利用highwaynetwork来融合隐藏层表示和上下文表示向量，计算公式如下：fp＝reluWf[Hp；Attpa；Hp-Attpa；Hp⊙Attpa]gp＝σWg[Hp；Attpa；Hp-Attpa；Hp⊙Attpa]Op＝gp⊙fp+1-gp⊙Hp其中，Op表示多视角的段落文本融合向量fp和段落文本隐藏层表示向量Hp的门控输出，Wf，Wg表示训练权重参数，relu和σ表示神经网络的激活函数，⊙，-分别表示元素级的乘法和减法运算，类似地，能够得到多视角融合下的段落文本下候选答案的门控输出向量Opa，同样地，利用以上的计算方法获取问题和候选答案对齐交互矩阵上下文对齐向量Attqa，Attaq，多视角融合下的问题下候选答案问题下的门控输出向量Oqa，问题感知的门控输出向量Oq，为了充分利用之前的网络层输出，接着利用BiLSTM来编码历史网络层输出，分别得到关于段落文本、问题以及候选答案的上下文感知的隐层向量Fp，Fq，Fa。计算公式如下：Fp＝BiLSTMWfp[Op；Hp]Fq＝BiLSTMWfq[Oq；Hq]Fa＝BiLSTMWfa[Opa；Oqa；Ha]其中，Wfp，Wfq，Wfa表示训练权重参数；2.3门控下的胶囊网络层：对于事实类的问题，包括Who型、When型、Where型，其答案往往由固定的词语或者一段简短的文本构成，经过简单的推理即可回答出来，对于非事实类的问题，包括Why型、How型、解释型，其答案往往较长，而且需要通过全部的上下文才能推断出来，不太容易回答出，为了解决事实类和非事实类问题的差异性，结合门控机制和胶囊网络来动态回答不同类型的问题，为了聚合之前网络层的输出信息，利用动态路由算法来迭代地更新每层获取的胶囊信息，经过r次迭代，输出收敛下的胶囊网络层信息C，C*＝tanhWcpFp+WcaFa+WcqFqg*＝σWcpgFp+WcagFa+WcqgFq其中，Wcp，Wca，Wcq，Wcpg，Wcag，Wcqg表示可训练的权重参数，C*表示段落文本或问题和候选答案的交互输出向量，g*表示二值0和1激活向量，σ表示sigmoid激活函数，动态路由算法如下： 之前网络层的交互输出向量C*，经过动态路由算法，得到了高层的且抽象的胶囊C，为了动态捕获不同问题类型的偏向表示，利用门控机制来输出最重要的向量Z，利用softmax归一化，找出每个候选答案的概率值，概率值最大的索引即为与问题最相关的答案，Z＝g*⊙C*+1-g*⊙C 其中，表示第i个样本的模型预测答案，等号右边是关于向量Z的softmax归一化计算，|C|表示候选答案集中答案的个数；2.4模型训练：考虑本案提出的模型实际，采用交叉熵损失函数来拟合预测答案与真实答案之间的误差，训练目标函数如下： 其中，N表示训练样本的个数，Ai，Pi，Qi分别表示第i个样本对应的候选答案集、段落文本和问题，pi表示第i个样本对应的真实答案，表示L2正则化项，用来防止模型过拟合，θ表示模型的训练参数。

全文数据：

权利要求：

百度查询： 苏州大学 一种多视角融合的阅读理解选择题的答案选择方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD