申请/专利权人：中山大学

申请日：2020-12-02

公开（公告）日：2021-04-09

公开（公告）号：CN112632236A

主分类号：G06F16/332(20190101)

分类号：G06F16/332(20190101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：在审-实质审查的生效

法律状态：2021.07.16#实质审查的生效;2021.04.09#公开

摘要：聊天机器人、智能客服所涉及的多轮对话是现在研究的一个热点。基于检索方法的多轮对话中，顺序匹配SMN模型比较有代表性，该模型在对话回复匹配部分中使用单层的GRU网络，但是单层GRU网络提取深层次特征的能力有限，得到的编码信息会包含一些噪声。且该模型的对话匹配部分使用CNN卷积神经网络，而CNN网络主要关注局部信息，对自然语言序列整体的语义信息提取能力有限，会导致信息经过CNN网络后得到的信息不全。本发明涉及一种用于多轮对话模型顺序匹配网络的最优匹配算法。包括：1将单层GRU网络改为多层深度网络。2将特征矩阵M1和M2的聚合操作提前。3将CNN卷积网络替换成GRU网络。4改进后的SMN网络精确度提高了大约2个百分点。

主权项：1.一种改进的基于顺序匹配网络的多轮对话模型其特征在于，包括如下步骤：S1.一轮多轮对话中的所有上下文u和候选答案r输入到词嵌入部分，得到词向量，然后把所有词的词向量表示组合在一起形成词嵌入矩阵。S2.将词嵌入矩阵U输入到一个深度循环神经网络DeepGRU中对其进行编码得到M1，将词嵌入矩阵R输入到一个带有注意力机制的深度循环神经网络DeepGRU-GATE中对其进行编码得到M2。改进之后的网络首先对M1和M2进行聚合操作，然后再通过神经网络提取更深层次匹配信息。DeepGRU网络的输出用公式表示为： 聚合操作是直接把矩阵M1和M2在第一个维度上进行拼接。具体过程用公式表示如下： S3.将聚合后形成的矩阵M输入到更改之后的GRU网络中，GRU网络对聚合后的矩阵M进行编码输出一个包含更深层匹配信息的矩阵H1＝[h1，1，…，h1，nu]，h1，i表示GRU网络在第i时刻的隐藏状态。S4.将GRU网络最后时刻的隐藏状态h1，nu作为输入，输入到另一个GRU网络中对其进行编码，得到输出S5.最后把输出Hm＝[h′1，…，h′n]进行变换然后再通过一个softmax层后输出一个匹配得分。

全文数据：

权利要求：

百度查询： 中山大学 一种改进的基于顺序匹配网络的多轮对话模型

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD