申请/专利权人：深圳市优必选科技股份有限公司

申请日：2020-03-17

公开（公告）日：2023-05-26

公开（公告）号：CN111460115B

主分类号：G06F16/332

分类号：G06F16/332;G06F16/33;G06N3/045;G06N3/0442;G06N3/0455;G06N3/047;G06N3/048;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2023.05.26#授权;2020.08.21#实质审查的生效;2020.07.28#公开

摘要：本申请提供了一种智能人机对话模型训练方法、装置、电子设备及计算机可读存储介质，该方法包括：获取当前轮次的用户语句及前一轮次的系统语句，拼接并输入至BERT模型中，得到当前对话矩阵；将当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量；对会话语义向量进行第一线性变换得到意图向量，并对会话语义向量进行第二线性变换得到对话行为向量；根据意图向量计算得到意图损失，并根据对话行为向量计算得到对话行为损失；基于意图损失及对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。本申请方案融合了BERT模型及GRU模型来编码历史记忆，并在语义解析时融合了前一轮的系统语句，可以得到准确度更高的语义解析模型。

主权项：1.一种智能人机对话模型训练方法，其特征在于，包括：获取当前轮次的用户语句及前一轮次的系统语句；将所述用户语句及所述系统语句拼接并输入至BERT模型中，得到当前对话矩阵；将所述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，其中，所述会话语义向量基于所述第一双向GRU模型在第一方向上的第一输出结果及第二方向上的第二输出结果拼接而得，所述第一双向GRU模型的初始隐藏层基于其它语句而构建，所述其它语句为除所述系统语句之外的历史轮次的语句；对所述会话语义向量进行第一线性变换得到意图向量，并对所述会话语义向量进行第二线性变换得到对话行为向量；根据所述意图向量计算得到意图损失，并根据所述对话行为向量计算得到对话行为损失；基于所述意图损失及所述对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新；其中，所述将所述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，包括：在将所述当前对话矩阵输入至所述第一双向GRU模型之后，将所述第一双向GRU模型在所述第一方向上的最末隐藏层的输出作为第一输出结果；将所述第一双向GRU模型在所述第二方向上的最末隐藏层的输出作为第二输出结果；对所述第一输出结果及所述第二输出结果进行拼接，得到所述会话语义向量；其中，所述对所述会话语义向量进行第一线性变换得到意图向量，包括：根据预设的第一参数矩阵对所述会话语义向量进行线性变换，得到第一中间向量，其中，所述第一参数矩阵的矩阵行数根据所述会话语义向量的维度而确定，所述第一参数矩阵的矩阵列数根据预设的意图类别的总数而确定，所述第一中间向量的维度为所述意图类别的总数；基于预设的第一激活函数对所述第一中间向量进行变换，得到意图向量，其中，所述意图向量中的各个维度用于表示所述用户语句属于各个意图类别的概率；其中，所述对所述会话语义向量进行第二线性变换得到对话行为向量，包括：根据预设的第二参数矩阵对所述会话语义向量进行线性变换，得到第二中间向量，其中，所述第二参数矩阵的矩阵行数根据所述会话语义向量的维度而确定，所述第二参数矩阵的矩阵列数根据预设的对话行为类别的总数而确定，所述第二中间向量的维度为所述对话行为类别的总数；基于预设的第二激活函数对所述第二中间向量进行变换，得到对话行为向量，其中，所述意图向量中的各个维度用于表示所述用户语句命中各个对话行为类别的得分。

全文数据：

权利要求：

百度查询： 深圳市优必选科技股份有限公司 智能人机对话模型训练方法、模型训练装置及电子设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD