申请/专利权人：哈尔滨工业大学

申请日：2021-10-27

公开（公告）日：2024-03-22

公开（公告）号：CN113987179B

主分类号：G06F16/35

分类号：G06F16/35;G06F18/214;G06N3/0455;G06N3/0985;G06F18/24

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2022.02.18#实质审查的生效;2022.01.28#公开

摘要：本申请公开了一种基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质，属于自然语言处理技术领域。本申请首先利用编码器，通过设计不同的掩码矩阵以实现对话中各方的交互，同时引入对话历史信息，仅在词编码阶段就考虑了情感动力学的影响。然后，本申请通过利用图注意力网络实现对外部结构化情感知识的利用，从而扩充了话语的语义信息，弥补了词编码器模块在某些特定维度上知识的缺失。最终，在任务损失函数的基础上又加入了一个回溯损失以达到在训练过程中利用过去模型状态的先验经验的效果。旨在利用先前的训练经验来指导权重更新，确保模型决策更接近真实值，而不是前一个训练步骤中表现相对较差的预测。

主权项：1.基于知识增强和回溯损失的对话情绪识别网络模型，其特征在于，包括：语境和情感动态感知模块、外部知识交互模块和回溯历史状态模块；语境和情感动态感知模块，利用transformer结构作为最底层的词编码器，通过当前话语及其对应的说话人设计不同的注意力掩码矩阵，达到同时引入情感动力学以及语境影响的效果；假定一组对话集合其中L代表对话的个数，在每段对话中包含一系列Ni个话语，其中带有预定义情感标签的话语ui由说话者发出，所有的说话者组成集合所有预定义的情绪标签组成集合对于对话Dj中的第i句话语wk表示话语ui中的第k个词，Nk表示话语ui中的单词数目；在每个目标话语前预置一个特殊的标记“[CLS]”： xi表示预置特殊标记的目标话语集合，然后xi被输入到嵌入层： 其中表示单词嵌入序列，Dh代表XLNet-base的输入维数，相应的单词嵌入序列被当作Transformer第一层的隐状态输入，同时也被用于知识引入模块的概念嵌入层；在transformer的最后一层输出之上又加了一层BiGRU来强调话语位置信息，具体地：采用记忆更新机制，将记忆m与l-1层的隐状态hi进行级联操作获得 其中代表l-1层的记忆，记忆的工作方式类似于一个栈；L代表transformer的层数，是一个超参数；Dm是预定义的最大记忆长度；“||”类似栈中的“PUSH”操作并不改变ml-1的维数,即假定为“问询query”，为“键key”和“值value”执行多头注意力机制操作；首先在问询、键和值上进行M个不同的线性映射操作，M代表头数，对于Transformer第l层的每个注意力头： 其中表示问询的线性变换结果，表示为键的线性变换结果，表示为值的线性变换结果，是每个注意力头的训练参数；然后进行相对位置注意操作： 其中表示问询和键经过相对位置注意操作后的结果，表示矩阵经过掩码操作后的结果，s是一个掩码矩阵且维数与相同，在进行注意力操作时，当的第i个元素与的第j个元素之间需要掩码掉时，sij置为正无穷，其余情况置为0；最终，注意力操作的输出为： 公式3到9合并为函数f·： 其中表示为多头注意力机制的某个单头输出；给定目标话语和历史对话信息后，通过设计不同的掩码矩阵在编码时引入语境和情绪动力学的影响，使用四种不同的transformer块：用于全局语境建模的全局块GlobalBlock、局部语境建模的局部块LocalBlock；情感惯性建模的说话者内部块Intra-SpeakerBlock和情绪传染建模的说话者之间块Inter-SpeakerBlock；将四种不同的transformer块的输出分别标记为使用注意力机制来学习权衡： 其中表示综合的结果且维数与相同，α表示为不同的transformer块实际的影响比重，表示模型习得的线性变换矩阵；同时考虑到词编码阶段的自注意力机制强调的是话语中词的相对位置而弱化了对话中的话语序列信息，在transformer的最后一层输出后加了一层BiGRU捕捉这个话语位置信息并得到最终话语表示语境和情绪动态感知模块可视为一个编码器： 表示为编码器的输出；外部知识交互模块，通过利用图注意力网络实现对外部结构化情感知识的利用，从而扩充了话语的语义信息，弥补了词编码器模块在某些特定维度上知识的缺失；使用ConceptNet作为外部的知识源，对于话语xi中的每个非停用词wd，获取其在ConceptNet的相关知识子图Gwd，对于每一个子图Gwd，移去停用词或超出语境和情绪动态感知编码词表的邻居节点，进一步删除置信度小于1的声明，最终得到： 其中ni代表词wd的关联概念表示；gi代表相应的置信度分数；Nn代表子图Gwd中的声明数；对于话语xi中的每个非停用词wd和其概念子图Gwd中的关联概念np，通过话语读入模块获取其表示，并分别标记为和知识表示Kd计算方式如下： 其中表示和的内积，表示为不同邻居节点所具有的影响程度，和“·”表示点积操作；若Nn＝0，则Kd设置为所有节点向量的均值；至此已获得话语xi的语境和情绪动态感知表示和相应知识表示K；对于语xi中的每个非停用词wd，其相应的语境和情绪动态感知表示为知识表示Kd为K中的第d个元素；级联获得词wd的知识增强表示 其中则话语的知识增强表示回溯历史状态模块，在任务损失函数的基础上加入了一个回溯损失，旨在利用先前的训练经验来指导权重更新，确保模型决策更接近真实值，以达到在训练过程中利用过去模型状态的先验经验的效果；对于目标话语ui获得其词级别话语表示Ui，再通过最大池化操作获得其话语级别表示 其中是模型参数，最终的预测分布计算如下： 其中We∈he×hc,是模型参数，he代表预定义的情绪数；使用交叉熵作为ERC任务的损失函数： 其中表示话语ui对应的真实情绪e；1到21视为一个映射θ·，即此时若保存过去的模型参数得到另外一个映射θp·；回溯损失函数由以上两个映射刻画：lossretro＝β+1||θui-yi||-β||θui-θpui||23其中β是一个超参数，||·||表示L1范数；回溯损失函数有两个额外的超参数，预热期P和更新频率F，P指的是模型被认为可以稳定加入使用这种回溯更新的时期，F指的是使用回溯损失的间隔时期数，得到最终的损失函数：L＝losserc+lossretro24。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD