申请/专利权人：中国人民解放军国防科技大学

申请日：2022-07-14

公开（公告）日：2024-04-16

公开（公告）号：CN115240713B

主分类号：G10L25/63

分类号：G10L25/63;G10L15/26

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.11.11#实质审查的生效;2022.10.25#公开

摘要：本申请涉及一种基于多模态特征和对比学习的语音情感识别方法及装置。所述方法包括：构建的语音情感识别模型，利用FastRCNN预处理模型、双向GRU模型以及进行3D卷积网络特征提取，得到语音情感特、文本情感特征和高级情感特征；根据对比学习方法进行情感特征增强表示，将增强后的情感特征进行拼接，然后解码输出情感类别的概率分布；根据情感类别的概率分布和标注的真实情感类别标签构建交叉熵损失函数，利用交叉熵损失函数和对比学习中的损失函数对预先构建的语音情感识别模型进行训练，根据训练好的语音情感识别模型对待识别的语音视频数据进行语音情感识别。采用本方法能够提高语音情感识别准确率。

主权项：1.一种基于多模态特征和对比学习的语音情感识别方法，其特征在于，所述方法包括：获取待识别的语音视频数据；所述语音视频数据中包括语音文本和视频数据；构建的语音情感识别模型；所述语音情感识别模型包括FastRCNN预处理模型、双向GRU模型、3D卷积网络和全连阶层；对所述语音文本进行数据预处理，得到语音向量和词向量；利用FastRCNN预处理模型将所述视频数据中说话人的局部特征提取出来，并扩充尺寸后与所述视频数据的全局特征图进行融合，得到融合视频数据；所述局部特征包括脸部表情和手部动作；根据双向GRU模型分别对所述语音向量和词向量进行情感特征提取，得到语音情感特征和文本情感特征；利用3D卷积网络对所述融合视频数据进行情感特征提取，得到高级情感特征；根据对比学习方法对所述语音情感特征、文本情感特征和高级情感特征进行增强表示，得到增强后的语音情感特征、文本情感特征和高级情感特征；将所述增强后的语音情感特征、文本情感特征和高级情感特征进行拼接，并通过全连接层组成的解码器进行解码，输出情感类别的概率分布；根据所述情感类别的概率分布和标注的真实情感类别标签构建交叉熵损失函数，利用所述交叉熵损失函数和对比学习中的损失函数对预先构建的语音情感识别模型进行训练，得到训练好的语音情感识别模型；根据所述训练好的语音情感识别模型对所述待识别的语音视频数据进行语音情感识别。

全文数据：

权利要求：

百度查询： 中国人民解放军国防科技大学 基于多模态特征和对比学习的语音情感识别方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD