申请/专利权人：湖南三湘银行股份有限公司

申请日：2023-12-19

公开（公告）日：2024-04-02

公开（公告）号：CN117423168B

主分类号：G06V40/70

分类号：G06V40/70;G06N3/0442;G06N3/0464;G06N3/08;G06V10/80;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.02.06#实质审查的生效;2024.01.19#公开

摘要：本发明涉及情绪识别技术领域，特别是涉及一种基于多模态特征融合的用户情绪识别方法及系统，所述方法包括以下步骤：获取图像阵列、声音信号、资产信息；对三个模态提取原始特征；计算原始特征得到查询向量、键向量、值向量；通过自注意力机制获取强化映射特征；获取图像模态的隐层特征的保留特征；通过拼接得到融合特征；得到第二个融合特征；通过信息筛选与融合得到双模态融合特征；拼接得到全面特征；根据全面特征预测用户的情绪类型。本发明能够有效提高用户情绪识别精度。

主权项：1.一种基于多模态特征融合的用户情绪识别方法，其特征在于，包括：响应待识别用户的音视频服务请求，所述音视频服务请求包括所述待识别用户的身份信息、视频信息和语音信息；基于所述身份信息确定所述待识别用户的资产数值，通过所述视频信息提取图像模态的第一原始特征，通过所述语音信息提取语音模态的第二原始特征，通过所述资产数值提取数值模态的第三原始特征；处理图像模态与语音模态的所述第一原始特征与所述第二原始特征获得特征向量，然后通过自注意力机制获得第一原始特征对于第二原始特征的强化映射特征，通过自适应特征保留单元获得图像模态的隐层特征的保留特征，将所述强化映射特征与所述保留特征拼接获得融合特征，在对所述融合特征筛选融合后获得双模态融合特征；所述图像模态的隐层特征通过卷积神经网络操作进行提取，经由自适应特征保留单元决定保留和转发的特征比例，自适应特征保留单元是基于门控卷积单元设计的学习性网络结构，整个模型全程一起训练；通过将强化映射特征与保留特征按维度拼接，形成第一融合特征，重复强化映射特征与保留特征的获取过程得到另一组强化映射特征与保留特征，再次拼接后形成第二融合特征，两个融合特征经过信息筛选与融合过程，得到双模态融合特征；所述两个融合特征的信息筛选与融合过程由门控卷积结构执行；基于所述双模态融合特征和第三原始特征获得图像、语音、数值三模态融合后的全面特征；根据所述全面特征识别所述待识别用户在所述音视频服务中的情绪类型；通过所述视频信息提取图像模态的第一原始特征包括：设置标准人脸轮廓区段，确定所述标准人脸轮廓区段的标准长度；从所述视频信息中提取待识别用户的人脸轮廓，并按照所述标准长度将所述人脸轮廓进行多次切分，形成待对比区段，并将所述待对比区段分别与所述标准人脸轮廓区段进行比较；确定在所述待对比区段中，与标准人脸轮廓区段的相似度大于90%的目标区段，确定所述目标区段在所述待对比区段中的占比，预设标准占比；根据所述目标区段在所述待对比区段中的占比和所述标准占比的关系，确定对所述目标区段的筛选标准；确定对所述目标区段的筛选标准的过程包括：当所述目标区段在所述待对比区段中的占比小于所述标准占比时，则采用修正系数修正所述待对比区段与标准人脸轮廓区段的相似度；确定待对比区段与标准人脸轮廓区段的相似度S采用公式（1）来计算；相似度S=n0+FF0（1），其中n表示所述待对比区段中曲率变化次数，n0表示所述标准人脸轮廓区段中曲率变化次数，F表示待对比区段中曲率变化的平均幅度，F0表示所述标准人脸轮廓区段中曲率变化的标准幅度。

全文数据：

权利要求：

百度查询： 湖南三湘银行股份有限公司 基于多模态特征融合的用户情绪识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD