申请/专利权人：南京邮电大学

申请日：2023-10-23

公开（公告）日：2024-02-27

公开（公告）号：CN117612226A

主分类号：G06V40/16

分类号：G06V40/16;G06V10/80;G06V10/82;G06N3/0464;G06N3/045;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.15#实质审查的生效;2024.02.27#公开

摘要：本发明提供一种嵌入特权信息进行强化的面部表情识别方法和系统，方法包括以下步骤：对真实环境人脸面部表情图像进行预处理，分别得到语音特征梅尔图谱和文本特征语义张量；将后两种数据作为特权信息，构建大规模端到端的神经网络结构MPI‑FER；在训练阶段，实现多模态特权信息的嵌入；对三种模态的数据提取的特征进行基于跨模态注意力和自注意力机制的融合，提升表情识别的性能；在测试阶段，仅需要输入人脸表情图像就能够生成对应的梅尔图谱和语义信息，进而进行多模态融合，得到预测类别。本发明的方法和系统提高了真实环境下表情识别率和鲁棒性，面部表情识别准确率优于单多模态方式的情感识别结果准确率。

主权项：1.一种嵌入特权信息进行强化的面部表情识别方法，其特征在于，包括以下步骤：步骤1：一方面对真实环境人脸面部表情图像进行预处理，另一方面对另外两种模态的语音数据和文本数据进行表观转换，分别得到语音特征梅尔图谱和文本特征语义张量；步骤2：特权信息是指在训练时可用，测试时不可用的信息，用以指导特征提取，将梅尔图谱和语义张量作为表情图像的特权信息，构建端到端可训练的异构神经网络模型MPI-FER，进行多模态数据间的表观迁移，利用情感特征辅助提升表情识别的性能；步骤3：训练阶段，图像数据经过编码单元后，得到图像情感特征，所述图像情感特征经过语音解码和文本解码重建为对应的梅尔图谱和语义特征，显示地构建数据重建的外观投影模型，隐式地提升图像编码器对图像数据中情感特征的提取能力，嵌入特权信息；步骤4：将步骤3中重建的梅尔图谱和语义特征进行编码操作，得到语音情感特征和文本情感特征，再结合由图像编码单元得到的图像情感特征，输入到多模态融合单元中，进行基于跨模态注意力和自注意力机制的融合，得到最终的表情分类预测；步骤5：测试阶段，仅需输入一张人脸表情图像，首先根据步骤1仅对输入的所述人脸表情图像进行预处理，再输入到异构神经网络模型MPI-FER中生成另外两个模态的数据梅尔图谱和语义信息，然后对三种模态的数组进行编码并进行基于跨模态注意力和自注意力机制的融合，最终得到该人脸表情图像的表情类别。

全文数据：

权利要求：

百度查询： 南京邮电大学 嵌入特权信息进行强化的面部表情识别方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD