申请/专利权人：北京科技大学

申请日：2024-01-19

公开（公告）日：2024-02-23

公开（公告）号：CN117592014A

主分类号：G06F18/27

分类号：G06F18/27;G06F18/25;G06V40/70;G06V40/10;G06V40/16;G06V10/44;G06F40/20;G06N3/0442;G06N3/0455;G06N3/0464;G16H50/30;G10L25/63;G10L15/26;G10L25/03;G10L25/18;G10L25/24;G10L25/57;G10L25/66

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.12#实质审查的生效;2024.02.23#公开

摘要：本发明公开了一种基于多模态融合的大五人格特征预测方法，涉及情感计算技术领域，包括：从目标对话视频中截取包含被试者人脸的待处理图像序列，从目标对话视频中提取出包含被试者对话信息的音频文件；利用训练好的人脸表情预测网络与训练好的头部姿态估计网络，从待处理图像序列中分别提取出人脸表情特征序列和头部姿态特征序列；提取音频文件的音频特征序列和音频转录的文本特征；对人脸表情特征序列、头部姿态特征序列、音频特征序列和文本特征进行多模态融合，得到目标融合特征，使用基于标签分布的损失函数训练整个网络；基于训练好的多层感知机对目标融合特征进行加权回归，得到被试者的大五人格各维度的量化预测结果。

主权项：1.一种基于多模态融合的大五人格特征预测方法，其特征在于，所述方法包括：从目标对话视频中截取包含被试者人脸的待处理图像序列，从所述目标对话视频中提取出包含被试者对话信息的音频文件；所述目标对话视频为被试者参与对话的视频；利用训练好的人脸表情预测网络与训练好的头部姿态估计网络，从所述待处理图像序列中分别提取出人脸表情特征序列和头部姿态特征序列；提取所述音频文件的音频特征序列和文本信息，并提取所述文本信息中的文本特征；对所述人脸表情特征序列、所述头部姿态特征序列、所述音频特征序列和所述文本特征进行多模态融合，得到目标融合特征；基于训练好的多层感知机对所述目标融合特征进行回归，得到所述被试者的大五人格各维度的量化预测结果。

全文数据：

权利要求：

百度查询： 北京科技大学 基于多模态融合的大五人格特征预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD