申请/专利权人：广东九联科技股份有限公司

申请日：2020-03-10

公开（公告）日：2024-04-23

公开（公告）号：CN111401198B

主分类号：G06V40/16

分类号：G06V40/16;G10L25/63;G06V10/764

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2020.08.04#实质审查的生效;2020.07.10#公开

摘要：本发明涉及情绪识别技术领域，提供一种观众情绪识别方法、装置及系统，所述方法包括：提取包含多个观众的视频图像的每一帧图像；对每一帧图像进行人脸表情识别，获得每一帧图像的表情类别；对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将综合判定后的表情类别作为视频图像的情绪类别；对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。本发明提供的技术方案，能够全面、准确地识别观众在观看节目过程中的整体情绪。

主权项：1.一种观众情绪识别方法，其特征在于，所述方法包括：提取包含多个观众的视频图像的每一帧图像；对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别；对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将所述综合判定后的表情类别作为所述视频图像的情绪类别；对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果；其中，所述对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别，包括：对所述每一帧图像均进行以下操作：对一帧图像进行人脸识别，获得多张人脸识别图像，其中，每张人脸识别图像中均包括人脸特征点；对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别；对所有的人脸识别图像的表情类别进行综合判定，获得该帧图像的表情类别；其中，在对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别之后，对所述每一帧图像还进行以下操作：根据一张人脸识别图像中的所述人脸特征点计算该张人脸识别图像的表情变化程度；根据一帧图像中每张人脸识别图像的表情变化程度，计算该帧图像的表情变化程度；根据所述该帧图像的表情变化程度计算该帧图像的情绪得分；所述方法还包括：根据每一帧图像的情绪得分计算所述视频图像的情绪得分；其中，所述人脸特征点包括：眼睛特征点、嘴巴特征点和脸部特征点，所述根据一张人脸识别图像中的所述人脸特征点计算该张人脸识别图像的表情变化程度，包括：计算所述眼睛特征点与预设的无表情人脸图像的眼睛特征点之间的偏离程度，获得眼睛变化程度；计算所述嘴巴特征点与预设的无表情人脸图像的嘴巴特征点之间的偏离程度，获得嘴巴变化程度；计算所述脸部特征点与预设的无表情人脸图像的脸部特征点之间的偏离程度，获得脸部变化程度；对所述眼睛变化程度、所述嘴巴变化程度和所述脸部变化程度进行加权平均，获得所述该张人脸识别图像的表情变化程度；其中，所述眼睛变化程度、嘴巴变化程度和脸部变化程度均采用方差值来表示，具体地，将无表情人脸图像及其特征点进行预先存储，假设某一张人脸识别图像的眼睛特征点为s1、s2、s3、s4，分别计算s1和s2、s2和s3、s3和s4之间的归一化距离d1、d2和d3；假设无表情人脸图像的眼睛特征点为S1、S2、S3、S4，分别计算S1和S2、S2和S3、S3和S4之间的归一化距离D1、D2和D3；然后分别计算上述归一化距离之间的差值：dD1＝d1-D1，dD2＝d2-D2，dD3＝d3-D3，再采用方差公式求dD1、dD2和dD3的方差，即得到人脸识别图像的眼睛特征点与无表情人脸图像的眼睛特征点之间的方差δe；按照上述方法分别计算出人脸识别图像的嘴巴特征点与无表情人脸图像的嘴巴特征点之间的方差δm，以及人脸识别图像的脸部特征点与无表情人脸图像的脸部特征点之间的方差δf。

全文数据：

权利要求：

百度查询： 广东九联科技股份有限公司 观众情绪识别方法、装置及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD