申请/专利权人：深圳市恒必达电子科技有限公司

申请日：2023-05-11

公开（公告）日：2024-03-22

公开（公告）号：CN116522280B

主分类号：G06F18/25

分类号：G06F18/25;G06F3/01;G06V40/16;G06V40/18

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2023.08.18#实质审查的生效;2023.08.01#公开

摘要：本发明提供了一种基于虚拟现实仿真采集的情绪分级识别方法及系统，其中，情绪分级识别方法包括：针对待识别人员进行虚拟现实仿真演示，并在虚拟现实仿真演示过程针对待识别人员进行信息采集，获取待识别人员在虚拟现实仿真演示过程中的眼部变化、嘴部表情变化和脑电波变化；针对到眼部采集信息、嘴部采集信息和脑电波采集信息分别进行眼球参数分析、表情变化分析和电波纹路分析，得到第一采集分析结果、第二采集分析结果和第三采集分析结果；根据第一采集分析结果、第二采集分析结果和第三采集分析结果确定情绪等级，得到情绪分级识别结果。本发明从眼部、嘴部以及脑电波三个方面全面分析被识别人员的情绪，从而提高情绪识别的准确性。

主权项：1.一种基于虚拟现实仿真采集的情绪分级识别方法，其特征在于，所述情绪分级识别方法包括：针对待识别人员进行虚拟现实仿真演示，并在虚拟现实仿真演示过程针对待识别人员进行信息采集，获取待识别人员在虚拟现实仿真演示过程中的眼部变化、嘴部表情变化和脑电波变化，得到眼部采集信息、嘴部采集信息和脑电波采集信息；针对到眼部采集信息、嘴部采集信息和脑电波采集信息分别进行眼球参数分析、表情变化分析和电波纹路分析，得到第一采集分析结果、第二采集分析结果和第三采集分析结果；在针对眼部采集信息、嘴部采集信息和脑电波采集信息分别进行眼球参数分析、表情变化分析和电波纹路分析之前预先针对眼球参数分析、表情变化分析和电波纹路分析分别建立第一分析模型、第二分析模型和第三分析模型，并将第一分析模型、第二分析模型和第三分析模型存储到算法库中，当针对眼部采集信息、嘴部采集信息和脑电波采集信息分别进行眼球参数分析、表情变化分析和电波纹路分析时，根据分析的目标在算法库中调取对应的模型进行分析，得到对应的采集分析结果；其中，所述第一分析模型，包括：针对眼部采集图像进行图像预处理，获取预处理后的眼部采集图像；在预处理后的眼部采集图像中划分出眼睛部分的轮廓，并针对眼睛部分的轮廓中构建眼睛部位坐标系；基于眼睛部位坐标系进行眼球采集图像校正，得到校正处理后的眼球采集图像；参照眼睛部位坐标系针对校正处理后的眼球采集图像进行眼球位置识别，获取眼球位置信息，得到眼球实时变化信息；分析眼球实时变化信息的变化情况，确定眼球偏移量和聚焦停留时间，得到第一采集分析结果；其中，在获取眼球位置信息时通过如下公式确定眼球位置： 上述公式中，表示第i帧眼部采集图像中眼球的识别校正后的位置横坐标，表示第i帧眼部采集图像中眼球的识别校正后的位置纵坐标，N表示特征点的数目，xk0表示眼部采集图像中初始状态图像帧里面第k个特征点在眼睛部位坐标系中的横坐标，yk0表示眼部采集图像中初始状态图像帧里面第k个特征点在眼睛部位坐标系中的纵坐标，Lki表示第i帧眼部采集图像中眼球与第k个特征点之间的距离，cos表示余弦函数，arctan表示反正切函数，yki表示第i帧眼球采集图像中第k个特征点校正前的纵坐标，xki表示第i帧眼部采集图像中第k个特征点校正前的横坐标；所述第二分析模型，包括：针对嘴部采集图像进行嘴部特征点识别，利用嘴唇平均模型在嘴部采集图像中识别嘴唇特征点；根据嘴唇特征点在面部采集图像进行嘴唇轮廓锁定，得到嘴部采集图像中实时嘴唇识别信息；在实时嘴唇识别信息中针对嘴唇特征点进行向量分析，并计算嘴唇张开程度和左右嘴角变化数据；将嘴部采集图像的每一帧中嘴唇张开程度和左右嘴角变化数据结合在一起分析嘴部变化情况，得到第二识别结果；所述第三分析模型，包括：将脸颊、额头、头顶和左右耳后位置的电极采集得到电信号分析作为第一采集信号、第二采集信号、第三采集信号、第四采集信号和第五采集信号，并针对第一采集信号、第二采集信号、第三采集信号、第四采集信号和第五采集信号进行输入获取；针对第一采集信号、第二采集信号、第三采集信号、第四采集信号和第五采集信号进行信号预处理，将第一采集信号、第二采集信号、第三采集信号、第四采集信号和第五采集信号进行优化，得到优化处理后的第一采集信号、第二采集信号、第三采集信号、第四采集信号和第五采集信号；利用优化处理后的第五采集信号针对优化处理后的第四采集信号进行校正，得到第六采集信号；综合优化处理后的第一采集信号、优化处理后的第二采集信号、优化处理后的第三采集信号以及第六采集信号，将优化处理后的第一采集信号、优化处理后的第二采集信号、优化处理后的第三采集信号以及第六采集信号结合在一起进行电波参数分析，得到脑电波信息；根据脑电波信息分析脑电波的变化，确定脑电波的状态，得到第三识别分析结果；根据第一采集分析结果、第二采集分析结果和第三采集分析结果确定情绪等级，得到情绪分级识别结果；在根据第一采集分析结果、第二采集分析结果和第三采集分析结果确定情绪等级时，将第三采集分析结果按照脑电波的状态进行划分，得到多个时间段，然后按照时间段分别调取对应时间段内第一采集分析结果和第二采集分析结果，得到该时间段内第一采集分析结果和第二采集分析结果，基于该时间段中脑电波的状态结合该时间段内第一采集分析结果和第二采集分析结果按照情绪心理学进行分析，确定待识别人员的情绪。

全文数据：

权利要求：

百度查询： 深圳市恒必达电子科技有限公司 基于虚拟现实仿真采集的情绪分级识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD