申请/专利权人：山东省工业技术研究院

申请日：2023-11-07

公开（公告）日：2024-03-19

公开（公告）号：CN117197877B

主分类号：G06V40/16

分类号：G06V40/16;G06V20/40;G06V10/82;G06T7/269;G06N3/045;G06N3/0464;G06N3/084;G06N3/098

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2023.12.26#实质审查的生效;2023.12.08#公开

摘要：本公开属于计算机视觉技术领域，具体涉及一种基于区域加权光流特征的微表情识别方法及系统，通过从待识别的微表情视频序列中获取起始帧、峰值帧以及终止帧，并对这三帧数据进行裁剪处理，获取仅包含人脸面部区域的图像；然后，根据面部肌肉运动特点划分人脸区域，并分别计算起始帧与终止帧相对峰值帧之间的光流。接着对每个区域不同方向上的光流特征进行加权处理，并对加权后的特征数据进行标准化得到标准化后的加权光流图，再将该图像输入到双流卷积神经网络中进行特征的提取与分类，最后输出当前关联所对应的微表情的识别结果。本公开所述微表情识别方法识别准确率高。

主权项：1.一种基于区域加权光流特征的微表情识别方法，其特征在于，包括以下步骤：步骤1：获取待识别的微表情视频，从待识别的微表情视频中提取起始帧、峰值帧以及终止帧；步骤2：识别起始帧、峰值帧以及终止帧的面部区域，并对这三帧图像进行裁剪，获取仅包含人脸区域的图像，并根据面部肌肉运动特点，对仅包含面部区域的起始帧、峰值帧、终止帧进行区域划分；步骤3：利用光流法分别计算峰值帧相对起始帧、峰值帧相对终止帧的光流分量，并对划分后的每个区域分别计算出光流水平方向和垂直方向模的占比情况，光流图任意一个区域中的像素点的光流向量可表示为： ，其中，、分别表示区域中所有光流水平向量的加权值和垂直向量的加权值，、表示水平方向光流向量和垂直方向光流向量；步骤4：将光流分量按区域进行加权，并对其进行标准化处理，获取可以突出微表情变化的区域加权光流图，所用的标准化公式如下： ，其中，，T为光流强度阈值；步骤5：将峰值帧相对起始帧、峰值帧相对终止帧得到的加权光流图，输入到预先训练好的双流卷积神经网络模型中，依次进行特征提取和分类，最后输出当前关联所对应的微表情分类结果；步骤5中，所述双流卷积神经网络包含两个分支，第一分支的输入是由起始帧与峰值帧计算得到的标准化后的区域加权光流图，第二分支的输入是由终止帧与峰值帧计算得到的标准化后的区域加权光流图，对两个分支softmax层的输出采用平均计算的方式进行融合，获取每个分类的概率值，进而得到分类结果；步骤5中，所述两个分支均包括第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一全连接层、第二全连接层、softmax层；第一卷积层卷积核大小为9*9，步长为1，第二、三卷积层卷积核大小均为5*5，步长均为1，池化层的窗口均为2*2，步长均为2；步骤5中，所述预先训练好的双流卷积神经网络模型，具体训练步骤包括：构建双流卷积神经网络；构建训练集，所述训练集包括已知微表情分类标签的微表情视频；将训练集输入到双流卷积神经网络中进行训练，当损失函数达到最小值时，停止训练，得到训练好的双流卷积神经网络模型；在训练阶段，使用交叉熵损失函数衡量模型的预测结果与真实标签之间的差异，假设有N个类别，其计算方式可表示如下： ，其中，是样本的真实类别标签向量，是模型的预测输出向量。

全文数据：

权利要求：

百度查询： 山东省工业技术研究院 一种基于区域加权光流特征的微表情识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD