申请/专利权人：南京航空航天大学

申请日：2020-07-13

公开（公告）日：2024-04-16

公开（公告）号：CN111950373B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/82;G06N3/0464;G06N3/096

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2020.12.04#实质审查的生效;2020.11.17#公开

摘要：本发明公开了一种基于光流输入的迁移学习用于微表情识别的方法，包括以下步骤：步骤1：下载微表情数据集，对其进行对齐、归一化；步骤2：计算经步骤1处理后的微表情数据集中每个微表情视频的光流估计，得到光流序列；步骤3：使用基于面部表情的CNN模型进行从宏表情到微表情迁移学习，输入为步骤2中得到的光流序列，输出为时间空间特征，对网络进行训练后最终实现微表情识别功能。本发明解决了微表情识别中数据规模小产生过拟合的问题，同时光流比原始数据具有更高的层次特征，进一步提升了模型的性能。

主权项：1.一种基于光流输入的迁移学习用于微表情识别的方法，其特征在于：包括以下步骤：步骤1：下载微表情数据集，对其进行对齐、归一化；步骤2：计算经步骤1处理后的微表情数据集中每个微表情视频的光流估计，得到光流序列；所述步骤2中，在一段微表情视频中，设在点x,y,t的值是Ix,y,t，时隔δt到下一帧,像素移动x+δx,y+δy,t+δt，强度为Ix+δx,y+δy,t+δt，基于小周期内亮度的不变性，得到：lx,y,t＝Ix+δx,y+δy,t+6t1其中，δx＝uδt，δy＝vδt，ux,y和vx,y为光流场中需要估计的水平分量和垂直分量，设微表情视频中的像素值是其位置和时间的连续函数，根据泰勒级数展开，上述函数的右部表示为: 其中，ε是二阶及以上时间δt的无偏估计量，当δt趋向于无穷小,让式2两边除以时间δt和式1,然后得到光流方程如下: 即， 步骤3：使用基于面部表情的CNN模型进行从宏表情到微表情迁移学习，输入为步骤2中得到的光流序列，输出为时间空间特征，对网络进行训练后最终实现微表情识别功能；所述步骤3中，设计一个从宏表情到微表情进行迁移学习的网络，以实现微表情识别功能：迁移学习的源标签空间为： 目标标签空间为： 其中，Positive＝{Happy}，Negative＝{Afraid,Angry,Disgust,Sad,Fear}，Surprise＝{Surprise}，情绪不清的面部动作属于Others；网络整体结构如下：input-conv_1-max-pool_1-conv_2-max-pool_2-conv_3-max-pool_3-fc_1-fc_2-lstm_1-lstm_2-lstm_3-fc_3-spatial_temporalfeature其中，input为步骤2中得到的光流序列，conv_i{i＝1，2，3}表示第i个卷积层，除conv1的卷积操作后都采用批归一化；max-pool_i{i＝1，2，3}表示第i个最大池化层；fc_i{i＝1，2，3}表示第i个全连接层，从fc_2层提取空间特征表示；lstm_i{i＝1，2，3}表示第i个LSTM层；spatial_temporalfeature表示经过迁移学习最终得到的时空特征向量；每个卷积和全连接层的输出都采用ReLU非线性层作为激活函数来约束输出；在第一和第二完全连接层之后，有一个dropout层，来减轻对特征向量的过拟合；学习空间特征表示的目标函数如下： 其中，表示第i个样本的真值，如果k是正确的类，则为1，否则为0，表示在全连接层上计算的表情类别k的预测概率；目标项L1使具有不同表情类型的样本在功能空间中可分离； 其中，fc,p,i表示c类第i个训练样本的空间特征表示向量，最后一层提取的第p个表情状态；mc表示c类训练样本的均值特征向量；是在j≠c时，mc和mj之间最小距离的一半；目标项L2使同一表情类中的类内变化因受试者外观因素造成的影响减少；学习时间特征表示的LSTM层的操作如下：gin，tl＝sigmWinl[ht-1l，htl-1]+binl，gf，tl＝sigmWfl[ht-1l，htl-1]+bfl，go，tl＝sigmwol[ht-1l，htl-1]+bol， 其中，W*l和b*l分别表示第l个LSTM层的权值和偏差，*为下标in、f、o、cell，分别表示input、forget、output、记忆单元；gin,tl表示输入门，决定了当前时刻t网络的输入有多少保存到单元状态；gf,tl表示遗忘门，决定了上一时刻的单元状态有多少保存到当前时刻t；go,tl表示输出门，决定单元状态有多少输出到LSTM的当前输出值；celltl表示当前时刻t输入的单元状态；htl表示给定第t个输入的第l个LSTM层的输出。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于光流输入的迁移学习用于微表情识别的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD