申请/专利权人：中国科学技术大学

申请日：2024-02-06

公开（公告）日：2024-04-16

公开（公告）号：CN117894056A

主分类号：G06V40/16

分类号：G06V40/16;G06V10/44;G06V10/82;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明公开了一种基于事件数据驱动的微表情识别方法，其步骤包括：1、准备训练数据和对应的事件；2、构建事件驱动的时空运动增强网络，并引入事件增强运动提取器模块来利用事件信号的高时间分辨率特性，增强微妙的运动细节，同时添加一个事件引导注意力模块，专注于特定区域的细微变化，捕捉更精确的微表情空间特征；3、融合两个支路的特征形成最终的特征表示，对构建的微表情神经网络模型进行训练；4、利用训练好的模型进行预测，以实现微表情识别的目标。本发明通过利用事件数据驱动捕捉细微运动变化的能力，提升了微表情识别的精度，从而得到更准确的分类结果。

主权项：1.一种基于事件数据驱动的微表情识别方法，其特征在于，包括如下步骤：步骤1、获取微表情图像Y及其对应的事件序列EY，并将EY转换为多时间分辨率的事件帧V；步骤2、构建基于事件驱动的微表情识别网络，包括：事件增强运动提取模块、事件引导注意力模块和识别模块；步骤2.1、构建事件增强运动提取模块，包括：两个卷积层、多层感知机、细化器和残差网络；步骤2.1.1、以微表情视频图像集Y的第1个微表情图像y1作为起始帧，以微表情视频图像集Y的最高表情强度的微表情图像作为顶点帧，将顶点帧和起始帧相减后，得到原始运动帧；所述原始运动帧经过卷积核为n1×n1的卷积层的处理后，得到初始运动状态X0；事件帧V经过卷积核为n2×n2的卷积层和所述多层感知机的处理后，得到事件表征M；步骤2.1.2、所述细化器对M和X0进行处理后，得到最终的运动状态XB；步骤2.1.3、将运动状态XB作为增强后的运动特征输入残差网络中进行特征提取，得到深层运动特征OutputB；步骤2.2、构建事件引导注意力模块对V和y1进行处理后，得到受事件引导后的输出特征Outputer；步骤2.3、所述识别模块利用式8得到微表情序列Y的最终表征Outputf：Outputf＝concatOutputB,Outputer8式8中，concat表示拼接操作；所述识别模块利用式9得到微表情图像序列Y的微表情预测类别ppred＝LinearOutputf9式9中，Linear·代表线性分类函数，C代表微表情识别的类别数；步骤3、构建交叉熵损失函数L，并利用梯度下降算法训练微表情识别网络，使得交叉熵损失函数L达到收敛为止，从而得到训练好的微表情分类模型，用于对输入的微表情图像进行识别。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于事件数据驱动的微表情识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD