申请/专利权人：北京计算机技术及应用研究所

申请日：2021-07-26

公开（公告）日：2024-04-26

公开（公告）号：CN113537110B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/56;G06V10/764;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2021.11.09#实质审查的生效;2021.10.22#公开

摘要：本发明涉及一种融合帧内帧间差异的虚假视频检测方法，属于模式识别、人工智能领域。本发明采用基于高频特征流和RGB特征流的帧内特征提取模块提取帧内特征，然后将连续视频帧每帧的特征送入GRU提取帧间特征，在整个特征提取过程中融合了帧内、帧间差异，即考虑了语义一致性，又考虑了时序一致性，有助于提升虚假视频检测效果。本发明提出的融合帧内帧间差异的虚假视频检测方法有助于提升虚假视频检测算法的多样性。本发明面向常见的虚假视频检测任务，主要是用于视频中虚假人脸的检测，也可用于其他通用物体的虚假视频检测。

主权项：1.一种融合帧内帧间差异的虚假视频检测方法，其特征在于，该方法包括如下步骤：S1、系统输入连续的RGB视频帧序列，t时刻的视频图像为Xt，假设输入连续视频帧共有T个图像帧，则输入为X＝X1，X2，......，Xt，......XT；S2、帧内特征提取，在时刻t，将视频帧Xt输入到帧内特征提取模块中提取帧内特征；S21、对于输入的t时刻的RGB视频帧Xt，利用SRM滤波器将其转换为高频域的特征图像S22、对Xt和分别使用resnet18提取特征，输出RGB特征图和高频特征图；S23、将RGB特征图和高频特征图中的特征矩阵使用密集协同注意力机制计算得到t时刻帧内特征向量ft；S24、所有T个视频帧经过帧内特征提取生成了帧内特征序列f＝f1，f2，......，ft，......，fT，作为帧间差异特征提取模块的输入；S3、将帧内特征提取模块输出的特征序列f＝f1，f2，......，ft，......，fT输入到帧间差异特征提取模块的递归神经网络RNN中提取时序特征，获得融合帧内帧间差异的特征向量；S4、使用sofmax分类器对融合帧内帧间差异的特征向量进行分类决策；其中，所述步骤S4具体包括：S41、将步骤S3输出的向量h通过全连接层映射到与视频类别数相同的维度上，y＝by+Whyh假设h为维度c×1的特征向量，那么Why全连接层的参数矩阵，维度为2×c，by对应全连接层的偏置向量；S42、使用softmax分类器进行分类：通过softmax分类器的计算，生成对应于K个类别的概率分布；具体的，给定一个视频样本i，通过前述各模块的计算生成对应的输出向量通过softmax分类器的计算生成对应K个类别的概率分布，其中对应类别标签Ci＝l,l＝1,2,…,K的概率值为： 其中，θ表示参与计算的所有参数的集合；根据计算出来的概率分布，取概率值最大的项对应的字符类别标签判断为当前输入视频的类别： 神经网络训练过程中的损失函数为： 其中，Jθ表示损失函数，Y{i}表示训练样本真实类别标签，m表示参与训练的样本的总数。

全文数据：

权利要求：

百度查询： 北京计算机技术及应用研究所 一种融合帧内帧间差异的虚假视频检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD