申请/专利权人：上海应用技术大学

申请日：2023-12-20

公开（公告）日：2024-03-22

公开（公告）号：CN117746514A

主分类号：G06V40/40

分类号：G06V40/40;G06V40/16;G06V10/764;G06V10/82;G06V20/40;G06T7/269

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明公开了一种基于面部关键点光流的深度伪造DeepFake视频检测方法，该方法在提高准确性的同时充分考虑计算资源，以实现有效的深度伪造视频检测。该方法能够提取出表示面部不一致的时空特征，通过将来自69个连续帧的68个面部关键点的光流堆叠成一个特征图来发现伪造视频中的不一致性。这个特征图被称为面部关键点光流图，用于训练轻量级CNN模型来分类“真实”和“伪造”，这些特征具有高度紧凑和低维度性。该方法的参数数量较少，训练速度快，且占用GPU内存很低，从而降低了计算资源要求，可以轻松适用于嵌入式开发平台。

主权项：1.一种基于面部关键点光流的深度伪造视频检测方法，其特征在于，包括以下步骤：步骤S1：提取视频帧，并获取每一视频帧的68个面部关键点的确切位置，在本方法中，使用Dlib算法来检测68个面部关键点，分为内部关键点和轮廓关键点，内部关键点包含眉毛、眼睛、鼻子、嘴巴共计51个关键点，轮廓关键点包含17个关键点；步骤S2：计算面部关键点光流，生成连续图像帧的面部关键点坐标矩阵，将这些坐标矩阵转换为面部关键点光流的特征图；步骤S3：构建一个轻量级CNN模型，CNN模型由6个卷积层、4个最大池化层和3个全连接层组成，每个卷积层的卷积核大小为3×3，用于捕捉短时间内3个相邻面部关键点的运动轨迹，最后一个卷积层的步幅为2，将特征的大小从7×7降低到4×4，通过4个最大池化层和最后一个卷积层，特征的维度减小到其原始大小的116；步骤S4：将步骤S2中得到的特征图输入到步骤S3构建的网络中进行训练和分类，并保存训练后的网络结构及参数；步骤S5：将新的视频数据进行步骤S1和步骤S2预处理，然后输入到步骤S4训练得到的网络模型中进行分类检测，并将输入的视频标记为“真实”或“伪造”。

全文数据：

权利要求：

百度查询： 上海应用技术大学 一种基于面部关键点光流的深度伪造视频检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD