申请/专利权人：华南理工大学

申请日：2024-01-29

公开（公告）日：2024-04-26

公开（公告）号：CN117935381A

主分类号：G06V40/40

分类号：G06V40/40;G06V20/40;G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06V10/20;G06V10/26;G06V10/46;G06N3/0464;G06N3/048;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明公开了一种基于整体伪造痕迹和局部细节信息提取的换脸视频检测方法及系统，该方法包括下述步骤：视频预处理，基于裁剪人脸和人脸关键点生成自融合增强图像，将压缩后的图像和原图送入对比深度监督框架进行对比学习，截取主干网络中间特征提取伪造痕迹明显区域，将该区域进行图像压缩，将压缩后的区域图像和原始区域送入对比深度监督框架进行对比学习，利用整体分类损失、整体对比深度监督损失、区域分类损失、区域对比深度监督损失、提案约束损失、结构建模损失的组合损失函数监督训练网络模型。本发明有效的整合了低层次特征和高级语义特征，以及全局特征和局部特征，在不同的数据库均获得较好的检测准确率，具有较好的域泛化性和通用性。

主权项：1.一种基于整体伪造痕迹和局部细节信息提取的换脸视频检测方法，其特征在于，包括下述步骤：将待检测视频进行分帧，提取人脸关键点并从视频帧中裁剪人脸图像；根据输入图像标签，判断图像真假，若判定图像为真则按照设定概率进行多样化掩膜自融合增强操作以获得输入图像，若判定图像为假则直接将其作为输入图像，多样化掩膜自融合增强操作具体包括：组合不同关键点获得不同点集，计算各个点集的凸包，基于各个点集的凸包获得多个掩膜，获取目标人脸、源人脸，基于掩膜、目标人脸和源人脸自融合得到增强后的图像作为输入图像；构建用于图像特征提取的主干网络及压缩特征提取网络，基于主干网络对输入图像进行不同层级的特征提取，计算真假预测概率，基于真假预测概率和真假标签计算整体分类损失；对输入图像进行压缩操作，基于压缩特征提取网络对压缩后的图像进行不同层级的特征提取，将未压缩的图像的各层级特征经对应的映射头映射为第一特征向量，压缩后图像的各层级特征经对应的映射头映射为第二特征向量，计算第一特征向量和第二特征向量之间的整体对比深度监督损失；截断主干网络获取中间特征图，计算预测概率矩阵，获取预测概率值最大的元素点所对应原图的感受野区域坐标，基于所述感受野区域坐标裁剪原图，获取图像补丁；基于人脸真伪标签及预测概率矩阵计算提案约束损失，获取中间特征图对应的空间注意力图，空间自注意力图中最大值点为极点，计算结构建模损失；基于主干网络对图像补丁进行不同层级局部特征的提取，获取真假预测概率，计算区域分类损失；对图像补丁进行压缩操作，基于压缩特征提取网络对压缩后的图像补丁进行不同层级的局部特征提取，将未压缩的图像补丁的各层级特征经对应的映射头映射为第三特征向量，压缩后图像补丁的各层级特征经对应的映射头映射为第四特征向量，计算第三特征向量和第四特征向量之间的区域对比深度监督损失；将整体分类损失、整体对比深度监督损失、提案约束损失、结构建模损失、区域分类损失、区域对比深度监督损失组合得到总损失；基于总损失训练主干网络，基于训练后的主干网络得到二分类预测概率，输出预测结果。

全文数据：

权利要求：

百度查询： 华南理工大学 基于整体伪造痕迹和局部细节信息提取的换脸视频检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD