申请/专利权人：暨南大学

申请日：2023-12-29

公开（公告）日：2024-04-02

公开（公告）号：CN117496583B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/774;G06V10/80;G06V10/82;G06V20/40;G06V40/40

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.02.23#实质审查的生效;2024.02.02#公开

摘要：本发明公开了一种可学习局部差异的深度伪造人脸检测定位方法，可用于深度伪造人脸图像真伪检测以及篡改区域定位，本发明属于数字取证领域。包括：局部差异特征提取网络、跨层次注意融合伪造定位网络以及高泛化性真伪分类器。局部差异特征提取网络与跨层次注意融合伪造定位网络是本发明方法的核心所在，局部差异特征提取网络中的局部相似性计算模块能够提高特征提取网络捕捉细粒度局部差异痕迹的能力，跨层次注意融合模块聚合了多种层次的细节信息促进伪造定位的准确性。在有限的训练数据下，本发明对未知伪造方法数据的测试获得了更高的泛化性，从而扩展了现有检测模型的泛化能力。

主权项：1.一种可学习局部差异的深度伪造人脸检测定位方法，其特征在于，包括：获取伪造人脸视频，对所述伪造人脸视频提取视频关键帧，并获取所述视频关键帧中待检测人脸图像；构建检测模型，将所述待检测人脸图像输入所述检测模型，检测所述待检测人脸图像的真伪并对伪造区域进行定位，其中，所述检测模型包括局部差异特征提取网络、高泛化性真伪分类器和跨层次注意融合伪造定位网络，所述检测模型通过训练集训练获得，所述训练集为人脸图像训练集；将所述待检测人脸图像输入所述检测模型，检测所述待检测人脸图像的真伪并对伪造区域进行定位包括：基于所述局部差异特征提取网络对所述待检测人脸图像进行特征提取，输出中间层特征图和最终特征图，其中，所述局部差异特征提取网络为利用局部相似性计算模块优化后的特征提取网络，所述特征提取网络为Xception网络；将所述中间层特征图和所述最终特征图输入所述跨层次注意融合伪造定位网络，输出预测掩码图像，对所述待检测人脸图像中的伪造区域进行定位；将所述最终特征图输入所述高泛化性真伪分类器，获取所述待检测人脸图像的真伪预测值；利用局部相似性计算模块优化所述特征提取网络包括：利用所述特征提取网络对所述人脸图像训练集进行特征提取，获取原始中间层特征图；将所述原始中间层特征图输入所述局部相似性计算模块，学习所述原始中间层特征图的局部差异信息，对所述特征提取网络进行优化，获取所述局部差异特征提取网络；将所述原始中间层特征图输入所述局部相似性计算模块，学习所述原始中间层特征图的局部差异信息，对所述特征提取网络进行优化包括：将所述原始中间层特征图进行局部特征相似度计算预测和聚合，获取预测局部相似图；利用真实人脸图像及对应的伪造人脸图像，获取初始伪造区域掩码；将所述初始伪造区域掩码进行下采样至所述原始中间层特征图的大小，获取真实伪造区域掩码；基于所述真实伪造区域掩码，利用笛卡尔积，获取真实掩码局部相似图；通过所述真实掩码局部相似图对所述预测局部相似图进行约束，训练局部相似性计算模块；利用所述局部相似性计算模块对所述特征提取网络进行训练优化；基于所述真实伪造区域掩码，利用笛卡尔积，获取真实掩码局部相似图包括：将所述真实伪造区域掩码展开为一维张量得到第一特征图；将所述第一特征图所有位置特征计算笛卡尔积得到第二特征图，其中所述第二特征图的形状为的张量；将所述第二特征图调整形状后返回形状为的第三特征图；将所述第三特征图分离成两个大小相同的特征图，获取两个大小相同的特征图差值的绝对值并二值化，获取所述真实掩码局部相似图；获取所述真实掩码局部相似图过程的公式化表示为： 其中，cartesia_prod表示特征笛卡尔积计算，reshape表示形状调整操作，split表示特征维度分离，binary表示二值化函数，分别为两个掩码特征，分别为将两个掩码特征形状拉伸改变成的一维特征，m为真实的掩码局部相似图。

全文数据：

权利要求：

百度查询： 暨南大学 一种可学习局部差异的深度伪造人脸检测定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD