申请/专利权人：中国科学技术大学先进技术研究院

申请日：2023-10-13

公开（公告）日：2024-03-26

公开（公告）号：CN117292442B

主分类号：G06V40/40

分类号：G06V40/40;G06V40/16;G06V10/80;G06V10/82;G06N3/042;G06N3/0455;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2024.01.12#实质审查的生效;2023.12.26#公开

摘要：本发明公开了一种跨模态跨域通用人脸伪造定位网络。本发明步骤如下:1、实验数据的预处理；2、构建人脸伪造定位网络ForgeryNet；3、训练ForgeryNet网络模型；4、使用训练好的ForgeryNet网络模型在多个伪造定位数据集上进行应用，并对定位结果进行评估。本发明所设计的一种跨模态跨域通用人脸伪造定位网络利用深度学习技术和跨模态跨域特征提取，可以准确地定位人脸伪造区域，具有很高的实际应用价值。

主权项：1.一种跨模态跨域通用人脸伪造定位方法，其特征在于包括如下步骤：步骤1、实验数据的预处理；步骤2、构建人脸伪造定位网络ForgeryNet；步骤2.1构建多粒度频率感知模块，从人脸RGB图像中提取多粒度频域信息，具体步骤如下：对于输入的RGB图像其中H为输入图像的高，W为输入图像的宽；经过由多尺度频率细节感知器和粗糙频率感知器组成的多粒图频率感知模块，可以得到多粒度频率特征Xfrequency；多粒图频率感知模块的具体结构如下：首先，设置一个可适配于卷积神经网络的多尺度频率细节感知器；首先将输入的RGB图像X转换为灰度图，然后将灰度图拆分为N个大小为P×P的矩阵，记为然后对N个矩阵应用小波变换，得到不同方向的高频特征和低频特征；具体公式如下：DWTPi＝[Pi_LL，Pi_LH，Pi_HL，Pi_HH]，其中，DWT代表小波变换，Pi_LL代表原始图像的近似部分，而Pi_LH、Pi_HL和Pi_HH分别代表水平、垂直和对角方向上的高频信息；进一步的，在提取不同方向上的高频和低频数据之后，使用离散余弦变换将这些特征映射到频域，对于这四个分支，其表达式如下： 其中是离散余弦变换函数，其log10用于平衡每个分支的振幅；进一步的，然后对频域特征进行变形；对于每个patch的不同频率特征，将其拼接到不同的通道上，然后同一频率幅度的不同位置patch仍然按照原来的几何分布排列，得到细粒度频域特征进一步的，设计一个可学习的粗糙频率滤波器；对于输入的图像首先经过离散余弦变换，得到频域特征对于经过离散余弦变换的频域特征其低频特征位于左上角，高频特征位于右下角；然后设计Nf个二进制滤波器，滤波器的像素值由0和1组成，记为提取不同频带的特征；还设计另一组Nf个可学习的滤波器最终得到的的Nf个滤波器由和相加得到，然后将送入最终得到的Nf个滤波器可以得到Nf组频域特征，再将Nf组频域特征经过逆离散余弦变换转换到空域；具体公式如下： 其中是逆离散余弦变换，D是离散余弦变换，⊙是Hadamard乘积，X是输入的RGB图像，是二进制滤波器，是可学习的滤波器；然后将Nf个特征在通道维度进行拼接得到Xfrequency_coarse，然后与上采样后的Xfrequency_fine进行拼接，上采样使用双线性插值完成，得到最终输出的频率特征Xfrequency；步骤2.2构建编码器，从人脸RGB图像中提取语义特征信息，从人脸深度图像中提取深度特征信息，从人脸频域信息中提取频域特征；步骤2.3提取共享模态特征空间下的RGB特征和深度图特征提取共享域特征空间下的空域特征和频域特征步骤2.4构建动态亲和图特征融合模块，通过建模不同模态样本和域样本之间的相关性，实现三种特征的紧密融合，具体步骤如下：将送入动态亲和图特征融合模块1得到输出Zmodal，将送入动态亲和图特征融合模块2得到输出Zdomain，Zmodal和Zdomain进行通道维度的拼接得到融合特征Z；动态亲和图特征融合模块具体结构如下：以四组模态特征的融合为例说明，对于四组特征将其变形为然后构建模态图用于RGB模态和深度模态的跨模态特征融合；模态图表示如下： 其中是图中所有结点的集合，是图中所有结点的特征的集合，并且是对应的邻接矩阵；进一步的，对于模态图而言，共有两种类型的结点，分别是RGB模态结点和深度模态结点；对于RGB模态结点共有三种特征，分别是RGB模态、共享特征空间下RGB专属特征和深度模态特征；对于深度模态结点共有三种特征，分别是RGB模态特征、共享特征空间下深度模态专属特征和深度模态特征；深度模态结点缺失RGB模态特征，RGB模态结点缺失深度模态特征，用零矩阵填充；结点特征矩阵表示如下： 其中是模态图中所有的结点特征矩阵，是模态图中所有的RGB结点特征矩阵，是模态图中所有的深度模态结点矩阵；进一步的，使用向量内积作为计算非局部亲和度的方法；RGB模态节点之间的亲和矩阵由两个部分组成：RGB模态特征之间的相似度以及在共享特征空间中的RGB独有特征的相似度；深度模态节点之间的非局部亲和矩阵也由两个部分组成：深度模态特征之间的相似度以及在共享特征空间中的深度独有特征的相似度，RGB节点和深度节点之间的亲和矩阵由两种类型节点之间在共享特征空间中独有特征的相似度组成，亲和力矩阵表示如下： 其中TR-R是RGB模态节点之间的亲和矩阵，TD-D是深度模态节点之间的亲和矩阵，TR-D和TD-R是RGB节点和深度节点之间的亲和矩阵，和是可学习的权重参数；进一步的，将这些亲和力矩阵拼接为跨模态亲和力矩阵，TR-R位于矩阵左上角，TR-D位于矩阵右上角，TD-R位于矩阵左下角，TD-D位于矩阵右下角；与传统的图卷积神经网络的固定拓扑关系不同，网络会动态的学习图结构；它的图是动态稀疏图，对于第l层的每一个结点其邻居结点为： 其中kANN代表选择跨模态亲和力矩阵中每一行的Topk元素，是RGB模态结点，是深度模态结点；进一步的，节点特征可以通过消息传递更新，即可得到第l层的输出特征，使用以下公式: 其中是第l层图的邻接矩阵，是第l层图的特征矩阵，Dl是第l层图的度矩阵，Wl是可学习的权重矩阵，σ是ReLU激活函数；步骤2.5构建预测头，将经过动态亲和图特征融合模块的特征进行解码，输出人脸伪造定位结果；步骤3、训练ForgeryNet网络模型；步骤4、使用训练好的ForgeryNet网络模型在多个伪造定位数据集上进行应用，并对定位结果进行评估。

全文数据：

权利要求：

百度查询： 中国科学技术大学先进技术研究院 一种跨模态跨域通用人脸伪造定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD