申请/专利权人：暨南大学

申请日：2020-12-15

公开（公告）日：2024-03-15

公开（公告）号：CN112434180B

主分类号：G06F16/583

分类号：G06F16/583;G06F21/60;G06T5/10;G06T5/40;G06N3/045;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2021.03.19#实质审查的生效;2021.03.02#公开

摘要：本发明公开了一种基于DCT系数值替换和注意力网络的密文JPEG图像检索方法，方法包括以下步骤：图像加密，图像拥有者将图像上传至云服务器前利用密钥对图像进行加密，将图像转为比特流形式，加密过程中进行DCT变换并对DCT变换后的DC和AC系数进行值替换，上传图像构成云服务器的图像数据库；图像检索，授权用户上传需检索图像至云服务器，上传前采用与图像拥有者上传图像时采用的相同的加密方法对需检索图像进行加密，云服务器从需检索的加密图中提取特征，利用神经网络模型进行图像检索。本发明确保了检索图像时的安全性，保证了隐私信息不泄露，同时采用神经网络模型来提高检索效果。

主权项：1.基于DCT系数值替换和注意力网络的密文JPEG图像检索方法，其特征在于，包括以下步骤：图像加密，图像拥有者将图像上传至云服务器前利用密钥对图像进行加密将图像转为比特流形式，上传图像构成云服务器的图像数据库，加密过程中进行DCT变换并对DCT变换后的DC和AC系数进行值替换；图像检索，授权用户上传需检索图像至云服务器，上传前采用与图像拥有者上传图像时采用的相同的加密方法对需检索图像进行加密，云服务器从需检索的加密图中提取特征，利用神经网络模型进行图像检索；所述神经网络模型采用孪生网络架构，包括输入层、全连接层、注意力层以及输出层；所述图像加密具体包括分量采样、DCT变换、DC系数值替换以及AC系数截断和值替换；所述DCT变换用于将图像由空域转换为频域；所述空域为DCT变换前图像的像素域，所述频域为经过DCT变换后得到的频谱；所述DC系数值替换用于加密DC系数信息，防止信息泄露；所述AC系数截断和值替换用于加密AC系数信息，防止信息泄露；所述分量采样具体为：将图像从RGB转换为YUV，并对转换后图像按4:2:0对三个分量进行采样；加密过程中对三个分量采用相同方式进行加密，但使用不同的密钥；所述DCT变换具体为：对YUV图像，将每个分量分成8*8像素块，分别进行DCT变换，每个8*8像素块得到64个DCT系数，其中，每个像素块的第1个系数为直流系数DC，其余63个系数为交流系数AC；所述DC系数值替换具体为：在将图像转换成比特流时，在差分前进行值替换；所述转换成比特流具体为8*8像素块经过DCT变换、量化、zigzag扫描以及熵编码后转为比特流，所述差分步骤在量化之后熵编码之前进行，熵编码部分保存的DC系数是差分之后的DC系数；所述值替换具体为：设定一个取值范围为[-1023,1023]的DC系数列表，即[-1023,-1022,……,1022,1023]，利用密钥对列表进行打乱，DC系数列表每一位置的值被打乱后列表相应位置的值替换，假设Vd表示原来的DC值，Md表示加密后的DC值，Ld表示打乱后的系数列表，那么Md＝LdVd+1023，其中，Ld*里*表示打乱后系数列表的索引；所述AC系数截断具体为：设AC系数范围为[-100,100]，将AC系数大于100的值改为100，将AC系数小于-100的值改为-100；所述AC系数值替换具体为：设定一个取值范围为[-100,100]的AC系数列表，即[-100,-99,……,99,100]，利用密钥对列表进行打乱，AC系数列表每一位置的值被打乱后列表相应位置的值替换，用Va表示原来的AC值，Ma表示加密后的AC值，La表示打乱后的系数列表，那么Ma＝LaVa+100，其中，La*里*表示打乱后系数列表的索引；所述提取特征具体为先将比特流反编码，即熵编码的逆过程，恢复出DC系数和AC系数，其中DC系数需要恢复到差分前的值，进行特征提取，特征提取具体为：按YUV三个分量分别提取，按照8*8块将每个分量分开，统计特征每个块对应位置的直方图，每个位置的DCT系数的值范围为[-2048,2048]，步长为64，所以直方图的区间数量为64，每个像素块有64个DCT系数，得每个分量的直方图数量为64*64，每张图片有3个分量，所以一张图片的特征向量维度为64*64*3＝12288；所述输入层每次输入两张图片，分别为需检索的加密图片与云服务器的图像数据库中的一加密图片；所述每层全连接层输出会进行一次批归一化操作，全连接层采用ReLU激活函数；所述注意力层用于学习YUV三个分量的权重，将特征向量hi分为三个部分h1,h2,h3，分别代表Y分量、U分量以及V分量；用多层感知机MLP得到特征向量hi的表示ui，所述多层感知机包括输入层、隐藏层以及输出层，公式如下：ui＝tanhWhi+b其中，ui为MLP的输出；用上下文相关向量uw来衡量每个分量的重要性；用softmax做归一化得到αi；最后把αihi拼接起来；所述上下文相关向量uw随机初始化；具体公式如下： v′＝concatαihi；其中，αi为注意力权重，v′为注意力层的输出；所述输出层，输出的是一维向量，具体为计算余弦相似度，对所有余弦相似度值进行排序得到排序结果，返回多张图片给授权用户；所述神经网络模型训练时，输入训练图像为原样本，与原样本相同类别的输入作为正样本，与原样本不同类别的输入作为负样本，采样时每张图片随机选择一张正样本一张负样本；所述输出层在训练时，输入三个向量，分别为原样本的向量，正样本的向量以及负样本的向量；分别计算原样本与正样本的以及原样本与负样本的余弦相似度，将计算得到的两个余弦相似度输入损失函数，用负样本与原样本的余弦相似度减去正样本与原样本的余弦相似度值加上一个自定义的阈值；最后使用Adam优化器进行模型优化；所述损失函数具体为：loss＝maxmargin+sin_neg-sim_pos,0其中，sim_neg为原样本与负样本的余弦相似度，sim_pos为原样本与正样本的余弦相似度，margin为阈值。

全文数据：

权利要求：

百度查询： 暨南大学 基于DCT系数值替换和注意力网络的密文JPEG图像检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD