申请/专利权人：同济大学

申请日：2019-04-12

公开（公告）日：2022-11-18

公开（公告）号：CN110072104B

主分类号：H04N19/149

分类号：H04N19/149;H04N19/154;H04N19/182

优先权：

专利状态码：有效-授权

法律状态：2022.11.18#授权;2019.08.23#实质审查的生效;2019.07.30#公开

摘要：本发明涉及一种基于图像级JND预测的感知图像压缩方法，该方法具体为：预测待压缩图像的JND数目，计算每个JND对应的预测QF值，根据给定压缩QF值与各预测QF值间的关系，获得最终的感知QF值，基于所述感知QF值进行图像压缩。与现有技术相比，本发明具有自适应较强、图像压缩效率高等优点。

主权项：1.一种基于图像级JND预测的感知图像压缩方法，其特征在于，该方法具体为：预测待压缩图像的JND数目，计算每个JND对应的预测质量因子QF值，根据给定压缩QF值与各预测QF值间的关系，获得最终的感知QF值，基于所述感知QF值进行图像压缩；采用一训练好的SVM模型预测待压缩图像的所述JND数目；训练所述SVM模型时，采用的训练数据包括源图像的JND数目以及每张源图像对应的多张失真图的平均JND标签值；每张失真图的所述平均JND标签值通过一基于CNN的自适应JND标签预测模型获得；第j个JND所对应的预测QF值为： 其中，Smax为平均JND标签值集合中的最大值Smax，Sk为平均JND标签值集合中的第k个值，Step为相邻JND数值的区间大小；所述最终的感知QF值为： 其中，为预测QF值集合中的第i个元素，NI为待压缩图像的JND数目，为给定压缩QF值。

全文数据：一种基于图像级JND预测的感知图像压缩方法技术领域本发明涉及图像压缩技术领域，尤其是涉及一种基于图像级JND预测的感知图像压缩方法。背景技术随着社交网络和多媒体技术的发展，在互联网上产生了大量的图片信息。根据最近的统计结果，Instagram用户每天上传大约9000万张图片。因此，如何存储和传输这些图像是一项极具挑战性的工作。现有的图像压缩标准，比如H.264和HEVC，都是将PSNRPeakSignaltoNoiseRatio，峰值信噪比和MSEMeanSquareError，均方误差作为衡量失真的标准。然而，PSNR在计算的过程中认为每个像素点同等重要，和人眼视觉系统不符。因此，研究面向人眼视觉系统的图像压缩算法显得尤为重要。人们已提出多种方法来解决这一难题，包括基于JNDJustNoticeableDifference，恰可察觉失真的方法、基于注意力模型的方法等。目前，基于JND的图像视频感知压缩方法是研究的重点，如专利申请CN108447101A公开了一种基于JND模型的图像压缩感知方法。现有的JND模型主要分为两种：基于像素域和基于DCTDiscreteCosineTransform，离散余弦变换域。基于像素域的方法主要考虑了人眼视觉系统中的亮度掩蔽效应和对比度掩蔽效应；基于DCT域的JND模型在像素域模型的基础上，加入了空间对比度函数。现有的感知编码模型虽然能够在一定程度上减少编码中的感知冗余信息，但是只考虑了有限的视觉特性并且不随着量化参数的改变而改变。最新的感知实验表明人眼视觉系统对图像质量的感知呈现阶梯状，并不是连续变化的，每个突变点可以看成是JND值。但是，对于一张图像，需要通过大量的主观实验才能得到最终的JND值，无法在现实中应用。发明内容本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种自适应、低复杂度和高压缩率的基于图像级JND预测的感知图像压缩方法。本发明的目的可以通过以下技术方案来实现：一种基于图像级JND预测的感知图像压缩方法，该方法具体为：预测待压缩图像的JND数目，计算每个JND对应的预测QF值，根据给定压缩QF值与各预测QF值间的关系，获得最终的感知QF值，基于所述感知QF值进行图像压缩。进一步地，采用一训练好的SVM模型预测待压缩图像的所述JND数目。进一步地，训练所述SVM模型时，采用的训练数据包括源图像的JND数目以及每张源图像对应的多张失真图的平均JND标签值。进一步地，每张失真图的所述平均JND标签值通过一基于CNN的自适应JND标签预测模型获得。进一步地，所述基于CNN的自适应JND标签预测模型为两尺度的CNN分类模型，包括卷积层、池化层、全连接层和分类层。进一步地，所述基于CNN的自适应JND标签预测模型的训练过程具体包括：11将训练集中的各图像划分为多个不重叠的图像块，所述训练集包括源图像及对应的失真图像；12对每个图像块的每个像素点值进行归一化处理后，设置每个图像块的JND标签；13以处理后的训练集进行自适应JND标签预测模型的训练。进一步地，所述平均JND标签值的具体获得步骤包括：21在设定范围[1,n]内按设定间隔，获得一源图像在若干个QF值下的失真图像，利用所述自适应JND标签预测模型获得每一失真图像的平均JND标签值，n为整数，n100；22在范围[1,100]内，小于若干个QF值中最大值的QF值下的失真图像的平均JND标签值通过高斯插值获得，将大于若干个QF值中最大值的QF值下的失真图像的平均JND标签值设定为0。进一步地，第j个JND所对应的预测QF值为：其中，Smax为平均JND标签值集合中的最大值Smax，Sk为平均JND标签值集合中的第k个值，Step为相邻JND数值的区间大小。进一步地，所述相邻JND数值的区间大小Step为：其中，Smin为平均JND标签值集合中的最小值Smin，NI为待压缩图像的JND数目。进一步地，所述最终的感知QF值为：其中，为预测QF值集合中的第i个元素，NI为元素个数。与现有技术相比，本发明具有以如下有益效果：一、自适应预测：已有的感知模型根据源图像像素的亮度和对比度信息，建立JND模型，没有考虑在压缩过程中图像质量的变化情况。本发明对处在不同质量等级的图像，考虑了不同的能容忍的失真，达到自适应预测效果。二、低复杂度：MCL-JCI数据集中包含50张图像以及对应的JND信息，然而每张图像的JND都是通过大量的主观实验获得，消耗了大量的人力物力。而本发明可以自适应的预测不同内容、不同分辨率的测试图像，不需要进行大量的主观实验，有效降低了方法的复杂度。三、高压缩效率：本发明可以根据图像质量的等级，自适应的预测JND信息。在保证主观质量相近的情况下，最大限度地减少存储图片的空间大小，提高图像的压缩效率。本发明随机在MCL-JCI数据集中选取10张图像作为测试，分别测试了3个QF值，从高到低分别为75、50和25。与JPEG算法相比，在主观感知质量相似的情况下，码率分别节约了41.10％、18.35％和9.82％。在QF较大的时候，压缩效率超过了其他同类模型。附图说明图1为本发明中基于CNN的JND预测模型流程图；图2为Score-QF曲线示意图；图3为本发明中提出的图像感知压缩方案示意图；图4为在MCL-JCI数据集中随机选取的10张测试图像；图5为本发明方法及JPEG方法下的率失真曲线图，其中a-j分别对应10张测试图像。具体实施方式下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。本发明提供一种基于图像级JND预测的感知图像压缩方法，该方法具体为：预测待压缩图像的JND数目，计算每个JND对应的预测QFqualityfactor，质量因子值，根据给定压缩QF值与各预测QF值间的关系，获得最终的感知QF值，基于所述感知QF值进行图像压缩。采用一训练好的SVM模型预测待压缩图像的所述JND数目。训练所述SVM模型时，采用的训练数据包括源图像以及每张源图像对应的多张失真图的平均JND标签值和JND数目。每张失真图的所述平均JND标签值通过一基于CNN的自适应JND标签预测模型获得。以MCL-JCI数据集为基础，具体说明本发明方法，步骤包括：1制作训练集和测试集，根据数据集中的图像和对应的JND信息，建立基于CNNConvolutionalNeuralNetworks，卷积神经网络的自适应JND标签预测模型。11随机选取MCL-JCI数据集中40张源图像对应的失真图像作为训练集，其余10张源图像对应的失真图像作为测试集，将训练集和测试集中的图像划分为64×64大小的不重叠的块；12对于每个图像块，找出最大的像素点值，然后将每个像素点值归一化到[0，1]；13MCL-JCI数据集中，50张图像JND最大的数目为8，因此图像块的标签设为0-7。假设某张源图像的JND的数目为4，则在每个JND区间段，图像块的标签分别设为0、1、2和3；14建立两尺度的CNN分类模型，如图1所示，主要包括输入层InputLayer卷积层Convolutionlayers、池化层Poolinglayer、全连接层Connectionlayers、和分类层Classificationlayer；15在第一个卷积层，卷积核大小分别为11×11和5×5；在第二个卷积层，卷积核大小为7×7；然后，特征图经过最大和平均池化操作；在池化层之后是全连接层，每个全连接层之后的输出是64，最后一层的输出为1024；最后是分类层，分类的数目设置为8；16在训练的过程中，初始学习率设置为0.0003，最大迭代次数是400000次，batchsize大小设置为32，获得训练后的自适应JND标签预测模型。2将测试图像在若干个固定的QF值下进行压缩，得到对应的若干张失真图像，分别求取每张失真图像包含的所有图像块的平均JND标签值，最终根据高斯插值求取测试图像对应的100张失真图像的平均JND标签值。本实施例中选取8个QF值。21在0到80的范围内，均匀地选取8个固定的QF值，将测试图像在8个QF值下进行压缩，得到8张失真图像。在本发明中，8个固定的QF分别为1、12、23、34、56、67和78；22假设为失真图像，QF值为q，为第i个图像块经过CNN模型预测得到的JND标签，则失真图像的平均JND标签值为：为失真图像种的图像块的个数；23在1到78的范围内，测试图像对应的其余QF下的失真图像的平均JND标签值通过高斯插值求取；当QF值属于79到100，失真图像的平均JND标签值设为0，在本发明中，失真图像的平均JND标签值可以作为当前图像的质量，命名为score，当QF的值为1到100时，Score-QF曲线如图2所示。3将训练集内每张源图像对应的100张失真图的平均JND标签值和JND数目作为训练数据，训练SVM模型，将测试图像对应的100张失真图像的平均JND标签值作为输入，预测测试图像的JND数目。31数据集中包含50张源图像和每张源图像对应的100张失真图像，选择40张源图像对应的100张失真图像作为训练集；32假设一张源图像为Is，为Is的JND的数目，为对应的100张失真图像的平均JND标签值的集合，表示为：然后，将作为训练数据去学习SVM分类器，对于测试图像It，将作为SVM分类器的输入，预测测试图像It的JND的个数。4根据测试图像的100张失真图的平均JND标签值和JND数目，计算每个JND的具体QF值。41求出集合中的最大值Smax和最小值Smin；42根据测试图像JND的个数计算相邻JND数值的区间大小；43假设则第j个JND所对应的QF值为：5根据生成的JND值，设计对应的感知编码方案。51假设待压缩图像为I，NI为预测得到的JND数目，根据式4获得所有的JND对应的QF值的集合为：其中，代表第i个JND所对应的预测QF值；52假设预先给定的原始压缩QF值为则最终采用的感知QF值可以通过以下方式求得：其中，为预测QF值集合中的第i个元素，NI为元素个数。为了验证本申请方法的性能，设计了以下实验。在MCL-JCI数据集中随机选取了10张测试图像，如图4所示。根据本发明中方法，分别预测10张测试图像的JND值；然后，10张测试图像分别在给定的QF＝75、50和25下压缩，覆盖了高、中和低三个质量。JPEG作为本发明方法的对照方法，与JPEG的对比结果如表1、表2、表3、表4、图5所示。表1、表2和表3说明本发明方法在不同QF下的码率节省，表4和图5说明了本发明方法的率失真性能。由表1-表3结果可知，与JPEG算法相比，，码率分别节约了41.10％、18.35％和9.82％。在QF较大的时候，压缩效率超过了其他同类模型。表1-表4和图5中的实验结果说明了本发明方法的自适应较强、压缩效率较高的优点。表中采用的比对指标包括：m代表不同的压缩方法；ΔBm代表相比较JPEG算法，不同压缩方法的BPP减少的百分比；ΔPm代表相比较JPEG算法，不同压缩方法的PSNR下降。表1本发明在QF为75时的性能表现表2本发明在QF为50时的性能表现表3本发明在QF为25时的性能表现表4本发明的BDBR和BDMOS表现ImageBDBR％BDMOS57.500.1278.540.181010.400.17118.690.151911.920.15216.330.15229.360.15367.500.07397.130.09456.220.33Average8.360.16以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

权利要求：1.一种基于图像级JND预测的感知图像压缩方法，其特征在于，该方法具体为：预测待压缩图像的JND数目，计算每个JND对应的预测QF值，根据给定压缩QF值与各预测QF值间的关系，获得最终的感知QF值，基于所述感知QF值进行图像压缩。2.根据权利要求1所述的基于图像级JND预测的感知图像压缩方法，其特征在于，采用一训练好的SVM模型预测待压缩图像的所述JND数目。3.根据权利要求2所述的基于图像级JND预测的感知图像压缩方法，其特征在于，训练所述SVM模型时，采用的训练数据包括源图像的JND数目以及每张源图像对应的多张失真图的平均JND标签值。4.根据权利要求3所述的基于图像级JND预测的感知图像压缩方法，其特征在于，每张失真图的所述平均JND标签值通过一基于CNN的自适应JND标签预测模型获得。5.根据权利要求4所述的基于图像级JND预测的感知图像压缩方法，其特征在于，所述基于CNN的自适应JND标签预测模型为两尺度的CNN分类模型，包括卷积层、池化层、全连接层和分类层。6.根据权利要求4所述的基于图像级JND预测的感知图像压缩方法，其特征在于，所述基于CNN的自适应JND标签预测模型的训练过程具体包括：11将训练集中的各图像划分为多个不重叠的图像块，所述训练集包括源图像及对应的失真图像；12对每个图像块的每个像素点值进行归一化处理后，设置每个图像块的JND标签；13以处理后的训练集进行自适应JND标签预测模型的训练。7.根据权利要求4所述的基于图像级JND预测的感知图像压缩方法，其特征在于，所述平均JND标签值的具体获得步骤包括：21在设定范围[1,n]内按设定间隔，获得一源图像在若干个QF值下的失真图像，利用所述自适应JND标签预测模型获得每一失真图像的平均JND标签值，n为整数，n100；22在范围[1,100]内，小于若干个QF值中最大值的QF值下的失真图像的平均JND标签值通过高斯插值获得，将大于若干个QF值中最大值的QF值下的失真图像的平均JND标签值设定为0。8.根据权利要求1所述的基于图像级JND预测的感知图像压缩方法，其特征在于，第j个JND所对应的预测QF值为：其中，Smax为平均JND标签值集合中的最大值Smax，Sk为平均JND标签值集合中的第k个值，Step为相邻JND数值的区间大小。9.根据权利要求8所述的基于图像级JND预测的感知图像压缩方法，其特征在于，所述相邻JND数值的区间大小Step为：其中，Smin为平均JND标签值集合中的最小值Smin，NI为待压缩图像的JND数目。10.根据权利要求1所述的基于图像级JND预测的感知图像压缩方法，其特征在于，所述最终的感知QF值为：其中，为预测QF值集合中的第i个元素，NI为元素个数。

百度查询： 同济大学 一种基于图像级JND预测的感知图像压缩方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD