申请/专利权人：南京邮电大学

申请日：2017-07-14

公开（公告）日：2021-01-12

公开（公告）号：CN107169484B

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101);G06K9/40(20060101);G06K9/46(20060101);G06T7/37(20170101)

优先权：

专利状态码：有效-授权

法律状态：2021.01.12#授权;2017.10.17#实质审查的生效;2017.09.15#公开

摘要：本发明公开了一种基于人眼视觉特性的图像质量评价方法，可以对无参考帧情况下的图像处理后的效果进行客观评价。本发明的质量评价方法首先生成输入图像的显著度图像，然后对原图和显著度图像都进行尺度划分，接着在每个尺度上提取原图像的特征，并利用凸显人眼感兴趣区域的显著度图像的加权策略，对原图像的特征加权得到不同尺度的质量因子，最后对各个尺度的质量因子加权平均得到最终的图像质量评价指标。本发明的方法充分考虑了人眼的视觉特性，因此能更有效、更准确地对图像质量进行评价。

主权项：1.基于人眼视觉特性的图像质量评价方法，其特征在于，包括以下具体步骤：步骤1，生成待评价图像的显著度图像以及显著度权重矩阵，包括：待评价图像的显著度图像的生成方法为：1.1，将待评价图像分解为RGB三通道图像，分别对三通道图像进行DCT变换，并利用sign函数获得各个通道的图像描述子；1.2，对步骤1.1获得的图像描述子进行反DCT变换，重建待评价图像的显著性区域图；1.3，对步骤1.2中重建的显著性区域图进行合成，生成待评价图像的特征图；1.4，通过高斯滤波去除步骤1.3中待评价图像的特征图中的噪声，得到待评价图像的显著度图像，并利用人眼视觉灵敏度函数获得显著度权重矩阵；步骤2，分别对待评价图像及其显著度图像进行尺度划分，采用降采样方法进行图像的尺度划分；步骤3，对尺度划分后待评价图像的每个尺度进行图像特征的提取，并将各个尺度提取的图像特征进行合并，得到各个尺度下待评价图像的特征质量分布矩阵，图像特征的提取包括：模糊度的提取、噪声度的提取以及方块度的提取，特征质量分布矩阵FQDx,y＝Blurrinessx,y×Noisinessx,y×Blockiness，其中，Blurrinessx,y表示图像的模糊度，Noisinessx,y表示图像的噪声度，Blockiness表示图像的方块度；步骤4，对各个尺度的显著度权重矩阵和质量分布矩阵进行加权处理，得到待评价图像的质量评价指标，实现对待评价图像的质量评价；待评价图像的质量评价指标为： 其中，λ表示尺度数量，M、N表示第k个尺度图像的长、宽，FQDkx,y表示第k个尺度下待评价图像的特征质量分布矩阵，Wkx,y表示第k个尺度下的显著度权重矩阵；所述方法提取的图像特征是影响人眼视觉的三个特征：图像的模糊度、噪声度和方块度，提取方法如下所示：1模糊度Blurriness的提取：图像的模糊度用如下公式计算： gbx,y＝Bx,y-B′x,y其中，Bx,y和B′x,y通过两个滤波器获得，将不同尺度的原图像经过滤波器Filter2滤波获得Bx,y，经过滤波器Filter1和Filter2滤波获得B′x,y，滤波器Filter1是一个平均滤波器，滤波器Filter2是一个转换滤波器，并且Filter2对图像滤波之后可以将图像中的所有像素遵循平均值为零的拉普拉斯分布，m、n、p、q为参数，默认值为1；2噪声度Noisiness的提取：图像的噪声度通过下面的公式计算： gnx,y＝N′x,y-Nx,y其中，Nx,y的获得依旧用平均滤波器Filter1对原图像滤波获得，而在获取N′x,y时，需要在图像中添加一定的高斯噪声，然后再通过Filter1对原图像滤波获得，m、n、p、q为参数，默认值为1；3方块度Blockiness的提取：图像的方块度用下面的公式计算： 其中，hN1和hN2是比原图像水平方向阈值大的像素数量，vN1和vN2是比原图像垂直方向阈值大的像素数量，根据上述的第二个公式计算出gb，g′b是当原图像的图像块的数量增大15％时，根据gb的计算公式重新计算出来的值。

全文数据：基于人眼视觉特性的图像质量评价方法技术领域[0001]本发明涉及一种基于人眼视觉特性的图像质量评价方法，适用无参考帧情况下的图像质量评价，属于计算机视觉研究领域。背景技术[0002]图像处理技术的不断发展促进了图像质量评价方法深入的研究与应用，图像的质量评价方法一般来评价一幅图像的效果从而判断图像处理算法的优劣。[0003]图像质量评价的方法一般分为两种方式：主观评价和客观评价。主观评价主要分为基于色知觉的主观评价和基于嗜好的主观评价，它是一种定性的评价方法。ITU推荐了双刺激连续质量尺度法、双刺激损伤尺度法、单刺激连续质量度量法等，以获取主观评分。客观评价从本质上是通过恰当的物理量或者是质量特性参数来对图像质量进行量化的描述。客观图像质量评价方法分为3种：（1全参考图像质量评价法；（2半参考图像质量评价法；[3]无参考图像质量评价法。[0004]图像处理算法越来越成熟，但在无参考帧的情况下，一直缺乏一个客观有效的通用的评价体系和方法。而且现有的很多图像质量评价方法也没有很好地将人眼的视觉感知特性融入其中。这就导致了一个算法的优劣通常需要主观实验的方法来判定评价，但是主观质量评价对于人力物力的需求巨大，所以其在获得比较准确的评价的同时，带来的结果是操作复杂且成本较高，因此无法广泛应用于实际的算法研究中。客观质量评价主要是根据人的主观评价中的感受建立相对应的数学模型，然后根据数学模型生成的数学公式计算，从而得到类似于主观评价的质量指标，该方法成本低且计算简单，是一种大量使用的方法。数学模型对于最后的评价结果有着决定性的影响。目前常见的客观质量评价指标有如下几类：（1图像对比度；（2图像信息熵；（3图像的清晰度；（4图像的自然性保持。[0005]单一的图像特征信息提取往往会造成评价效果精确度的下降，对有些图像无法达到主客观相一致的效果。发明内容[0006]针对上述问题，本发明设计了一种基于人眼视觉特性的图像质量评价方法，使得主客观评价基本一致，避免了单一特征的局限性。本发明的目的是利用人眼的视觉特性，使用影响人眼视觉感知图像的负面特征作为一幅图像的主要特征，同时采取多尺度的图像处理不仅避免了单尺度的局限性，同时也诠释了人眼在感知图像时的多层次性。最后采用的基于显著度的权重分配策略也是符合人眼视觉特性的。本发明包含了影响人眼视觉的特征的提取、多尺度的分离、以及显著度权重矩阵的生成等环节，以实现客观评价与主观评价在主要方面的一致。[0007]本发明为解决上述技术问题采用以下技术方案：[0008]本发明提供一种基于人眼视觉特性的图像质量评价方法，其特征在于，包括以下具体步骤：[0009]步骤1，生成待评价图像的显著度图像以及显著度权重矩阵；[0010]步骤2,分别对待评价图像及其显著度图像进行尺度划分；[0011]步骤3,对尺度划分后待评价图像的每个尺度进行图像特征的提取，并将各个尺度提取的图像特征进行合并，得到各个尺度下待评价图像的特征质量分布矩阵；[0012]步骤4,对各个尺度的显著度权重矩阵和质量分布矩阵进行加权处理，得到待评价图像的质量评价指标，实现对待评价图像的质量评价。[0013]作为本发明的进一步技术方案，步骤1中待评价图像的显著度图像的生成方法为：[0014]1.1，将待评价图像分解为RGB三通道图像，分别对三通道图像进行DCT变换，并利用sign函数获得各个通道的图像描述子；[0015]1.2,对步骤1.1获得的图像描述子进行反DCT变换，重建待评价图像的显著性区域图；[0016]1.3,对步骤1.2中重建的显著性区域图进行合成，生成待评价图像的特征图；[0017]1.4,通过高斯滤波去除步骤1.3中待评价图像的特征图中的噪声，得到待评价图像的显著度图像，并利用人眼视觉灵敏度函数获得显著度权重矩阵。[0018]作为本发明的进一步技术方案，步骤2中采用降采样方法进行图像的尺度划分。[0019]作为本发明的进一步技术方案，步骤3中图像特征的提取包括:模糊度的提取、噪声度的提取以及方块度的提取。[0020]作为本发明的进一步技术方案，步骤3中特征质量分布矩阵FQDx，y=Blurrinessx，yXNoisinessx，yXBlockiness，其中，Blurrinessx，y表不图像的模糊度，Noisinessx，y表示图像的噪声度，Blockiness表示图像的方块度。[0021]作为本发明的进一步技术方案，步骤4中待评价图像的质量评价指标为：[0023]其中，λ表示尺度数量，Μ、Ν表示第k个尺度图像的长、宽，FQDkx，y表示第k个尺度下待评价图像的特征质量分布矩阵，Wkx，y表示第k个尺度下的显著度权重矩阵。[0024]本发明采用以上技术方案与现有技术相比，具有以下技术效果：[0025]1、大部分现有的质量评价方法都在单尺度上进行，忽略了单尺度评价方法的不足;本发明使用多尺度的加权策略，避免了单尺度的不足，在最终的评价效果上能满足人眼的视觉特性；[0026]2、本发明中图像特征的提取区别于现如今的一些方法。很多方法提取的特征是正特征，这样的特征提取是提取图像中能被人眼接受的一些细节;而在本发明中，提取的特征是负特征，这样的特征不仅影响人眼视觉特性，而且客观上也是导致图像效果不佳的体现；[0027]3、每个尺度分别利用显著度权重矩阵加权策略，可以凸显人眼视觉关注区域的图像特征，并抑制非视觉关注区域的特征，从而可以使评价指标可信度更高;最后的加权平均不仅可以避免某个尺度的误差，而且计算简单、复杂度低。附图说明[0028]图1是本发明基于人眼视觉特性的图像质量评价方法的流程图；[0029]图2是本发明中输入图像使用降采样实现多尺度的示意图；[0030]图3是本发明中显著度图像的提取直观效果图，其中，（a是质量较差的图像，（b是a的显著度图像，（c是质量较好的图像，（d是c的显著度图像；[0031]图4是本发明中显著度图像进行降采样示意图；[0032]图5是本发明中两个滤波器滤波图，其中，（a是Filterl平均滤波器，（b是Filter2转换滤波器。具体实施方式[0033]下面结合附图对本发明的技术方案做进一步的详细说明：[0034]本发明针对现在普遍的主客观评价的不一致的现象，提出的基于人眼视觉特性的图像质量评价方法不仅克服了单尺度评价的精确度较低的缺点，而且也更符合人眼的视觉特性。同时，本发明的方法复杂度低、计算量小。[0035]如图1所示的是本发明的详细步骤：[0036]1、首先输入需要进行质量评价的图像，然后生成原图像的显著度图像。图像的显著特性能模仿人类的视觉观察过程，满足人眼的视觉特性。[0037]显著度图像的生成方法如下：[0038]1将原图像分解为RGB三个通道，然后对每个通道进行DCT变换从而使其从空域变换到变换域，并利用sign函数进行处理来获得各个通道的图像描述子IsX。[0039]Isx=sign[fX][0040]其中，f·是DCT变换函数，sign是符号函数。[0041]⑵得到图像描述子之后，再对其进行反DCT变换重建图像的显著性区域图。[0042]xf=f'[·][0043]其中，Xf是分离出来的显著性区域图，f’[·]是DCT反变换函数。[0044]3在重建每个通道的显著性区域图后，合成原图像的特征图。[0047]其中，S1是第i个通道的平方图像，fM表示原图像的特征图。[0048]4通过高斯滤波来去除fM在提取图像描述子过程中产生的噪声，获得原图像的显著度图像。从图3中的（a-d可以很明显的看出质量较好的图像的显著度区域比质量较差的图像的显著度区域大。最后利用人眼视觉灵敏度函数进行修正来获得显著度权重矩阵：[0052]其中，G为滤波核σ=〇.〇5的高斯滤波算子，csf是视觉灵敏度函数，Wx.y是显著度权重矩阵。[0053]2、在上述获得显著度图像之后，分别对原图像和显著度图像进行尺度划分。对于图像特征的提取要在不同尺度上进行，避免单尺度的局限性，满足了人眼视觉感知过程的多尺度特性。在本发明中多尺度分离采取的方法是降采样。[0054]如图2所示，首先将需要进行尺度划分的图像认为是第一个尺度，那么降采样一次之后获得的图像即为第二个尺度的图像，然后再以第二个尺度图像为基准，继续降采样获得第三个尺度的图像，依次降采样直到获得第五个尺度的图像为止。本发明中，显著度图像进行降采样如图4所示。[0055]3、在获得原图像的五个尺度的图像之后，对于每个尺度都进行图像特征的提取。图像特征的提取满足人类的主观感知的图像质量，显著度权重矩阵的采集满足人眼的视觉特性。图像的特征提取要考虑人眼的视觉特性，同时这些特征是图像的主要代表特征。[0056]本发明提取的图像特征是影响人眼视觉的三个主要特征：图像的模糊度、噪声度和方块度，提取方法如下所示：[0057]1模糊度Blurriness的提取:图像的模糊度可以用如下公式计算[0060]其中，BX，y和B’（X，y可以通过两个滤波器获得，将不同尺度的原图像经过滤波器Filter2滤波获得Bx，y，经过滤波器Filterl和Filter2滤波获得B’（x，y。如图5中的a和b所示，滤波器FiIter1是一个平均滤波器，滤波器FiIter2是一个转换滤波器，并且Filter2对图像滤波之后可以将图像中的所有像素遵循平均值为零的拉普拉斯分布。m、n、P、q为参数，默认值为1。[0061]2噪声度Noisiness的提取:图像的噪声度可以通过下面的公式计算[0064]其中，Nx，y的获得依旧用平均滤波器Filterl对原图像滤波获得，而在获取Ν’x，y时，需要在图像中添加一定的高斯噪声，然后再通过Filterl对原图像滤波获得。m、n、P、q为参数，默认值为1。[0065]3方块度Blockings的提取:图像的方块度可以用下面的公式计算[0068]其中，hNl和hN2是比原图像水平方向阈值大的像素数量，vNl和vN2是比原图像垂直方向阈值大的像素数量，根据上述的第二个公式可以计算出g^g’b是当原图像的图像块的数量增大15%时，根据gb的计算公式重新计算出来的值。[0069]4在每个尺度上将图像的特征进行合并得到特征质量分布FeatureQualityDistribution，FQD，这里米取公式：FQDx，y=Blurrinessx，yXNoisinessx，yXBlockiness，得到图像特征的整体质量分布矩阵。[0070]4、对各个尺度的图像特征进行显著度加权，得到各尺度图像的质量评价指标，并加权平均从而得到最终的质量评价指标，对每个尺度的质量评价指标加权平均得到更有效、更准确的评价指标。[0071]图像多尺度划分的第k个尺度的图像质量指标Qk由第k个尺度质量分布矩阵与相应的权重函数Wk得到：[0073]其中，M，N为第k尺度图像的长、宽，这里的图像可以指待评价图像也可以指显著度图像，因为它们两个在不同尺度中的尺寸是相同的。[0074]最后根据每个尺度下的图像质量指标进行加权平均得到最终的图像质量评价指标：[0076]以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

权利要求：1.基于人眼视觉特性的图像质量评价方法，其特征在于，包括以下具体步骤：步骤1，生成待评价图像的显著度图像以及显著度权重矩阵；步骤2,分别对待评价图像及其显著度图像进行尺度划分；步骤3,对尺度划分后待评价图像的每个尺度进行图像特征的提取，并将各个尺度提取的图像特征进行合并，得到各个尺度下待评价图像的特征质量分布矩阵；步骤4,对各个尺度的显著度权重矩阵和质量分布矩阵进行加权处理，得到待评价图像的质量评价指标，实现对待评价图像的质量评价。2.根据权利要求1所述的基于人眼视觉特性的图像质量评价方法，其特征在于，步骤1中待评价图像的显著度图像的生成方法为：1.1，将待评价图像分解为RGB三通道图像，分别对三通道图像进行DCT变换，并利用sign函数获得各个通道的图像描述子；1.2，对步骤1.1获得的图像描述子进行反DCT变换，重建待评价图像的显著性区域图；1.3,对步骤1.2中重建的显著性区域图进行合成，生成待评价图像的特征图；1.4,通过高斯滤波去除步骤1.3中待评价图像的特征图中的噪声，得到待评价图像的显著度图像，并利用人眼视觉灵敏度函数获得显著度权重矩阵。3.根据权利要求1所述的基于人眼视觉特性的图像质量评价方法，其特征在于，步骤2中采用降采样方法进行图像的尺度划分。4.根据权利要求1所述的基于人眼视觉特性的图像质量评价方法，其特征在于，步骤3中图像特征的提取包括:模糊度的提取、噪声度的提取以及方块度的提取。5.根据权利要求4所述的基于人眼视觉特性的图像质量评价方法，其特征在于，步骤3中特征质量分布矩阵FQDx，y=Blurrinessx，yXNoisinessx，yXBlockiness，其中，Blurrinessx，y表示图像的模糊度，Noisinessx，y表示图像的噪声度，Blockiness表示图像的方块度。6.根据权利要求1所述的基于人眼视觉特性的图像质量评价方法，其特征在于，步骤4中待评价图像的质量评价指标为：其中，λ表示尺度数量Μ、Ν表示第k个尺度图像的长、宽，FQDkx，y表示第k个尺度下待评价图像的特征质量分布矩阵，Wkx，y表示第k个尺度下的显著度权重矩阵。

百度查询： 南京邮电大学 基于人眼视觉特性的图像质量评价方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD