申请/专利权人：浙江科技学院

申请日：2018-05-23

公开（公告）日：2020-07-03

公开（公告）号：CN108665460B

主分类号：G06T7/00(20170101)

分类号：G06T7/00(20170101)

优先权：

专利状态码：有效-授权

法律状态：2020.07.03#授权;2018.11.09#实质审查的生效;2018.10.16#公开

摘要：本发明公开了一种基于组合神经网络和分类神经网络的图像质量评价方法，其在训练阶段将采用全参考图像质量评价方法获得的失真图像的客观真实质量图像作为监督，对失真图像的归一化图像进行训练得到针对不同失真类型的组合神经网络回归训练模型；并将失真图像的分类标签作为监督，对失真图像的归一化图像进行训练得到分类神经网络训练模型；在测试阶段将待评价的失真图像的归一化图像输入到分类神经网络训练模型中，得到失真类型；根据失真类型，将归一化图像输入到对应的组合神经网络回归训练模型中得到客观质量评价预测质量图，使用显著图对客观质量评价预测质量图进行加权池化，得到客观质量评价预测值；优点是有效地提高了客观评价结果与主观感知之间的相关性。

主权项：1.一种基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤①_1：选取P幅原始的无失真图像，将第p幅原始的无失真图像记为其中，P为正整数，P＞1，p为正整数，1≤p≤P，1≤x≤W，1≤y≤H，W表示的宽度，H表示的高度，表示中坐标位置为x,y的像素点的像素值；步骤①_2：利用jpeg2000失真生成方法，生成每幅原始的无失真图像在jpeg2000失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg2000失真类型下的不同失真程度的失真图像构成第一失真训练集，将第一失真训练集中在jpeg2000失真类型下的第k幅失真图像记为利用jpeg失真生成方法，生成每幅原始的无失真图像在jpeg失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg失真类型下的不同失真程度的失真图像构成第二失真训练集，将第二失真训练集中在jpeg失真类型下的第k幅失真图像记为利用高斯噪声失真生成方法，生成每幅原始的无失真图像在高斯噪声失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯噪声失真类型下的不同失真程度的失真图像构成第三失真训练集，将第三失真训练集中在高斯噪声失真类型下的第k幅失真图像记为利用高斯模糊失真生成方法，生成每幅原始的无失真图像在高斯模糊失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯模糊失真类型下的不同失真程度的失真图像构成第四失真训练集，将第四失真训练集中在高斯模糊失真类型下的第k幅失真图像记为其中，K为正整数，K＞1，k为正整数，1≤k≤K，第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自包含P×K幅失真图像，表示中坐标位置为x,y的像素点的像素值，表示中坐标位置为x,y的像素点的像素值，表示中坐标位置为x,y的像素点的像素值，表示中坐标位置为x,y的像素点的像素值；步骤①_3：利用基于特征相似度的全参考图像质量评价方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行质量评价，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的客观真实质量图像，将的客观真实质量图像记为将的客观真实质量图像记为将的客观真实质量图像记为将的客观真实质量图像记为利用归一化方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行归一化处理，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像，将的归一化图像记为将的归一化图像记为将的归一化图像记为将的归一化图像记为其中，表示中坐标位置为x,y的像素点的像素值，表示中坐标位置为x,y的像素点的像素值，表示中坐标位置为x,y的像素点的像素值，表示中坐标位置为x,y的像素点的像素值，表示中坐标位置为x,y的像素点的像素值，表示中坐标位置为x,y的像素点的像素值，表示中坐标位置为x,y的像素点的像素值，表示中坐标位置为x,y的像素点的像素值；步骤①_4：构建组合神经网络：该组合神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括两个GoogleNet模块和三层卷积神经网络，两个GoogleNet模块均包括四个分支，第1个分支包括一层卷积层，该卷积层的神经元结点数为64，第2个分支包括两层卷积层，两层卷积层的神经元结点数分别为48、64，第3个分支包括三层卷积层，三层卷积层的神经元结点数分别为64、96、96，第4个分支包括一层均值池化层和一层卷积层，均值池化层的池化窗口大小为3，3，卷积层的神经元结点数为64，第1个GoogleNet模块的4个分支连接到一起输入到第2个GoogleNet模块中，第2个GoogleNet模块的4个分支连接到一起输入到第1层卷积神经网络中，三层卷积神经网络的神经元结点数分别为128、64、1，参数mini-batch的大小为20，编译时使用的优化器为Adam，使用的激活函数都设置为修正线性单元函数；接着利用组合神经网络，将第一失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第一失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第一权值矢量和最优的第一偏置项；然后将最优的第一权值矢量和最优的第一偏置项作为组合神经网络的最优参数，进而构造得到最优的第一组合神经网络回归训练模型；同样，利用组合神经网络，将第二失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第二失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第二权值矢量和最优的第二偏置项；然后将最优的第二权值矢量和最优的第二偏置项作为组合神经网络的最优参数，进而构造得到最优的第二组合神经网络回归训练模型；利用组合神经网络，将第三失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第三失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第三权值矢量和最优的第三偏置项；然后将最优的第三权值矢量和最优的第三偏置项作为组合神经网络的最优参数，进而构造得到最优的第三组合神经网络回归训练模型；利用组合神经网络，将第四失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第四失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第四权值矢量和最优的第四偏置项；然后将最优的第四权值矢量和最优的第四偏置项作为组合神经网络的最优参数，进而构造得到最优的第四组合神经网络回归训练模型；步骤①_5：构建分类神经网络：该分类神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括四层卷积神经网络，四层卷积神经网络的神经元结点数分别为16、32、128、256，预测层包括两层全连接层和一层分类层，两层全连接层的神经元结点数均为64，分类层的神经元结点数为4，参数mini-batch的大小为64，编译时使用的优化器为rmsprop，除分类层外所有层使用的激活函数都设置为修正线性单元函数，分类层使用的激活函数设置为softmax；接着利用分类神经网络，将第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集中的所有失真图像的分类标签作为监督，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像进行训练，使得分类得到的失真类型与分类标签之间的误差最小，得到最优的分类权值矢量和最优的分类偏置项；然后将最优的分类权值矢量和最优的分类偏置项作为分类神经网络的最优参数，进而构造得到分类神经网络训练模型；所述的测试阶段过程的具体步骤为：步骤②_1：令表示待评价的失真图像；其中，1≤x'≤W'，1≤y'≤H'，W'表示的宽度，H'表示的高度，表示中坐标位置为x',y'的像素点的像素值；步骤②_2：利用归一化方法，对进行归一化处理，获得的归一化图像，记为其中，表示中坐标位置为x',y'的像素点的像素值；利用图像显著性特征图提取方法，提取出的显著图，记为其中，表示中坐标位置为x',y'的像素点的像素值；步骤②_3：将作为输入，输入到训练阶段过程构造得到的分类神经网络训练模型中，得到的失真类型；步骤②_4：若的失真类型为jpeg2000，则将作为输入，输入到训练阶段过程构造得到的第一组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为其中，表示中坐标位置为x',y'的像素点的像素值；若的失真类型为jpeg，则将作为输入，输入到训练阶段过程构造得到的第二组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为若的失真类型为高斯噪声，则将作为输入，输入到训练阶段过程构造得到的第三组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为若的失真类型为高斯模糊，则将作为输入，输入到训练阶段过程构造得到的第四组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为步骤②_5：使用对进行加权池化，得到的客观质量评价加权预测值，记为Q。

全文数据：基于组合神经网络和分类神经网络的图像质量评价方法技术领域[0001]本发明涉及一种图像质量评价方法，尤其是涉及一种基于组合神经网络和分类神经网络的图像质量评价方法。背景技术[0002]随着图像处理、机器学习和计算机视觉的快速发展，图像质量评价已成为越来越受关注的研究领域，因为它在实际应用中是一个重要的技术，可以用于精确评估图像的质量。在图像的获取、传输、压缩、存储和显示等过程中，往往会有不同程度的失真，如图像模糊、视频终端图像失真、系统中图像质量不达标等，因此，建立有效的图像质量评价机制非常重要。[0003]—般来说，图像质量评价大致可以划分为两个不同的类别：主观图像质量评价方法和客观图像质量评价方法。前一类是基于人类观察者的主观判断；而后一类是采用客观度量，快速和精确地衡量一幅失真图像的质量。虽然主观图像质量评价方法提供的最终接收机制能够更加可靠的、精确和直接的量化图像感知质量，但是主观图像质量评价方法比较繁琐，并且许多情况下不容易实现如实时和自动化系统）。因此，客观图像质量评价方法取得了飞速的发展。客观图像质量评价方法主要分为三种评价方法，即全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法，当前研究最多的是全参考图像质量评价方法，但是由于多数应用中无法获得相应的原始图像，因此无参考图像质量评价方法的研究更具实用价值。[0004]现有的通用无参考图像质量评价方法主要是针对多种失真的无参考图像质量评价方法，对具体某种失真的针对性不够强，因此先对多种失真进行分类，然后再针对具体某种失真进行图像质量评价已成为人们越来越关注的方向。发明内容[0005]本发明所要解决的技术问题是提供一种基于组合神经网络和分类神经网络的图像质量评价方法，其充分考虑了不同失真类型对视觉质量的影响，有效地提高了客观评价结果与主观感知之间的相关性。[0006]本发明解决上述技术问题所采用的技术方案为:一种基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；[0007]所述的训练阶段过程的具体步骤为：[0008]步骤①_1:选取P幅原始的无失真图像，将第p幅原始的无失真图像记为;其中，P为正整数，P1，P为正整数，1彡P彡P，1彡X彡W，1彡y彡H，W表示的宽度，H表示的高度表示中坐标位置为x，y的像素点的像素值；[0009]步骤①_2:利用jpeg2000失真生成方法，生成每幅原始的无失真图像在jpeg2000失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg2000失真类型下的不同失真程度的失真图像构成第一失真训练集，将第一失真训练集中在jpeg2000失真类型下的第k幅失真图像记为[00Ί0]利用jpeg失真生成方法，生成每幅原始的无失真图像在jpeg失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg失真类型下的不同失真程度的失真图像构成第二失真训练集，将第二失真训练集中在jpeg失真类型下的第k幅失真图像记为[0011]利用高斯噪声失真生成方法，生成每幅原始的无失真图像在高斯噪声失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯噪声失真类型下的不同失真程度的失真图像构成第三失真训练集，将第三失真训练集中在高斯噪声失真类型下的第k幅失真图像记为[0012]利用高斯模糊失真生成方法，生成每幅原始的无失真图像在高斯模糊失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯模糊失真类型下的不同失真程度的失真图像构成第四失真训练集，将第四失真训练集中ί在高斯模糊失真类型下的第k幅失真图像记为：[0013]其中，K为正整数，Kl，k为正整数，l1，如取？=1〇〇印为正整数，1彡口彡？，1彡叉彡1，1彡7彡11，¥表示的宽度，H表示的高度表示中坐标位置为x，y的像素点的像素值。[0045]步骤①_2:利用现有的jpeg2000失真生成方法，生成每幅原始的无失真图像在jpeg2000失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg2000失真类型下的不同失真程度的失真图像构成第一失真训练集，将第一失真训练集中在jpeg2000失真类型下的第k幅失真图像记为[0046]利用现有的jpeg失真生成方法，生成每幅原始的无失真图像在jpeg失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg失真类型下的不同失真程度的失真图像构成第二失真训练集，将第二失真训练集中在jpeg失真类型下的第k幅失真图像记为[0047]利用现有的高斯噪声失真生成方法，生成每幅原始的无失真图像在高斯噪声失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯噪声失真类型下的不同失真程度的失真图像构成第三失真训练集，将第三失真训练集中在高斯噪声失真类型下的第k幅失真图像记为[0048]利用现有的尚斯t旲糊失真生成方法，生成每幅原始的无失真图像在尚斯t旲糊失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯模糊失真类型下的不同失真程度的失真图像构成第四失真训练集，将第四失真训练集中在高斯模糊失真类型下的第k幅失真图像记为，[0049]其中，K为正整数，K1，如取K=15，k为正整数，1彡k彡K，第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自包含PXK幅失真图像，表示中坐标位置为X，y的像素点的像素值，表示中坐标位置为x，y的像素点的像素值，表示中坐标位置为x，y的像素点的像素值，表示中坐标位置为X，y的像素点的像素值。[0050]步骤①_3:利用现有的基于特征相似度FeatureSimilarity，FSIM的全参考图像质量评价方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行质量评价，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的客观真实质量图像，将的客观真实质量图像记为将的客观真实质量图像记为，将的客观真实质量图像记为，将的客观真实质量图像记为[0051]利用现有的归一化方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行归一化处理，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像，将的归一化图像记为将的归一化图像记为,将的归一化图像记为将的归一化图像记为[0052]其中：表示中坐标位置为X，y的像素点的像素值，表示中坐标位置为（X，y的像素点的像素值，表示中坐标位置为x，y的像素点的像素值，表示中坐标位置为（x，y的像素点的像素值，表示中坐标位置为x，y的像素点的像素值，表示中坐标位置为（x，y的像素点的像素值，表示中坐标位置为（x，y的像素点的像素值，表示中坐标位置为X，y的像素点的像素值。[0053]在本实施例中，步骤〇_3中，[0054]步骤①_4:构建组合神经网络：该组合神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括两个GoogleNet模块和三层卷积神经网络，两个GoogleNet模块均包括四个分支，第1个分支包括一层卷积层，该卷积层的神经元结点数为64，第2个分支包括两层卷积层，两层卷积层的神经元结点数分别为48、64，第3个分支包括三层卷积层，三层卷积层的神经元结点数分别为64、96、96，第4个分支包括一层均值池化层和一层卷积层，均值池化层的池化窗口大小为3,3，卷积层的神经元结点数为64,第1个GoogleNet模块的4个分支连接到一起输入到第2个GoogleNet模块中，第2个GoogleNet模块的4个分支连接到一起输入到第1层卷积神经网络中，三层卷积神经网络的神经元结点数分别为128、64、1，参数mini-batch的大小为20,编译时使用的优化器为Adam，使用的激活函数都设置为修正线性单元函数RectifiedLinearUnit，ReLU，使用ReLU作为激活函数的原因是:ReLU可以通过简单地将零激活矩阵阈值化来实现，ReLU不会饱和，并且使用ReLU作为激活函数可以很大程度地加快随机梯度下降的收敛；由于该组合神经网络是由两个GoogleNet模块和三层卷积神经网络组合而成的神经网络框架，其能够有效学习单种失真类型的失真图像的归一化图像与客观真实质量图像之间的相关性，因此本发明方法接着利用组合神经网络，将第一失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第一失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第一权值矢量和最优的第一偏置项;然后将最优的第一权值矢量和最优的第一偏置项作为组合神经网络的最优参数，进而构造得到最优的第一组合神经网络回归训练模型。[0055]同样，利用组合神经网络，将第二失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第二失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第二权值矢量和最优的第二偏置项;然后将最优的第二权值矢量和最优的第二偏置项作为组合神经网络的最优参数，进而构造得到最优的第二组合神经网络回归训练模型。[0056]利用组合神经网络，将第三失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第三失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第三权值矢量和最优的第三偏置项;然后将最优的第三权值矢量和最优的第三偏置项作为组合神经网络的最优参数，进而构造得到最优的第三组合神经网络回归训练模型。[0057]利用组合神经网络，将第四失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第四失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第四权值矢量和最优的第四偏置项;然后将最优的第四权值矢量和最优的第四偏置项作为组合神经网络的最优参数，进而构造得到最优的第四组合神经网络回归训练模型。[0058]在本实施例中，步骤φ_4中，将组合神经网络的输入层输出的第g幅特征图记为:，将中坐标位置为（X，y的像素点的像素值记为;组合神经网络的非线性拟合层中的每个GoogleNet模块由四个分支组成，将组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支输出的第g幅特征图记为，将中坐标位置为x，y的像素点的像素值记为：将组合神经网络的非线性拟合层中的第2个Gο〇gIeNet模块的第i个分支输出的第g幅特征图记为,将中坐标位置为（x，y的像素点的像素值记为，.将组合神经网络的非线性拟合层中的第j层卷积神经网络输出的第g幅特征图记为，将中坐标位置为x，y的像素点的像素值记为将组合神经网络的预测层输出的第g幅特征图记为，将中坐标位置为x，y的像素点的像素值记为[0059]其中，g为正整数，l中坐标位置为x’，y’）的像素点的像素值，W’可与W相同或不相同，H’可与H相同或不相同。[0064]步骤②_2:利用现有的归一化方法，对进行归一化处理，获得的归一化图像，记为：其中，表示中坐标位置为X’，y’）的像素点的像素值。[0065]利用现有的图像显著性特征图提取方法，提取出的显著图，记为;其中，表示中坐标位置为X’，y’）的像素点的像素值。[0066]在本实施例中，步骤D_2中：[0067]步骤②_3:将作为输入，输入到训练阶段过程构造得到的分类神经网络训练模型中，得到的失真类型。[0068]步骤②_4:若的失真类型为jpeg2000,则将作为输入，输入到训练阶段过程构造得到的第一组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为其中，表示中坐标位置为X’，y’）的像素点的像素值。[0069]若的失真类型为jpeg，则将作为输入，输入到训练阶段过程构造得到的第二组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为[0070]若的失真类型为高斯噪声，则将作为输入，输入到训练阶段过程构造得到的第三组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为[0071]若的失真类型为高斯模糊，则将作为输入，输入到训练阶段过程构造得到的第四组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为^[0072]步骤②_5:使用对进行加权池化，得到的客观质量评价加权预测值，记为Q。[0073]为了进一步验证本发明方法的可行性和有效性，进行实验。[0074]采用LIVE、CSIQ、TID2013三个失真图像数据库来分析利用本发明方法中的分类神经网络训练模型得到的失真图像的失真类型的准确率，如表1所列。从表1所列的数据可知，按本发明方法得到的失真图像的失真类型的准确率很高。[0075]采用LIVE、CSIQ、TID2013三个失真图像数据库来分析利用本发明方法得到的失真图像的客观质量评价加权预测值与主观评分值之间的相关性。这里，利用评估图像质量评价方法的两个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数Pearsonlinearcorrelationcoefficient，PLCC、Spearman相关系数（Spearmanrankordercorrelationcoefficient，SROCC，PLCC反映失真图像的客观质量评价加权预测值的准确性，SROCC反映其单调性。[0076]利用现有的主观质量评价方法获得LIVE、CSIQ、TID2013三个失真图像数据库中的每幅失真图像的主观评分值，再利用本发明方法计算LIVE、CSIQ、TID2013三个失真图像数据库中的每幅失真图像的客观质量评价加权预测值。将按本发明方法计算得到的失真图像的客观质量评价加权预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高说明客观评价方法的客观评价结果与主观评分值之间的相关性越好。反映本发明方法的质量评价性能的PLCC和SROCC相关系数如表2所列。从表2所列的数据可知，按本发明方法得到的失真图像的客观质量评价加权预测值与主观评分值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。[0077]表1利用本发明方法得到的失真图像的失真类型的准确率测试结果[0078][0079]表2利用本发明方法得到的失真图像的客观质量评价加权预测值与主观评分值之间的相关性[0080]

权利要求：1.一种基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤①_1:选取P幅原始的无失真图像，将第P幅原始的无失真图像记为；其中，P为正整数，P1，P为正整数，1彡P彡P，1彡X彡W，1彡y彡H，W表示的宽度，H表示的高度，I表示中坐标位置为X，y的像素点的像素值；步骤①_2:利用jpeg2000失真生成方法，生成每幅原始的无失真图像在jpeg2000失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg2000失真类型下的不同失真程度的失真图像构成第一失真训练集，将第一失真训练集中在jpeg2000失真类型下的第k幅失真图像记为利用jpeg失真生成方法，生成每幅原始的无失真图像在jpeg失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg失真类型下的不同失真程度的失真图像构成第二失真训练集，将第二失真训练集中在jpeg失真类型下的第k幅失真图像记为利用高斯噪声失真生成方法，生成每幅原始的无失真图像在高斯噪声失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯噪声失真类型下的不同失真程度的失真图像构成第三失真训练集，将第三失真训练集中在高斯噪声失真类型下的第k幅失真图像记为利用高斯模糊失真生成方法，生成每幅原始的无失真图像在高斯模糊失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯模糊失真类型下的不同失真程度的失真图像构成第四失真训练集，将第四失真训练集中在高斯模糊失真类型下的第k幅失真图像记为其中，K为正整数，Kl，k为正整数，lkK，第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自包含PXK幅失真图像，表示中坐标位置为x，y的像素点的像素值，表示中坐标位置为X，y的像素点的像素值，丨表示中坐标位置为X，y的像素点的像素值，1表示中坐标位置为X，y的像素点的像素值；步骤①_3:利用基于特征相似度的全参考图像质量评价方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行质量评价，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的客观真实质量图像，将的客观真实质量图像记为,将的客观真实质量图像记为，将的客观真实质量图像记为，将的客观真实质量图像记为利用归一化方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行归一化处理，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像，将的归一化图像记为将的归一化图像记为，将的归一化图像记为，将的归一化图像记为其中，表示中坐标位置为（x，y的像素点的像素值，表示中坐标位置为（x，y的像素点的像素值，表示中坐标位置为x，y的像素点的像素值，表示中坐标位置为X，y的像素点的像素值，表示中坐标位置为X，y的像素点的像素值：表示中坐标位置为（X，y的像素点的像素值，表示中坐标位置为（x，y的像素点的像素值，表示中坐标位置为X，y的像素点的像素值；步骤①_4:构建组合神经网络：该组合神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括两个GoogleNet模块和三层卷积神经网络，两个GoogleNet模块均包括四个分支，第1个分支包括一层卷积层，该卷积层的神经元结点数为64，第2个分支包括两层卷积层，两层卷积层的神经元结点数分别为48、64，第3个分支包括三层卷积层，三层卷积层的神经元结点数分别为64、96、96，第4个分支包括一层均值池化层和一层卷积层，均值池化层的池化窗口大小为（3，3，卷积层的神经元结点数为64，第1个GoogleNet模块的4个分支连接到一起输入到第2个GoogleNet模块中，第2个GoogleNet模块的4个分支连接到一起输入到第1层卷积神经网络中，三层卷积神经网络的神经元结点数分别为128、64、1，参数minibatch的大小为20,编译时使用的优化器为Adam，使用的激活函数都设置为修正线性单元函数;接着利用组合神经网络，将第一失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第一失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第一权值矢量和最优的第一偏置项;然后将最优的第一权值矢量和最优的第一偏置项作为组合神经网络的最优参数，进而构造得到最优的第一组合神经网络回归训练模型；同样，利用组合神经网络，将第二失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第二失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第二权值矢量和最优的第二偏置项;然后将最优的第二权值矢量和最优的第二偏置项作为组合神经网络的最优参数，进而构造得到最优的第二组合神经网络回归训练模型；利用组合神经网络，将第三失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第三失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第三权值矢量和最优的第三偏置项;然后将最优的第三权值矢量和最优的第三偏置项作为组合神经网络的最优参数，进而构造得到最优的第三组合神经网络回归训练模型；利用组合神经网络，将第四失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第四失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第四权值矢量和最优的第四偏置项;然后将最优的第四权值矢量和最优的第四偏置项作为组合神经网络的最优参数，进而构造得到最优的第四组合神经网络回归训练模型；步骤①_5:构建分类神经网络：该分类神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括四层卷积神经网络，四层卷积神经网络的神经元结点数分别为16、32、128、256，预测层包括两层全连接层和一层分类层，两层全连接层的神经元结点数均为64，分类层的神经元结点数为4,参数mini-batch的大小为64,编译时使用的优化器为rmsprop，除分类层外所有层使用的激活函数都设置为修正线性单元函数，分类层使用的激活函数设置为softmax;接着利用分类神经网络，将第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集中的所有失真图像的分类标签作为监督，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像进行训练，使得分类得到的失真类型与分类标签之间的误差最小，得到最优的分类权值矢量和最优的分类偏置项;然后将最优的分类权值矢量和最优的分类偏置项作为分类神经网络的最优参数，进而构造得到分类神经网络训练模型；所述的测试阶段过程的具体步骤为：步骤②_1:令表示待评价的失真图像;其中，Kx’SW’，Ky’H’，W’表示的宽度，Η’表示的高度，表示中坐标位置为X’，y’）的像素点的像素值；步骤②_2:利用归一化方法，对进行归一化处理，获得的归一化图像，记为；其中，表示中坐标位置为x’，y’）的像素点的像素值；利用图像显著性特征图提取方法，提取出的显著图，记为其中，表矛中坐标位置为X’，y’）的像素点的像素值；步骤②_3:将作为输入，输入到训练阶段过程构造得到的分类神经网络训练模型中，得到的失真类型；步骤②_4:若的失真类型为jpeg2000,则将作为输入，输入到训练阶段过程构造得到的第一组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为r其中，表示中坐标位置为X’，y’）的像素点的像素值；若的失真类型为jpeg，则将作为输入，输入到训练阶段过程构造得到的第二组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为若的失真类型为高斯噪声，则将作为输入，输入到训练阶段过程构造得到的第三组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为若的失真类型为高斯模糊，则将作为输入，输入到训练阶段过程构造得到的第四组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为步骤②_5:使用对进行加权池化，得到的客观质量评价加权预测值，记为Q。2.根据权利要求1所述的基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于所述的步骤D_3中，3.根据权利要求1所述的基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于所述的步骤φ_4中，将组合神经网络的输入层输出的第g幅特征图记为，将中坐标位置为（X，y的像素点的像素值记为;组合神经网络的非线性拟合层中的每个GoogleNet模块由四个分支组成，将组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支输出的第g幅特征图记为，将中坐标位置为x，y的像素点的像素值记为；将组合神经网络的非线性拟合层中的第2个Gο〇gIeNet模块的第i个分支输出的第g幅特征图记为,将中坐标位置为（x，y的像素点的像素值记为，r将组合神经网络的非线性拟合层中的第j层卷积神经网络输出的第g幅特征图记为，将中坐标位置为X，y的像素点的像素值记为将组合神经网络的预测层输出的第g幅特征图记为，将中坐标位置为x，y的像素点的像素值记为其中，g为正整数，lgG，G为正整数，G表示组合神经网络的每层输出的特征图的总幅数，max〇为取最大值函数，表示输入到组合神经网络的输入层中的图像中坐标位置为X，y的像素点的像素值，符号为卷积运算符号，ωQ表示组合神经网络的输入层的权重参数，bQ表示组合神经网络的输入层的偏置项参数，i=l，2,3,4，表示输入到组合神经网络的非线性拟合层中的第1个GoogIeNet模块中的图像中坐标位置为X，y的像素点的像素值，表示I的线性函数，表示组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支的权重参数，表示组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支的偏置项参数，表示输入到组合神经网络的非线性拟合层中的第2个GoogIeNet模块中的图像中坐标位置为X，y的像素点的像素值，丨表示=的线性函数，表示组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支的权重参数，表示组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支的偏置项参数，j=1，2，3，表示输入到组合神经网络的非线性拟合层中的第j层卷积神经网络中的图像中坐标位置为X，y的像素点的像素值，表示的线性函数，ω」+2表示组合神经网络的非线性拟合层中的第j层卷积神经网络的权重参数，bj+2表示组合神经网络的非线性拟合层中的第j层卷积神经网络的偏置项参数，表示输入到组合神经网络的预测层中的图像中坐标位置为x，y的像素点的像素值，表示的线性函数，ω6表示组合神经网络的预测层的权重参数，b6表示组合神经网络的预测层的偏置项参数。4.根据权利要求1所述的基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于所述的步骤φ_5中，将分类神经网络的输入层输出的第h幅特征图记为,将中坐标位置为（X，y的像素点的像素值记为;将分类神经网络的非线性拟合层中的第m层卷积神经网络输出的第h幅特征图记为，将中坐标位置为x，y的像素点的像素值记为；其中，h为正整数，1h彡H，H为正整数，H表示分类神经网络的每层输出的特征图的总幅数，max为取最大值函数，表示输入到分类神经网络的输入层中的图像中坐标位置为x，y的像素点的像素值，符号为卷积运算符号，ω’〇表示分类神经网络的输入层的权重参数，b’o表示分类神经网络的输入层的偏置项参数，m=l，2,3,4表示输入到分类神经网络的非线性拟合层中的第m层卷积神经网络中的图像中坐标位置为（x，y的像素点的像素值，为的线性函数，ω’m表示分类神经网络的非线性拟合层中的第m层卷积神经网络的权重参数，b’m表示分类神经网络的非线性拟合层中的第m层卷积神经网络的偏置项参数。5.根据权利要求1所述的基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于所述的步骤D_2中

百度查询： 浙江科技学院 基于组合神经网络和分类神经网络的图像质量评价方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD