申请/专利权人：宁波大学

申请日：2018-05-03

公开（公告）日：2021-04-27

公开（公告）号：CN108805825B

主分类号：G06T5/00(20060101)

分类号：G06T5/00(20060101);G06K9/46(20060101);G06K9/62(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.27#授权;2018.12.07#实质审查的生效;2018.11.13#公开

摘要：本发明公开了一种重定位图像质量评价方法，其考虑了结构失真和内容损失对重定位的影响，利用相似性变换矩阵建立原始图像与重定位图像的变换关系，根据相似性变换矩阵计算出多尺度下的结构失真，并根据四边形网格的面积变化计算出多尺度下的内容损失，然后利用支持向量回归对训练集中的由多尺度下的结构失真和内容损失构成的特征矢量进行训练，构造支持向量回归训练模型；在测试阶段，通过计算测试集中的重定位图像的特征矢量，并根据支持向量回归训练模型，预测得到测试集中的重定位图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能较好地反映重定位图像的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。

主权项：1.一种重定位图像质量评价方法，其特征在于包括以下步骤：步骤一：令Iorg表示原始图像，令Iret表示Iorg对应的重定位图像；将Iorg中坐标位置为x,y的像素点的像素值记为Iorgx,y，将Iret中坐标位置为x',y的像素点的像素值记为Iretx',y；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Iorg的宽度，W'表示Iret的宽度，H表示Iorg和Iret的高度；步骤二：采用SIFT-Flow方法建立Iorg与Iret之间的匹配关系，得到Iorg中的每个像素点的SIFT-Flow向量，将Iorg中坐标位置为x,y的像素点的SIFT-Flow向量记为然后根据Iorg中的所有像素点的SIFT-Flow向量，从Iorg中重构得到重定位图像，记为将中坐标位置为的像素点的像素值记为再找出中的所有空洞像素点，并将值0作为中的每个空洞像素点的像素值；其中，用于表示水平方向，用于表示垂直方向，表示vOx,y的水平偏移量，表示vOx,y的垂直偏移量，中的“＝”为赋值符号；步骤三：在3个不同尺度下将Iorg分别分割成多个互不重叠的四边形网格，将在第j个尺度下Iorg中的第kj个四边形网格记为以其左上、左下、右上和右下4个网格顶点的集合来描述，其中，j＝1,2,3，kj为正整数，1≤kj≤Mj，Mj表示在第j个尺度下Iorg中的四边形网格的总个数，表示在第j个尺度下Iorg中的四边形网格的尺寸大小，符号为向下取整运算符号，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，步骤四：根据在每个尺度下Iorg中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定在相同尺度下Iorg中的每个四边形网格在Iret中匹配的四边形网格，将在第j个尺度下在Iret中匹配的四边形网格记为然后计算在每个尺度下Iorg中的每个四边形网格的相似性变换矩阵，将的相似性变换矩阵记为其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，和对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，为的转置，为的逆，的维数为6×1；步骤五：采用分层显著性检测模型提取出Iorg的视觉显著图，记为{SOx,y}；然后根据在每个尺度下Iorg中的所有四边形网格的相似性变换矩阵，并结合{SOx,y}，计算在每个尺度下Iorg的结构失真，将在第j个尺度下Iorg的结构失真记为并根据在每个尺度下Iorg中的每个四边形网格在Iret中匹配的四边形网格，并结合{SOx,y}和计算在每个尺度下Iorg的内容损失，将在第j个尺度下Iorg的内容损失记为其中，SOx,y表示{SOx,y}中坐标位置为x,y的像素点的像素值；步骤六：根据在3个尺度下Iorg的结构失真和内容损失，获取Iret的特征矢量，记为F，其中，F的维数为6×1，表示将连接起来形成一个特征矢量，对应表示在第1个尺度下Iorg的结构失真、在第2个尺度下Iorg的结构失真、在第3个尺度下Iorg的结构失真，对应表示在第1个尺度下Iorg的内容损失、在第2个尺度下Iorg的内容损失、在第3个尺度下Iorg的内容损失；步骤七：将n'幅原始图像对应的共n幅重定位图像构成重定位图像集合；然后采用主观质量评价方法，获取重定位图像集合中的每幅重定位图像的主观评分差值，将重定位图像集合中的第g1幅重定位图像的主观评分差值记为并按照步骤一至步骤六的过程，以相同的方式获取重定位图像集合中的每幅重定位图像的特征矢量，将重定位图像集合中的第g1幅重定位图像的特征矢量记为其中，n'1，n1，1≤g1≤n，的维数为6×1；步骤八：随机选择重定位图像集合中的m幅重定位图像构成训练集，将重定位图像集合中剩余的n-m幅重定位图像构成测试集；然后将训练集中的所有重定位图像的特征矢量和主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位图像的支持向量回归训练模型，记为fFinp，其中，1≤mn，f为函数表示形式，Finp表示重定位图像的支持向量回归训练模型的输入矢量，为重定位图像的特征矢量，Finp的维数为6×1，woptT为wopt的转置，表示重定位图像的支持向量回归训练模型的输入矢量Finp的线性函数；步骤九：将测试集中的所有重定位图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位图像的客观质量评价预测值记为Qq，Qq＝fFq，其中，q为正整数，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量的线性函数；步骤十：重复执行步骤八至步骤九共X次，并使重定位图像集合中的每幅重定位图像至少有一次属于测试集，经过X次执行后计算重定位图像集合中的每幅重定位图像的若干个客观质量评价预测值的平均值，再将重定位图像集合中的每幅重定位图像的客观质量评价预测值的平均值作为该幅重定位图像的最终的客观质量评价预测值；其中，X的取值大于或等于100。

全文数据：一种重定位图像质量评价方法技术领域[0001]本发明涉及一种图像质量评价方法，尤其是涉及一种重定位图像质量评价方法。背景技术[0002]随着终端显示设备例如智能手机、平板电脑、电视等）的快速发展与更新换代，具有不同分辨率和屏幕高宽比的终端显示设备充斥着人们的工作与生活。当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频的分辨率使之适应不同尺寸的终端显示设备，这就是重定位retargeting问题。当前解决重定位问题的方法有:缩放scaling、裁切cropping和变形warping等。然而，这些重定位方法没有充分利用终端显示设备的尺寸优势，降低了用户体验效果，因此对不同重定位方法的性能进行客观评价十分必要。[0003]现有的重定位方法大多以像素点匹配为基础，建立原始图像和重定位图像之间的映射关系，并基于像素点匹配提取出相应特征来评价重定位图像质量。然而，重定位图像由不同的重定位操作得到，现有的重定位图像质量评价方法并不能很好地揭示两者之间的关系。因此，如何在评价过程中有效地提取出特征，使得客观评价结果更加感觉符合人类视觉系统，是在对重定位图像进行客观质量评价过程中需要研究解决的问题。发明内容[0004]本发明所要解决的技术问题是提供一种重定位图像质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。[0005]本发明解决上述技术问题所采用的技术方案为:一种重定位图像质量评价方法，其特征在于包括以下步骤：[0006]步骤一:令Iorg表示原始图像，令Ire3t表示Iorg对应的重定位图像;将Iorg中坐标位置为X，y的像素点的像素值记为IcxrgX，y，将Iret中坐标位置为X’，y的像素点的像素值记为Ux’，y;其中，表示Icirg的宽度，W’表示Ire3t的宽度，H表不Iorg和Iret的尚度；[0007]步骤二:采用SIFT-FIow方法建立Icirg与Iret之间的匹配关系，得到Icirg中的每个像素点的SIFT-Flow向量，将Icirg中坐标位置为x，y的像素点的SIFT-Flow向量记为Vox，y，:然后根据Iπ中的所有像素点的SIFT-FIow向量，从ICirg中重构得到重定位图像，记为，将中坐标位置为的像素点的像素值记为；再找出L中的所有空洞像素点，并将值〇作为中的每个空洞像素点的像素值;其中，用于表示水平方向，V用于表示垂直方向表示Vox，y的水平偏移量表示Vox，y的垂直偏移量丨中的“=”为赋值符号；[0008]步骤三:在3个不同尺度下将Icirg分别分割成多个互不重叠的四边形网格，将在第j个尺度下Icirg中的第kj个四边形网格记为以其左上、左下、右上和右下4个网格顶点的集合来描述；其中，j=l，2,3，kj为正整数：表示在第j个尺度下Icirg中的四边形网格的总个数，表示在第j个尺度下Icirg中的四边形网格的尺寸大小，符号‘1」”:为向下取整运算符号：对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，的水平坐标位置和垂直坐标位置来描述，的水平坐标位置和垂直坐标位置来描述，的水平坐标位置和垂直坐标位置来描述，的水平坐标位置和垂直坐标位置来描述，[0009]步骤四：根据在每个尺度下Icirg中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定在相同尺度下1_中的每个四边形网格在Ire冲匹配的四边形网格，将在第j个尺度下在Iret中匹配的四边形网格记为；然后计算在每个尺度下Icirg中的每个四边形网格的相似性变换矩阵，将的相似性变换矩阵记为，对应表不的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点亦表示在第j个尺度下在Iret中匹配的网格顶点亦表示在第j个尺度下在Iret中匹配的网格顶点：亦表示在第j个尺度下在Iret中匹配的网格顶点，的水平坐标位置和垂直坐标位置来描述：的水平坐标位置和垂直坐标位置来描述，’的水平坐标位置和垂直坐标位置来描述，的水平坐标位置和垂直坐标位置来描述，对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，吋应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，[0010]步骤五:采用分层显著性检测模型提取出Icirg的视觉显著图，记为{Sqx，y};然后根据在每个尺度下Icirg中的所有四边形网格的相似性变换矩阵，并结合{Sox，y}，计算在每个尺度下Icirg的结构失真，将在第j个尺度下1^的结构失真记为并根据在每个尺度下1_中的每个四边形网格在Ire冲匹配的四边形网格，并结合{Sox，y}和计算在每个尺度下Icirg的内容损失，将在第j个尺度下1^的内容损失记为：其中，S〇x，y表示{S〇x，y}中坐标位置为X，y的像素点的像素值；[0011]步骤六:根据在3个尺度下1^的结构失真和内容损失，获取Ire3t的特征矢量，记为其中，F的维数为表示将连接起来形成一个特征矢量对应表示在第1个尺度下Icirg的结构失真、在第2个尺度下Icirg的结构失真、在第3个尺度下Icirg的结构失真，对应表示在第1个尺度下Icirg的内容损失、在第2个尺度下Icirg的内容损失、在第3个尺度下Iorg的内容损失；[0012]步骤七:将η’幅原始图像对应的共η幅重定位图像构成重定位图像集合;然后采用主观质量评价方法，获取重定位图像集合中的每幅重定位图像的主观评分差值，将重定位图像集合中的第81幅重定位图像的主观评分差值记为并按照步骤一至步骤六的过程，以相同的方式获取重定位图像集合中的每幅重定位图像的特征矢量，将重定位图像集合中的第81幅重定位图像的特征矢量记为其中：的维数为6X1;[0013]步骤八:随机选择重定位图像集合中的m幅重定位图像构成训练集，将重定位图像集合中剩余的n-m幅重定位图像构成测试集;然后将训练集中的所有重定位图像的特征矢量和主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量w°pt和最优的偏置项b°pt;再利用得到的最优的权重矢量w°pt和最优的偏置项b°pt，构造重定位图像的支持向量回归训练模型，记为fFinp其中，Km〈n，f〇为函数表示形式，Finp表示重定位图像的支持向量回归训练模型的输入矢量，为重定位图像的特征矢量，Finp的维数为6X1，为w°pt的转置，表示重定位图像的支持向量回归训练模型的输入矢量Finp的线性函数；[0014]步骤九:将测试集中的所有重定位图像的特征矢量构成测试样本数据集合;然后根据构造得到的重定位图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位图像的客观质量评价预测值记为：其中，q为正整数表示测试样本数据集合中的第q个特征矢量，Fq的维数为6X1，表示测试样本数据集合中的第q个特征矢量的线性函数；[0015]步骤十:重复执行步骤八至步骤九共X次，并使重定位图像集合中的每幅重定位图像至少有一次属于测试集，经过X次执行后计算重定位图像集合中的每幅重定位图像的若干个客观质量评价预测值的平均值，再将重定位图像集合中的每幅重定位图像的客观质量评价预测值的平均值作为该幅重定位图像的最终的客观质量评价预测值;其中，X的取值大于或等于1〇〇。[0016]所述的步骤五中的的计算过程为：[0017]A1、根据在第j个尺度下Icirg中的每个四边形网格的相似性变换矩阵，计算在第j个尺度下I。rg中的每个四边形网格的几何失真，将的几何失真记为其中对应表示：中的第1个元素、第2个元素、第4个元素、第5个元素；[0018]A2、根据在第j个尺度下Icirg中的每个四边形网格的几何失真，并结合{Sox，y}，计算得到其中，Soh表示冲的所有像素点的视觉显著值的均值，也即表示{SoX，y}中与对应的区域中的所有像素点的像素值的均值，exp表示以自然基数e为底的指数函数。[0019]所述的步骤五中的总的计算过程为其中，Soh表示中的所有像素点的视觉显著值的均值，也即表示{Sox，y}中与对应的区域中的所有像素点的像素值的均值，表示计算Icirg中与对应的区域中的所有非空洞像素点所占的区域面积大小表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小。[0020]与现有技术相比，本发明的优点在于：[0021]本发明方法考虑了结构失真和内容损失对重定位的影响，利用相似性变换矩阵建立原始图像与重定位图像的变换关系，根据相似性变换矩阵计算出多尺度下的结构失真，并根据四边形网格的面积变化计算出多尺度下的内容损失，然后利用支持向量回归对训练集中的由多尺度下的结构失真和内容损失构成的特征矢量进行训练，构造得到支持向量回归训练模型;在测试阶段，通过计算测试集中的重定位图像的特征矢量，并根据构造的支持向量回归训练模型，预测得到测试集中的重定位图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能够较好地反映重定位图像的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。附图说明[0022]图1为本发明方法的总体实现框图。具体实施方式[0023]以下结合附图实施例对本发明作进一步详细描述。[0024]本发明提出的一种重定位图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：[0025]步骤一:令Iorg表示原始图像，令I表示Iorg对应的重定位图像;将Iorg中坐标位置为X，y的像素点的像素值记为IcxrgX，y，将Iret中坐标位置为X’，y的像素点的像素值记为Iretx’，y;其中，表示Wg的宽度，W’表示Iret的宽度，H表示ICirg和Iret的高度。[0026]步骤二：米用现有的SIFT-FlowScale-InvariantFeatureTransformFlow，尺度不变特征变换流方法建立1_与1#之间的匹配关系，得到Icirg中的每个像素点的SIFT-Flow向量，将Icirg中坐标位置为（x，y的像素点的SIFT-Flow向量记为Vox，y，:然后根据Iπ中的所有像素点的SIFT-FIow向量，从ICirg中重构得到重定位图像，记为L，将L中坐标位置为的像素点的像素值记为；再找出中的所有空洞像素点，并将值〇作为中的每个空洞像素点的像素值;其中，f用于表示水平方向，罗用于表示垂直方向，表示Vox，y的水平偏移量表示Vox，y的垂直偏移量中的“=”为赋值符号;在此，中的所有空洞像素点的确定采用现有技术。[0027]步骤三:在3个不同尺度下将Icirg分别分割成多个互不重叠的四边形网格，将在第j个尺度下Icirg中的第h个四边形网格记为以其左上、左下、右上和右下4个网格顶点的集合来描述；其中，j=l，2,3，kj为正整数，1彡kj彡Mj，Mj表示在第j个尺度下Icirg中的四边形网格的总个数表示在第j个尺度下1。^中的四边形网格的尺寸大小，符号‘”:为向下取整运算符号：对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，的水平坐标位置和垂直坐标位置来描述，的水平坐标位置和垂直坐标位置来描述，的水平坐标位置和垂直坐标位置来描述，的水平坐标位置和垂直坐标位置来描述，[0028]步骤四：根据在每个尺度下Iorg中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定在相同尺度下Iori^的每个四边形网格在Ire冲匹配的四边形网格，将在第j个尺度下在Iret中匹配的四边形网格记为然后计算在每个尺度下Iorg中的每个四边形网格的相似性变换矩阵，将UkQj的相似性变换矩阵记为对应表不z的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点亦表示在第j个尺度下在Iret中匹配的网格顶点亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点亦表示在第j个尺度下在Iret中匹配的网格顶点，的水平坐标位置和垂直坐标位置来描述，的水平坐标位置和垂直坐标位置来描述，*的水平坐标位置和垂直坐标位置来描述的水平坐标位置和垂直坐标位置来描述，对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，I对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，对应表牙的SIFT-Flow向量的水平偏移量和垂直偏移量，对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，[0029]步骤五:采用现有的分层显著性检测Hierarchicalsaliencydetection模型提取出Ιπ的视觉显著图，记为{Sox，y};然后根据在每个尺度下Icirg中的所有四边形网格的相似性变换矩阵，并结合{Sox，y}，计算在每个尺度下Icirg的结构失真，将在第j个尺度下1_的结构失真记为并根据在每个尺度下1_中的每个四边形网格在Iret中匹配的四边形网格，并结合{Sox，y}和，计算在每个尺度下Icirg的内容损失，将在第j个尺度下IOTg的内容损失记为.：其中，SQx，y表示{SQx，y}中坐标位置为x，y的像素点的像素值。[0030]在此具体实施例中，步骤五中的.:的计算过程为：[0031]A1、根据在第j个尺度下Icirg中的每个四边形网格的相似性变换矩阵，计算在第j个尺度下I。rg中的每个四边形网格的几何失真，将的几何失真记为其中对应表示中的第1个元素、第2个元素、第4个元素、第5个元素。[0032]A2、根据在第j个尺度下Icirg中的每个四边形网格的几何失真，并结合{Sox，y}，计算得到；其中，Sokj表示中的所有像素点的视觉显著值的均值，也即表示{SoX，y}中与对应的区域中的所有像素点的像素值的均值，exp表示以自然基数e为底的指数函数，e=2.71828183…。[0033]在此具体实施例中，步骤五中的fcjL的计算过程为其中，Sokj表示中的所有像素点的视觉显著值的均值，也即表示{Sox，y}中与对应的区域中的所有像素点的像素值的均值表示计算Iorg中与对应的区域中的所有非空洞像素点所占的区域面积大小，即为计算Iorg中与对应的区域中的所有非空洞像素点与Icirg中与对应的区域中的所有像素点的比例大小，Icirg中的所有空洞像素点的确定采用现有技术，除空洞像素点外的其它像素点均为非空洞像素点，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小，BP为计算中与1寸应的区域中的所有非空洞像素点与中与’对应的区域中的所有像素点的比例大小，中的所有空洞像素点的确定采用现有技术，除空洞像素点外的其它像素点均为非空洞像素点。[0034]步骤六:根据在3个尺度下1^的结构失真和内容损失，获取Ire3t的特征矢量，记为其中，F的维数为6X1，表示将连接起来形成一个特征矢量对应表示在第1个尺度下Icirg的结构失真、在第2个尺度下Icirg的结构失真、在第3个尺度下Icirg的结构失真，对应表示在第1个尺度下Icirg的内容损失、在第2个尺度下Icirg的内容损失、在第3个尺度下的内容损失。[0035]步骤七:将η’幅原始图像对应的共η幅重定位图像构成重定位图像集合;然后采用现有的主观质量评价方法，获取重定位图像集合中的每幅重定位图像的主观评分差值，将重定位图像集合中的第81幅重定位图像的主观评分差值记为并按照步骤一至步骤六的过程，以相同的方式获取重定位图像集合中的每幅重定位图像的特征矢量，将重定位图像集合中的第gi幅重定位图像的特征矢量记为其中，η’1，在本实施例中取n’=57，n1，在本实施例中取的维数为6XI。[0036]步骤八:随机选择重定位图像集合中的m幅重定位图像构成训练集，将重定位图像集合中剩余的n-m幅重定位图像构成测试集;然后将训练集中的所有重定位图像的特征矢量和主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量w°pt和最优的偏置项b°pt;再利用得到的最优的权重矢量w°pt和最优的偏置项b°pt，构造重定位图像的支持向量回归训练模型，记为；其中，1彡m〈n，f〇为函数表示形式，Finp表示重定位图像的支持向量回归训练模型的输入矢量，为重定位图像的特征矢量，Finp的维数为6X1，为w°pt的转置，9¾表示重定位图像的支持向量回归训练模型的输入矢量Finp的线性函数。[0037]步骤九:将测试集中的所有重定位图像的特征矢量构成测试样本数据集合;然后根据构造得到的重定位图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位图像的客观质量评价预测值记为其中，q为正整数：表示测试样本数据集合中的第q个特征矢量，Fq的维数为表示测试样本数据集合中的第q个特征矢量的线性函数。[0038]步骤十:重复执行步骤八至步骤九共X次，并使重定位图像集合中的每幅重定位图像至少有一次属于测试集，经过X次执行后计算重定位图像集合中的每幅重定位图像的若干个客观质量评价预测值的平均值，再将重定位图像集合中的每幅重定位图像的客观质量评价预测值的平均值作为该幅重定位图像的最终的客观质量评价预测值;其中，X的取值大于或等于1〇〇。[0039]为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。[0040]在本实施例中，采用本发明方法对香港中文大学建立的重定位图像数据库进行测试，该重定位图像数据库包含57幅原始图像，从10种不同重定位方法中随机选择3种方法对每幅原始图像进行重定位操作，这样该重定位图像数据库共有171幅重定位图像，并给出了每幅重定位图像的主观评分差值。这里，利用评估图像质量评价方法的4个常用客观参量作为深度感知评价指标，即非线性回归条件下的Pearson相关系数（PearsonIinearcorrelationcoefficient，PLCC、Spearman相关系数（Spearmanrankordercorrelationcoefficient，SROCC、均方误差（rootmeansquarederror，RMSE、异常值比率指标OutlierRatio，0R，PLCC和RMSE反映重定位图像的客观评价结果的准确性，SROCC反映其单调性，OR反映其离散程度。[0041]将采用本发明方法计算得到的570幅重定位图像各自的最终的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高、RMSE和OR值越小说明客观评价方法与主观评分差值相关性越好。表1给出了采用本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性，从表1中可以看出，采用本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。[0042]表1采用本发明方法得到的客观质量评价预测值与主观评分差值之间的相关性

权利要求：1.一种重定位图像质量评价方法，其特征在于包括以下步骤：步骤一：令Wg表示原始图像Ht表示Icirg对应的重定位图像;将Wg中坐标位置为X，y的像素点的像素值记为IorgX，y，将Iret中坐标位置为X’，y的像素点的像素值记为IretX，y;其中表不Iorg的宽度，W表不Iret的宽度，H表不Iorg和Iret的尚度；步骤二:采用SIFT-FIow方法建立Wg与Iret之间的匹配关系，得到Wg中的每个像素点的SIFT-Flow向量，将Icirg中坐标位置为（x，y的像素点的SIFT-Flow向量记为;然后根据Icirg中的所有像素点的SIFT-Flow向量，从1^中重构得到重定位图像，记为，将中坐标位置为的像素点的像素值记为再找出中的所有空洞像素点，并将值〇作为中的每个空洞像素点的像素值;其中，ί用于表示水平方向，55用于表示垂直方向：I表示VQX，y的水平偏移量，表示的垂直偏移量，中的“=”为赋值符号；步骤三:在3个不同尺度下将Icirg分别分割成多个互不重叠的四边形网格，将在第j个尺度下Icirg中的第h个四边形网格记为以其左上、左下、右上和右下4个网格顶点的集合来描述：其中，j=l，2,3，h为正整数表示在第j个尺度下Icirg中的四边形网格的总个数，表示在第j个尺度下Icirg中的四边形网格的尺寸大小符号‘为向下取整运算符号对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述以的水平坐标位置和垂直坐标位置来描述步骤四：根据在每个尺度下Icirg中的每个四边形网格的所有网格顶点的SIFT-Flow向量，确定在相同尺度下1_中的每个四边形网格在Iret中匹配的四边形网格，将在第j个尺度下在Iret中匹配的四边形网格记为；然后计算在每个尺度下Urg中的每个四边形网格的相似性变换矩阵，将的相似性变换矩阵记为其中对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，亦表示在第j个尺度下在Iret中匹配的网格顶点，的水平坐标位置和垂直坐标位置来描述，的水平坐标位置和垂直坐标位置来描述，；的水平坐标位置和垂直坐标位置来描述的水平坐标位置和垂直坐标位置来描述，:寸应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，对应表示的SIFT-Flow向量的水平偏移量和垂直偏移量，为的转置的逆的维数为6X1;步骤五:采用分层显著性检测模型提取出Icirg的视觉显著图，记为{Sox，y};然后根据在每个尺度下Icirg中的所有四边形网格的相似性变换矩阵，并结合{Sox，y}，计算在每个尺度下Icirg的结构失真，将在第j个尺度下1^的结构失真记为；并根据在每个尺度下Icirg中的每个四边形网格在Iret中匹配的四边形网格，并结合{Sox，y}和计算在每个尺度下Icirg的内容损失，将在第j个尺度下1^的内容损失记为.其中，S〇x，y表示{S〇x，y}中坐标位置为X，y的像素点的像素值；步骤六：根据在3个尺度下1。^的结构失真和内容损失，获取Ire3t的特征矢量，记为F，其中，F的维数为表示将连接起来形成一个特征矢量对应表示在第1个尺度下Icirg的结构失真、在第2个尺度下Icirg的结构失真、在第3个尺度下Icirg的结构失真，对应表示在第1个尺度下Icirg的内容损失、在第2个尺度下Icirg的内容损失、在第3个尺度下Iorg的内容损失；步骤七:将η’幅原始图像对应的共η幅重定位图像构成重定位图像集合;然后采用主观质量评价方法，获取重定位图像集合中的每幅重定位图像的主观评分差值，将重定位图像集合中的第gl幅重定位图像的主观评分差值记为：并按照步骤一至步骤六的过程，以相同的方式获取重定位图像集合中的每幅重定位图像的特征矢量，将重定位图像集合中的第81幅重定位图像的特征矢量记为其中，的维数为6X1;步骤八:随机选择重定位图像集合中的m幅重定位图像构成训练集，将重定位图像集合中剩余的n-m幅重定位图像构成测试集;然后将训练集中的所有重定位图像的特征矢量和主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量w°pt和最优的偏置项b°pt;再利用得到的最优的权重矢量w°pt和最优的偏置项b°pt，构造重定位图像的支持向量回归训练模型，记为f:其中，1彡m〈n，f〇为函数表示形式，？_表示重定位图像的支持向量回归训练模型的输入矢量，为重定位图像的特征矢量，Finp的维数为6X1，（w°ptTSw°pt的转置表示重定位图像的支持向量回归训练模型的输入矢量Finp的线性函数；步骤九:将测试集中的所有重定位图像的特征矢量构成测试样本数据集合;然后根据构造得到的重定位图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位图像的客观质量评价预测值记为其中，q为正整数表示测试样本数据集合中的第q个特征矢量，Fq的维数为表示测试样本数据集合中的第q个特征矢量的线性函数；步骤十:重复执行步骤八至步骤九共X次，并使重定位图像集合中的每幅重定位图像至少有一次属于测试集，经过X次执行后计算重定位图像集合中的每幅重定位图像的若干个客观质量评价预测值的平均值，再将重定位图像集合中的每幅重定位图像的客观质量评价预测值的平均值作为该幅重定位图像的最终的客观质量评价预测值;其中，X的取值大于或等于100。2.根据权利要求1所述的一种重定位图像质量评价方法，其特征在于所述的步骤五中的的计算过程为：A1、根据在第j个尺度下Icirg中的每个四边形网格的相似性变换矩阵，计算在第j个尺度下中的每个四边形网格的几何失真，将的几何失真记为，其中对应表示中的第1个元素、第2个元素、第4个元素、第5个元素；A2、根据在第j个尺度下Icirg中的每个四边形网格的几何失真，并结合{Sox，y}，计算得至ί其中，Sokj表示中的所有像素点的视觉显著值的均值，也即表示{SoX，y}中与对应的区域中的所有像素点的像素值的均值，exp表示以自然基数e为底的指数函数。3.根据权利要求1或2所述的一种重定位图像质量评价方法，其特征在于所述的步骤五中的的计算过程为：其中，Sokj表示中的所有像素点的视觉显著值的均值，也即表示{Sox，y}中与对应的区域中的所有像素点的像素值的均值表示计算Icirg中与对应的区域中的所有非空洞像素点所占的区域面积大小：表示计算对应的区域中的所有非空洞像素点所占的区域面积大小。

百度查询： 宁波大学 一种重定位图像质量评价方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD