申请/专利权人：西安理工大学

申请日：2021-05-12

公开（公告）日：2023-01-24

公开（公告）号：CN113284100B

主分类号：G06T7/00

分类号：G06T7/00;G06T3/40;G06V10/44;G06V10/82;G06V10/764;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2023.01.24#授权;2021.09.07#实质审查的生效;2021.08.20#公开

摘要：本发明公开了基于恢复图像对混合域注意力机制的图像质量评价方法，在失真图像的基础上，利用微调的生成对抗网络模型生成相应的恢复图像作为失真图像的补偿信息，弥补NR‑IQA方法缺少真实参考信息的劣势；失真图像与恢复图像组成恢复图像对，利用改进的Resnet50网络提取恢复图像对的深层语义特征，并将其输入到注意力模块提取恢复图像对的混合域注意力特征；最后融合恢复图像对的深层特征与注意力特征，将融合特征映射到由全连接层组成的回归网络中，从而产生与人类视觉一致的质量预测。本发明对数据集中的单一失真类型也具有稳定的性能，与人类主观感知表现一致。

主权项：1.基于恢复图像对混合域注意力机制的图像质量评价方法，其特征在于，具体步骤如下：步骤1，首先利用生成对抗网络在失真图像的基础上生成恢复图像，作为失真图像的补偿信息，失真图像为原始图像经失真操作后获得；步骤2，将经步骤1得到的恢复图像与对应失真图像组成的恢复图像对输入到以Resnet50为主干的特征提取网络中，分别提取恢复图像对的深层语义特征；所述特征提取网络主要由多层注意力模块堆叠而成，每个注意力模块包含两个分支，主干分支与掩码分支；其中主干分支是Resnet50卷积神经网络模型，掩码分支通过对特征图的处理输出维度一致的注意力特征图，然后使用点乘操作将掩码分支的两个注意力特征图融合；步骤3，将经步骤2得到恢复图像对的语义特征输入到混合域注意力特征提取网络中，提取二者的混合域注意力特征；步骤3具体为：将经步骤2得到的恢复图像对的特征图分别输入到掩码分支两个注意力模块中，提取恢复图像对的混合域注意力特征图；步骤3.1：将经步骤2得到的恢复图像对的特征图输入到空间注意力模块中，首先应用卷积层获取降维特征，然后生成空间注意力模型；由于失真图像与恢复图像的深层语义特征分别为A1、A2，则定义恢复图像对的深层特征为A；将恢复图像对的深层语义特征A输入到一个卷积层，分别生成两个新的映射B与C，其中{B,C}∈RC×H×W，再将其重塑为RC×N，其中N＝H×W是像素的数量，在B与C的转置之间进行矩阵乘法，并应用一个softmax层来计算空间注意力特征S： 式中：Sji表示第i个位置对第j个位置的空间注意力影响，Bi为映射B的第i个元素、Cj为映射C的对第j个元素，两个位置的特征表示越相似，表明二者的相关性越大；同时，将恢复图像对的深层语义特征A输入到另一个卷积层，生成新的特征映射M∈RC×H×W，并将其重塑为RC×N，接下来在M与S转置之间进行矩阵乘法操作，将其重塑为RC×H×W，对A进行像素级求和运算，最终得到空间注意力输出特征Fi： 式中：α为权重，初始化为0；Mi为映射M的第i个元素，Aj为特征集A中的第j个元素；步骤3.2：将经步骤2得到的恢复图像对的特征图输入到通道注意力模块中；计算通道注意力X∈Rp×p： 式中：Xj′i′表示第i′个通道对第j′个通道的通道注意力影响，Ai′为第i′个通道的特征；此外，在X与A转置之间执行矩阵乘法，将结果重塑为Rp×H×W；然后乘以β，并执行像素级求和运算，最终得到通道注意力输出特征 式中：α为权重，初始化为0；步骤3.3：将空间注意力输出特征Fi和通道注意力输出特征Fj通过卷积层进行转换，然后进行元素求和来实现特征融合，最终得到混合域注意力特征F；步骤4，将经步骤2与步骤3分别得到的恢复图像对的深层语义特征与混合域注意力特征使用拼接方式进行融合，得到二者的融合特征；步骤4具体为：将经步骤2得到的恢复图像对的深层语义特征与经步骤3得到的恢复图像对的混合域注意力特征融合，再以拼接方式融合恢复图像对的特征，得到最终输入到回归网络的融合特征fc；fc＝concatf2,f1,f2-f18其中，f1为失真图像融合特征、f2为恢复图像融合特征；步骤5，将经步骤4得到的融合特征输入到回归网络中，回归网络主要由全连接层组成，最终得到图像的预测得分。

全文数据：

权利要求：

百度查询： 西安理工大学 基于恢复图像对混合域注意力机制的图像质量评价方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD