申请/专利权人：西安电子科技大学

申请日：2022-07-24

公开（公告）日：2022-09-23

公开（公告）号：CN115100075A

主分类号：G06T5/00

分类号：G06T5/00;G06T5/50;G06T11/00;G06V10/58;G06V20/10;G06V10/80;G06V10/82;G06N3/04;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2022.10.14#实质审查的生效;2022.09.23#公开

摘要：本发明公开了一种基于光谱约束和残差注意力网络的高光谱全色锐化方法，主要解决现有技术中无法完全利用全色图像空间信息，锐化结果失真严重的问题。本发明的具体步骤如下：1生成训练集；2对低分辨率高光谱图像块进行空间对齐；3对单通道全色图像块进行光谱对齐；4构建残差注意力网络；5使用含有光谱约束的损失函数训练残差注意力网络；6使用训练好的残差注意力网络对高光谱图像进行全色锐化。本发明使了三维注意力模块和卷积模块构建残差注意力网络，并使用光谱约束的损失函数进行优化训练，具有锐化结果失真低，光谱和空间信息保留性能平衡的优点。

主权项：1.一种基于光谱约束和残差注意力网络的高光谱全色锐化方法，其特征在于，采用深度反投影网络对低分辨率高光谱图像块进行语义信息提取和空间上采样对齐，对单通道全色图像与多通道高光谱图像进行逐通道直方图匹配扩充通道和光谱对齐，构建含有不同大小卷积核的卷积模块和三维注意力模块的残差注意力网络，构造一个同时含有空间约束损失和光谱约束项的损失函数作为网络总损失函数；该高光谱全色锐化方法的步骤包括如下：步骤1.生成训练集：步骤1.1，将一张高光谱图像均分为N个互不重叠的标准高光谱图像块，N≥10；步骤1.2，根据Wald协议要求，对每个标准高光谱图像块中可见光波段逐像素求均值得到均值图像，将均值图像块作为该标准高光谱图像块的单通道全色图像块；步骤1.3，对每个标准高光谱图像下采样，得到低分辨率高光谱图像块；步骤1.4，将每个标准高光谱图像块与其对应的单通道全色图像块和低分辨率高光谱图像块组成一个样本对，取T各样本对组成训练集，1≤T≤N；步骤2.对低分辨率高光谱图像块进行空间对齐：采用深度反投影网络对低分辨率高光谱图像块进行语义信息提取和空间上采样对齐，得到T1个上采样高光谱图像块，T1＝T；步骤3.对单通道全色图像块进行光谱对齐：对单通道全色图像块与多通道高光谱图像块进行逐通道直方图匹配，得到光谱对齐后的T2多通道全色图像块，T2＝T；步骤4.构建残差注意力网络：步骤4.1，搭建一个用于抑制冗余信息的三维注意力模块，其结构依次为：通道注意力子模块、第一乘法器、空间注意力子模块、第二乘法器；所述通道注意力子模块的结构依次为：平均池化层、最大池化层、第一卷积层、第一激活函数层、第二卷积层、第二激活函数层；将平均池化层和最大池化层的计算维度均设置为1，将第一、第二卷积层的卷积核大小均设置为1*1，卷积核数量分别为16和64，滑动步长均为1，填充宽度均为0；第一激活函数层采用线性整流函数实现；第二激活函数层采用Sigmoid函数实现；所述空间注意力子模块的结构依次为：平均池化层、最大池化层、卷积层、激活函数层；将平均池化层和最大池化层的计算维度均设置为1；卷积层的卷积核大小设置为3*3，卷积核数量为1；激活函数层采用Sigmoid函数实现；当数据输入到三维注意力模块处理时，第一乘法器将通道注意力子模块的输出与原始输入数据进行相乘操作的结果，输入到空间注意力子模块，空间注意力子模块的输出结果与第一乘法器的相乘操作结果一起输入第二乘法器将空间注意力子模块进行乘法运算，得到三维注意力模块的整体输出数据；步骤4.2，搭建10个结构相同的卷积模块，每个卷积模块的结构依次为：卷积层、批标准化层、激活函数层；将第一、第二、第七、第八卷积模块中卷积层的卷积核大小均设置为1*1，卷积核数量均为64，滑动步长均为1，填充宽度均为0；将第三、第四、第五、第六卷积模块卷积层的卷积核大小均设置为3*3，卷积核数量均为64，滑动步长均为1，填充宽度均为2；将第九、第十卷积模块中卷积层的卷积核大小均设置为1*1，卷积核数量均为C，C为步骤1中高光谱图像的通道数，滑动步长均为1，填充宽度均为0；第一至第十批标准化层均采用批标准化函数实现；第一至第十激活函数层均采用线性整流函数实现；步骤4.3，将第一卷积模块、第二卷积模块、三维注意力模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块级联组成残差注意力网络；当数据输入三维注意力模块、第三、第四、第五、第六卷积模块进行处理时，使用残差运算，即将每个模块的输入特征数据和输出特征数据进行像素级数值加合作为下一模块的输入特征数据；步骤5.训练残差注意力网络：步骤5.1，用T1个上采样高光谱图像块逐像素减去与其对应的T2个多通道全色图像块中的像素值，得到T3张残差图像，T1、T2、T3的取值对应相等；步骤5.2，将所有残差图像输入到残差注意力网络中，通过网络逐级前传，输出重构后的图像；步骤5.3，用训练集样本对中的T4个标准高光谱图像块像逐素减去与其对应的T2个多通道全色图像块中的像素值，得到T5个目标图像，T4、T2、T5的取值对应相等；步骤5.4，构造一个同时含有空间约束损失和光谱约束项的损失函数作为网络总损失函数，利用Adam算法对网络总损失函数进行优化计算并迭代更新残差注意力网络参数，得到训练好的残差注意力网络；所述网络总损失函数L·如下： 其中，Θ为待训练的网络参数，LSAM·表示光谱约束损失函数,R和分别表示重构图像和目标图像，β表示两个损失项之间的权重参数，其取值为[0,10]范围内的任意实数，LMSE·表示空间约束损失函数，K表示训练集样本对的总数，Σ表示求和操作，h表示目标图像的高，w表示目标图像的宽，arccos·表示反余弦操作，和分别表示第k张重构图像中第p个像素对应的向量和第k'张目标图像中第q个像素对应的向量，k和k'的取值对应相等，p和q的取值对应相等，·,·表示内积操作，||·||2表示取L2范数操作，c表示目标图像的通道数，和分别表示第m张重构图像中第v个像素对应向量的第b个维度的值和第m'张目标图像中第u个像素对应向量的第d个维度的值，m和m'的取值对应相等，v和u的取值对应相等，b和d的取值对应相等；步骤6.对高光谱图像进行全色锐化：步骤6.1，采用与步骤2和步骤3相同的方法，对待全色锐化的高光谱图像进行处理，得到上采样高光谱图像和多通道全色图像；步骤6.2，采用与步骤5.1相同的方法，对上采样高光谱图像和多通道全色图像进行处理，得到二者的残差图像；步骤6.3，将残差图像输入到训练好的残差注意力网络中，输出重构图像，将重构图像与多通道全色图像加合，得到全色锐化后的高光谱图像。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于光谱约束和残差注意力网络的高光谱全色锐化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD