申请/专利权人：电子科技大学

申请日：2024-02-18

公开（公告）日：2024-03-19

公开（公告）号：CN117726916A

主分类号：G06V10/80

分类号：G06V10/80;G06V20/10;G06V10/82;G06N3/0464;G06V10/74;G06N3/0455;G06N3/08;G06T5/10

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本发明提供了一种图像分辨率融合增强的隐式融合方法，属于设计遥感图像融合领域；本方法采用了编码器‑解码器的网络结构，经过两阶段的精心设计。在第一阶段，通过隐式神经融合函数整合了坐标信息、空间信息和光谱信息。第二阶段则引入了傅里叶单元以提取频谱信息，通过双分支编码器实现了频谱信息和融合信息的有效交互。本发明相较于其他神经网络方法，在图像处理中实现了对图像的连续表示，成功地将空间坐标映射到像素信息上，并在融合过程中充分利用了多种模态信息，取得更优越的融合效果。实验证明，这一方法在两个不同数据集上取得了先进的性能，为其他多模态融合任务提供了一个通用的典范。

主权项：1.一种图像分辨率融合增强的隐式融合方法，其特征在于，包括以下步骤：步骤1：数据集的获取及处理；获取图像数据集，对数据集里的图像进行预处理，得到低分辨率高光谱图像ILR、高分辨率多光谱图像IHR以及对应的真实像素值图像IGT，并划分训练数据集与测试数据集；步骤2：编码及多模态信息生成；首先低分辨率高光谱图像ILR经过双三次插值得到上采样后的低分辨率高光谱图像ILR_up；然后将上采样后的低分辨率高光谱图像ILR_up与高分辨率多光谱图像IHR在通道维度拼接在一起，得到拼接特征Cat（ILR_up,IHR）；将低分辨率高光谱图像ILR与拼接特征Cat（ILR_up,IHR）分别输入光谱编码函数和空间编码函数，计算光谱模态特征Spe和空间模态特征Spa；将像素的中心位置表示为像素的坐标点，并将坐标图缩放成大小为2×2的正方形网格，得到高分辨域的归一化二维坐标图XHR，进而获得查询坐标xq和最临近坐标xq,i的相对位置，得到坐标模态信息；步骤3：隐式神经图像插值进行第一阶段的融合；将步骤2得到的光谱模态特征Spe、空间模态特征Spa和坐标模态特征在通道维度进行拼接，利用隐式特征融合函数求得像素的插值像素值vq,i及相似性权重wq,i，然后进行相似性特征集成，获得融合特征图；步骤4：解码阶段；将由高分辨率多光谱图像IHR经过一个傅里叶单元获得的频谱响应信息与编码输出融合特征图同时输入双分支解码器Decoder进行融合，上支以融合特征为输入，下支以频谱特征为输入，融合过程中上支使用ReLU激活函数激活非线性，下支使用complexGabor小波激活函数激活非线性，得到解码阶段的输出；步骤5：得到输出；采用长跳线连接的方式将步骤4得到的输出与上采样后的低分辨率高光谱图像ILR_up逐元素相加，得到融合结果；经过训练与测试后，得到最终的融合结果。

全文数据：

权利要求：

百度查询： 电子科技大学 一种图像分辨率融合增强的隐式融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD