申请/专利权人：浙江大学

申请日：2023-12-25

公开（公告）日：2024-03-26

公开（公告）号：CN117764867A

主分类号：G06T5/73

分类号：G06T5/73;G06T3/4038;G06V10/80;G06V10/764;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.12#实质审查的生效;2024.03.26#公开

摘要：本发明公开了一种基于CNN‑Transformer混合模型的遥感图像全色锐化方法。本发明在全色锐化任务中集成CNN和Transformer模型，以同时提取有利于全色锐化的局部特征和全局特征，并引入局部注意机制和滑动窗口机制以提高特征提取的性能，通过浅层特征提取模块、混合特征提取模块、密集特征融合模块和图像重建模块实现全色锐化任务。与目前主流的基于深度学习的全色锐化方法相比，本发明方法融合CNN和Transformer的优点，在保留模型对图像全局特征的提取能力的同时加强对局部特征的关注，从而解决基于CNN的方法无法有效的建模长程依赖性和基于Transformer的方法难以提取局部特征的问题。

主权项：1.一种基于CNN-Transformer混合模型的遥感图像全色锐化方法，其特征在于，具体过程如下：获取一个经过训练的全色锐化模型，将待融合的全色图像和待融合的多光谱图像一起输入所述全色锐化模型中，获得融合后的高分辨率多光谱图像；所述全色锐化模型以两阶段模式实现遥感图像全色锐化，在第一阶段中将所述多光谱图像和经过两倍下采样的所述全色图像一起输入到浅层特征提取模块中，得到第一浅层特征图，所述浅层特征提取模块带有一个上采样模块和一个第一卷积层；将第一浅层特征图输入到混合特征提取模块，所述混合特征提取模块由若干个CNN-Transformer混合模块依次级联而成，并将每个CNN-Transformer混合模块的输出结果最终在通道维度上进行拼接，得到第一混合特征图；将第一混合特征图和第一浅层特征图一起输入到密集特征融合模块，先将第一混合特征图依次经过一个标准卷积层和一个第一卷积层，得到中间密集特征图，再将第一浅层特征图和中间密集特征图进行残差拼接，得到第一密集特征图；将第一密集特征图输入到图像重建模块，得到第一重建特征图，所述图像融合模块由四个第一卷积层依次级联而成；在第二阶段中将所述全色图像和第一重建特征图一起输入到所述浅层特征提取模块中，得到第二浅层特征图；将第二浅层特征图输入到所述混合特征提取模块，得到第二混合特征图；将第二混合特征图和第二浅层特征图一起输入到所述密集特征融合模块，得到第二密集特征图；将第二密集特征图输入到所述图像重建模块，得到融合后的高分辨率多光谱图像。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于CNN-Transformer混合模型的遥感图像全色锐化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD