申请/专利权人：山东师范大学

申请日：2021-04-07

公开（公告）日：2024-04-12

公开（公告）号：CN113191991B

主分类号：G06T5/50

分类号：G06T5/50;G06V10/40;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2021.08.17#实质审查的生效;2021.07.30#公开

摘要：本发明属于图像融合领域，提供了一种基于信息瓶颈的多模态图像融合方法、系统、设备和介质。其中，该融合方法包括获取红外与可见光多模态图像；预处理每对红外与可见光多模态图像；提取预处理后的每对红外与可见光多模态图像的特征；利用信息瓶颈层对每对红外与可见光多模态图像的特征进行筛选；融合筛选的红外与可见光多模态图像特征，得到融合特征图；对融合特征图进行重建，得到融合图像。

主权项：1.一种基于信息瓶颈的多模态图像融合方法，其特征在于，包括：获取红外与可见光多模态图像；预处理每对红外与可见光多模态图像；所述预处理每对红外与可见光多模态图像的操作包括：图像增强操作和图像归一化操作；提取预处理后的每对红外与可见光多模态图像的特征；具体地，构建用于融合的卷积神经网络基本单元，特征提取网络由多层卷积层和密集块构成，每层的输出作为下一层的输入，网络的第一层用来提取源图像的粗特征，后几层用于提取源图像的细特征；引入卷积层而没有下采样，以保持输入和输出的大小相同；遵循深卷积GAN的规则进行批量归一化和激活函数的设置；利用编码网络中每一层的结果来构造特征图；利用信息瓶颈原理筛选的红外与可见光多模态图像特征，获得两种不同模态互补且有用的信息，得到融合特征图；利用信息瓶颈层对每对红外与可见光多模态图像的特征进行筛选，保留多模态数据有用的信息；具体地，训练编码器保留与预测标签相关的所有信息，同时最小化表示中的其他多余信息量；融合筛选的红外与可见光多模态图像特征，得到融合特征图；利用特征融合网络融合筛选的红外与可见光多模态图像特征，所述特征融合网络包含多个卷积层；具体地，把特征提取网络和信息瓶颈层限制的特征图通过设定融合原则融合起来，得到最后的融合图像；运用加权平均融合策略进行特征融合，加权平均策略表示为： 在网络中，代表特征图的数量，表示特征提取后获得的特征图，表示提取到的红外图像的特征图，表示提取到的可见光图像的特征图，表示融合后的图像与特征图对应的位置，表示特征图的权值，表示融合后的特征图；对融合特征图进行重建，得到融合图像。

全文数据：

权利要求：

百度查询： 山东师范大学 基于信息瓶颈的多模态图像融合方法、系统、设备和介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD