申请/专利权人：西北工业大学

申请日：2023-12-22

公开（公告）日：2024-03-22

公开（公告）号：CN117746040A

主分类号：G06V10/26

分类号：G06V10/26;G06V10/80;G06V10/82;G06N3/0455;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明提供了一种语义知识引导的渐进式多模态特征融合语义分割方法，主要解决由于不同模态的数据存在较大的差异导致出现严重的模态依赖、数据异构和语义差异问题。为了平衡不同模态数据的优化过程，本发明采用两阶段训练范式，首先采用双分支编码器对学习到的特征进行解耦，再采用渐进式融合策略，使网络有效地将多模态数据中相关信息和无关信息分解；对低频特征进行弱校正，对高频特征进行强校正，有效利用不同特征的互补信息，同时消除噪声和数据异构的影响，最后，将校正后的特征融合在一起获得多模态特征。

主权项：1.一种语义知识引导的渐进式多模态特征融合语义分割方法，其特征在于：包括如下步骤：步骤S100：第一阶段训练：以多模态图像语义分割数据集为输入进行模型训练；多模态图像语义分割数据集为同一地区同一时间拍摄的两种不同模态的图像和的图像集合，其中，n＝1,2,3...n'表示多模态图像语义分割数据集中的图像编号，n′表示图像的总数量；多模态图像语义分割数据集的真实图像标签为Ln；多模态图像语义分割数据集中待分割的目标数量Nclass；步骤S101：将不同模态图像和分别输入双分支编码器，分别得到特征图Oi和Si，其中{i＝1，2，3，4}；以不同模态和为输入，使用双分支编码器处理，得到特征图Oi和Si，其中{i＝1，2，3，4}，当i＝1，2时的特征图是高频特征图，i＝3，4时的特征图是低频特征图；计算多模态图像和在相同阶段下特征图的相关系数Ri及特征图的解耦损失LossDe；步骤S102：将步骤S101得到的特征图Oi和Si输入解码器，解码得到语义分割结果predOpt和predSar；解码器采用采用双分支UNet网络结构；每个分支包括四个阶段，每个阶段通过双线性插值对特征图Oi和Si进行上采样，得到解码后的特征图和再利用跳跃连接的方法将编解码过程中相同分辨率的特征图做通道维度上的拼接，以进一步增强特征的表达能力；最后经过四个阶段的解码，双分支解码器输出两个与输入图像和相同分辨率的特征图FOpt和FSar；以FOpt和FSar为输入，利用1×1的卷积层将通道数量降到与多模态图像语义分割数据集中的待分割的目标数量Nclass一致；得到输入图像和的语义分割结果predOpt和predSar，即图中的光学预测和SAR预测；步骤S103：分别以步骤S102得到的语义分割结果predOpt和predSar以及输入图像和的真实图像标签Ln作为输入，通过深度学习框架Pytorch中的CrossEntropyLoss函数计算交叉熵损失；步骤S104：使用步骤S101得到的解耦损失和步骤S103得到的交叉熵损失作为网络优化的目标函数来进行第一阶段的训练；输入一组图像和重复步骤S101-步骤S104共进行迭代训练n'次，遍历完毕即完成一个周期的训练，第一阶段的训练总周期数为60次；步骤S200：第二阶段训练：步骤S201：调整编码器的学习率参数，执行步骤S101相同的操作，将多模态图像和输入双分支编码器得到特征图Oi和Si，其中{i＝1，2，3，4}；步骤S202：对步骤S201得到的特征图Oi和Si进行空间校正和通道校正融合，得到融合后的多模态特征图Fi，{i＝1，2，3，4}；；步骤S203：将步骤S202得到的多模态特征图Fi，{i＝1，2，3，4}输入解码器进行解码得到解码后的特征图fin；步骤S204：将步骤S203得到的解码后的特征图fin输入语义知识引导层，得到最终的语义分割结果Predall，然后以Predall与真实图像标签Ln作为输入，利用步骤S103的方法计算交叉熵损失，同时以学习到的语义知识CK和真实的语义知识标签CKtruth作为输入利用步骤S103中计算交叉熵损失的方法计算一致性损失值：步骤S205：利用步骤204中得到的交叉熵损失和一致性损失作为第二阶段训练的目标函数来进行网络的迭代优化；训练周期数设为140。

全文数据：

权利要求：

百度查询： 西北工业大学 一种语义知识引导的渐进式多模态特征融合语义分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD