申请/专利权人：北京航空航天大学

申请日：2024-01-26

公开（公告）日：2024-04-26

公开（公告）号：CN117934845A

主分类号：G06V10/26

分类号：G06V10/26;G06V10/52;G06V10/77;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明提出了一种结合曝光特征的夜晚图像语义分割模型。该方法首先设计目标特征增强提取阶段，通过曝光特征提取模块和目标特征增强模块来学习夜晚光照特征，根据光照分布与目标损失程度的关系，对目标特征进行增强，使模型可以学习到更丰富的目标特征，减少夜晚场景带来的目标特征损失；其次，在上下文信息融合阶段，通过将上下文信息提取模块中提取到的语义特征图，加入到曝光注意力模块，对提取到的上下文信息进行加权，使模型可以在曝光问题区域更依赖上下文信息，学习到更有效的语义特征；最后，在解码阶段融合高层语义特征与低层特征，补充下采样过程中丢失的细节信息，提高语义分割精度。该方法可以捕捉到更多的夜晚图像特征，把握目标的边缘细节信息，有效地提升语义分割网络在夜晚场景的分割精度，实现更准确的语义分割。

主权项：1.一种结合曝光特征的夜晚图像语义分割模型，其特征在于包括如下步骤：分为三个阶段，分别是目标特征增强提取阶段、上下文信息融合阶段和解码阶段；首先，在目标特征增强提取阶段，图像经过目标特征增强模块得到目标增强特征图f，经过曝光特征提取模块得到曝光特征图fE；然后，在上下文信息融合阶段，目标增强特征图f输入到上下文信息提取模块进行多尺度池化，然后再降维拼接，得到包含上下文信息的语义特征图fI，同时将曝光特征图fE输入曝光注意力模块，计算出曝光注意力矩阵WE，利用曝光注意力矩阵WE对包含上下文信息的语义特征图fI进行加权，得到最终的加权上下文特征图f′I，再将加权上下文特征图f′I与目标特征增强提取阶段得到的目标增强特征图f进行拼接降维，获得上下文融合特征图fend用于解码；最后，在解码阶段，融合fend与目标特征增强模块中提取到的浅层特征利用浅层特征恢复高层语义信息中缺失的细节信息来进行语义分割，最终得到语义分割结果；1.1目标特征增强提取：在目标特征增强提取阶段，网络模型包括目标特征增强模块、曝光特征提取模块；曝光特征提取模块的输入为一维的HSV空间的V通道图像，即原图像的光照强度图；在曝光特征提取模块中，V通道图像会输入到骨干网格ResNet50中，逐次通过骨干网络ResNet50的S1、S2、S3、S4阶段，S1阶段从图像中提取曝光特征再将输入到S2阶段，提取曝光特征以此类推，最后在S4阶段输出曝光特征图fE；目标特征增强模块的输入是RGB图像，输入的图像会逐次通过骨干网络ResNet50的S1、S2、S3、S4阶段；在目标特征增强模块中，S1阶段从RGB图像提取目标特征fS1，然后将fS1和曝光特征提取模块在S1阶段提取到的一起输入到目标特征增强结构G1中，对提取到的目标特征fS1进行增强，输出增强后的目标特征再将输入到S2阶段，提取目标特征fS2，进行同样的目标特征增强操作，最后将增强的目标特征输入到S3阶段中，进行目标特征提取之后再输入到S4阶段，最后输出目标增强特征图f；目标特征增强提取阶段分别输出目标增强特征图与曝光特征图，即f与fE；1.2上下文信息融合：在上下文信息融合阶段，设计上下文信息提取模块，通过对目标增强特征图f进行不同尺度的池化操作得到多尺度上下文信息，然后将多尺度上下文信息通过一个卷积层进行降维，再将其通过上采样还原到原特征图大小，进行特征拼接、1×1的卷积层conv进行降维，得到包含上下文信息的语义特征图fI；同时，将曝光特征图fE输入到曝光注意力模块，计算出曝光注意力矩阵WE；利用曝光注意力矩阵对包含上下文信息的语义特征图fI进行加权，得到最终的加权上下文特征图f′I；然后将目标特征增强提取阶段得到的目标增强特征图f与加权上下文特征图f′I维度拼接，拼接后再通过一个卷积层对通道维度进行降维，最终获得上下文融合特征图fend用于解码；1.3解码阶段：在解码阶段，首先输入上下文融合特征图fend进行上采样，将上采样的输出作为高层语义信息fhigh，结合目标特征增强模块中G1阶段提取到的浅层特征来恢复高层语义信息中缺失的细节信息，然后通过一个卷积层进行特征融合，最后进行双线性插值上采样，并通过全连接层得到输出的语义分割结果。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种结合曝光特征的夜晚图像语义分割模型

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD