申请/专利权人：中国电子科技集团公司第五十四研究所

申请日：2022-01-13

公开（公告）日：2023-09-12

公开（公告）号：CN114387439B

主分类号：G06V10/26

分类号：G06V10/26;G06V10/80;G06V10/82;G06N3/0464;G06N3/0455;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2023.09.12#授权;2022.05.10#实质审查的生效;2022.04.22#公开

摘要：本发明属于遥感图像智能应用技术领域，设计了一种基于光学和PolSAR特征融合的语义分割网络，用来实现端到端的光学和PolSAR融合地物分割任务。由双路孪生卷积特征编码器、注意力机制模块ASCAM和对称跳跃连接解码器组成。其中双路孪生卷积特征编码器采用ImageNet和大量的标注后PolSAR和光图像分别对每一路编码器进行预训练。然后设计ASCAM，通过扩张空间矩阵获取局部位置的光和PolSAR各通道对分类任务的非线性影响关系，将扩张空间矩阵与双路孪生卷积特征编码器的数据进行结合，实现了注意力对特征融合过程的加权引导。最后通过卷积实现加权后特征的融合，并设计了对称跳跃连接解码器，将融合特征与光学和PolSAR中编码过程特征进行跳跃连接，最终实现了端到端的地物分割。

主权项：1.一种基于光学和PolSAR特征融合的语义分割网络，其特征在于，包括双路孪生卷积特征编码器、注意力机制模块ASCAM以及对称跳跃连接解码器；双路孪生卷积特征编码器用于采用两路不共享参数的全卷积网络分别对光学和PolSAR影像进行独立特征提取，并将不同来源图像映射到相同维度的特征空间；注意力机制模块ASCAM用于获取并利用光学和PolSAR影像不同局部位置处的通道间关系，优化双路孪生卷积特征编码器提取的特征；对称跳跃连接解码器用于采用两层卷积操作对ASCAM输出的特征进行融合处理，并采用多个对称跳跃连接块，将融合处理后的特征分别与双路孪生卷积特征编码器中PolSAR和光学图像的编码过程特征进行拼接，得到最后的语义分割结果；其中，注意力机制模块ASCAM包括局部嵌入信息压缩模块、局部空间通道关系提取模块和特征通道选择模块；局部嵌入信息压缩模块用于将PolSAR特征X和光学特征Y进行拼接，形成特征U，并进行局部嵌入信息压缩，公式如下所示： 式中，t为压缩比，Z为将U进行压缩后的特征，m,n代表压缩后每个特征值的位置，H为压缩前输入特征的高度，W为压缩前输入特征的宽度，Fcomp·为局部嵌入信息压缩的公式名称；局部空间通道关系提取模块用于采用门机制函数Fex进行非线性通道间关系的学习，将Z转化为扩张时空矩阵V，公式如下所示： 式中，和分别表示两个全连接层，V为扩张时空矩阵；特征通道选择模块用于通过上采样将扩张时空矩阵V放大至压缩前特征U一样的大小，并通过哈达玛积将扩张时空矩阵与特征U结合，通过特征通道选择实现特征的优化过程，公式如下所示： 式中，为扩张时空矩阵V上采样后的结果，为优化后的输出。

全文数据：

权利要求：

百度查询： 中国电子科技集团公司第五十四研究所 一种基于光学和PolSAR特征融合的语义分割网络

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD