申请/专利权人：北京工业大学

申请日：2020-03-03

公开（公告）日：2024-04-09

公开（公告）号：CN111340814B

主分类号：G06T7/10

分类号：G06T7/10;G06V10/26;G06V10/764;G06N3/0464;G06N3/048;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2020.07.21#实质审查的生效;2020.06.26#公开

摘要：本发明涉及一种基于多模态自适应卷积的RGB‑D图像语义分割方法，包括：编码模块分别提取RGB图像特征和深度图像特征；将RGB特征和深度特征送入融合模块进行融合；其中，首先将多模态特征输入多模态自适应卷积生成模块，计算出两个不同尺度的多模态自适应卷积核；然后，多模态特征融合模块将RGB特征和深度特征分别与自适应卷积核进行深度可分离卷积运算，得到自适应卷积融合特征；将其与RGB特征和深度特征拼接起来得到最终融合特征；解码模块对最终融合特征连续上采样，经过卷积操作得到语义分割结果；本发明使得多模态特征通过自适应卷积协同交互，其卷积核参数根据输入的多模态图像动态调整，相比传统固定参数的卷积核更加灵活。

主权项：1.一种基于多模态自适应卷积的RGB-D图像语义分割方法，其特征在于，包括：1编码模块分别提取RGB图像的RGB特征Frgb和深度图像的深度特征Fdepth，其中，所述的RGB图和深度图是相同场景的成对图像；2将RGB特征Frgb和深度特征Fdepth送入融合模块进行多模态特征融合，得到融合特征Flast，具体包括：首先将RGB特征和深度特征输入多模态自适应卷积生成模块生成两个不同尺度的多模态自适应卷积核；然后，将RGB特征Frgb、深度特征Fdepth、以及两个多模态自适应卷积核输入多模态特征融合模块得到自适应卷积融合特征Ffusion；最后将RGB特征Frgb、深度特征Fdepth与Ffusion在通道维度进行拼接，得到最终融合特征Flast；3解码模块用于对自适应卷积融合特征进行上采样恢复图像分辨率，得到语义分割概率图：首先使用卷积对最终的融合特征Flast进行降维，然后使用转置卷积逐步上采样恢复尺寸，最后使用卷积和Softmax操作得到语义分割概率图；4训练阶段使用反向传播训练此算法，得到最终的语义分割网络模型；5测试阶段输入新的图像，在已训练好的模型中前向传播输出语义分割结果；所述的多模态自适应卷积生成模块包括：首先将编码模块提取的大小为H×W×C的RGB特征Frgb，以及大小为H×W×C的深度特征Fdepth在通道维度进行拼接，得到大小为H×W×2C的拼接特征Fconcat；然后分别使用两个不同尺度的自适应平均池化操作对拼接特征进行池化，得到两个不同尺度的池化特征；使用1×1卷积操作分别对两个尺度的池化特征进行卷积，将其在通道维度降维，得到两个不同尺度的多模态自适应卷积核。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于多模态自适应卷积的RGB-D图像语义分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD