申请/专利权人：大连理工大学

申请日：2021-01-21

公开（公告）日：2021-05-07

公开（公告）号：CN112767418A

主分类号：G06T7/11(20170101)

分类号：G06T7/11(20170101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2022.10.14#授权;2021.05.25#实质审查的生效;2021.05.07#公开

摘要：本发明属于计算机视觉中的场景分割技术领域，基于深度感知的镜子图像分割方法。PDNet先后包含多层特征提取器、定位模块和描绘模块，其中多层特征提取器使用传统的特征提取网络获取上下文特征；定位模块将RGB特征信息结合深度特征信息来初步确定图像中镜子的位置；描绘模块则在图像RGB特征信息的基础上，结合深度信息来调整、确定镜子的边界。本方法是首个同时使用RGB图像和深度图像来实现图像中镜子分割的方法。本发明还进行了进一步的测试，对于复杂环境中面积较大的镜子，PDNet分割结果仍然优秀，并且镜子边界处的结果也令人满意。本方法的适用性更广泛。

主权项：1.一种基于深度感知的镜子图像分割方法，其特征在于，步骤如下：步骤1构建新的镜子分割数据集RGBD-Mirror构建带有深度信息的镜子分割数据集，其中有多张带有镜子的RGB彩色图像，及其相对应的深度图像和人工标注的镜子掩膜图像；镜子分割数据集包括日常生活场景中场景不同、样式不同、位置不同以及数量不同的镜子的图像，随机划分为训练集和测试集；步骤2构建PDNet网络镜子分割网络PDNet主要由多等级特征提取器、一个定位模块和三个描绘模块组成；多层特征提取器的输入是步骤1所述镜子分割数据集中的训练集部分的RGB图像及其对应深度图像；多层特征提取器基于具有特征提取能力的ResNet-50网络实现；为了提高计算效率，在将提取的RGB特征和深度特征通过附加的通道缩减卷积操作后依次分等级送入一个定位模块和三个描绘模块；定位模块结合深度信息和RGB信息来初步确定图像中镜子的位置，同时用于指导描绘模块的相应功能；定位模块为基于RGB和深度的全局和局部不连续性和相关性线索的网络，其包含一个不连续性感知分支和一个相关性感知分支；不连续性感知分支提取并融合RGB域、深度域和两者的联合域的不连续性特征Dr、Dd和Drd，这三个特征都由同样的不连续性块提取并将局部和全局的不连续性特征Dl和Dg相加获得，即对于给定的特征F，所得局部不连续性特征定义为：Dl＝RNflF，Θl-fsF，Θs其中，fl使用卷积核大小为3扩张率为1的卷积从局部区域提取特征，fs使用卷积核大小为5扩张率为2的卷积从周围区域提取特征，两者做差后使用批止则化和ReLU激活处理；对于特定视角下反射内容和周围环境没有重叠的情形，使用全局不连续性特征表示：Dg＝RNflF，Θl-fgGF，Θg其中，G是全局平均池化操作，fg使用卷积核大小为1的卷积，fl和fg的结果做差后同样使用批正则化和ReLU激活处理；这样提取到的Dr、Dd和Drd被融合形成不连续性感知分支的输出：DDPB＝RNψ3×3[Dr，Dd，Drd]其中，[·]表示通道维度上的联合操作，ψt×t表示卷积核大小为t的卷积操作；相关性感知分支从RGB域和深度域挖掘镜子内外的相关性线索；本方法设计了动态加权，使用可学习的参数根据融合的质量调整输入域在融合过程中的重要性：Y＝gFrdαkFr+βkFd， kF＝softmaxθFTφF，gF＝ψ1×1F，θF＝ψ1×1F，φF＝ψ1×1F， μF＝ψ1×1RNψ1×1GF其中，Fr和Fd是输入的RGB和深度特征，α和β是动态权重；为了增强容错率，本方法使用可学习的缩放参数γ来进行加权残差连接，即将上述两个分支的输出结果DDPB和CCPB进行像素级的加法，即为定位模块的输出；描绘模块使用定位模块或者上一级描绘模块的输出，结合RGB和深度特征信息，优化镜子的边界；描绘模块的核心部分被设计为三个描绘块，三个描绘块使用RGB和深度上的局部不连续性来描绘镜子的边界；对于给定的前一定位模块或描绘模块的输出F和对应层的多层特征提取器的输出Fh，描绘模块的计算如下： Fhg＝U2RNψ3×3Fh其中，U2是因子为2的线性上采样；和前面不连续块的输出结果处理方式一样，对RGB域、深度域和两者的联合域的描绘块输出结果Dr、Dd和Drd，按照如下方式计算描绘模块的最终输出：TDM＝RNψ3×3[Dr，Dd，Drd]步骤3训练过程在训练时，首先将数据集的训练集数据送入网络的多等级特征提取器，提取的结果先后分等级送入一个镜子定位模块和三个镜子描绘模块；然后定位模块结合RGB特征和深度特征对图像中的镜子进行初步定位，描绘模块结合RGB域、深度域、RGB和深度混合域的特征确定镜子的边界；为提升训练效果，定位模块和描绘模块在训练过程中的预测结果均受到训练集中对应的人工标注的掩膜图像的监督，本方法计算标注的掩膜G和四个模块生成的特征预测分割图S之间损失的方法如下：L＝wblbceS，G+wiliouS，G+weledgeS，G其中lbce是二元交叉熵损失，liou是map级的IoU损失，ledge是patch级的边界保存损失；每种损失的对应权重设置为wb＝1，wi＝1，we＝10；最终的损失函数定义为：Loverall＝Lpm+2Ldm3+3Ldm2+4Ldm1从而引导PDNet能够根据输入的RGB和其对应深度图像来生成最终更为精确的镜子分割结果。

全文数据：

权利要求：

百度查询： 大连理工大学 基于深度感知的镜子图像分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD