申请/专利权人：沈阳工业大学

申请日：2021-10-22

公开（公告）日：2022-01-21

公开（公告）号：CN113962858A

主分类号：G06T3/40(20060101)

分类号：G06T3/40(20060101);G06T7/73(20170101);G06N3/04(20060101);G06N3/08(20060101);G06N20/00(20190101)

优先权：

专利状态码：在审-实质审查的生效

法律状态：2022.02.15#实质审查的生效;2022.01.21#公开

摘要：一种多视角深度获取方法，涉及计算机视觉领域和深度学习技术领域，使用机器学习的方式求深度图，对宽基线等拍摄角度问题及粗糙区域，弱纹理区域，遮挡等复杂的纹理和光影问题有更好的鲁棒性。在特征提取模块引入了CBAM注意力机制，从通道维度和空间维度两个方向整理每次卷积得到的特征。使用特征提取Unet结构中的跳层连接保证了高层信息不被覆盖，同时兼顾获取低层信息。特征提取Unet配合CBAM注意力机制充分考虑不同视角几何映射的关系，提高了特征提取模块对不同视角特征的识别能力。在代价正则化部分使用3D卷积和双向长短期记忆LSTM组合的方式，从深度维度和通道维度两个方面正则化三维方差特征，从而提高网络的处理，生成速度快。

主权项：1.一种多视角深度获取方法，其特征在于：该方法包括：图像输入：同一相机在多个位置获取多幅输入图像组成的图像序列，图像序列中图像分为一幅参考图像和多幅目标图像；图像序列通过下采样的方法得到n组不同尺度的图像序列；获取的原始图像组成的图像序列定义组数L＝0，而下采样得到的n组图像序列按照下采样的次数定义组数L分别为1,2,…,n，两者总共n+1组图像序列；将这n+1组图像序列按照尺度由小到大的顺序送入特征提取部分；特征提取：将图像输入部分获得的n+1组多尺度图像序列送入特征提取Unet提取特征；使用特征提取Unet对每一组图像序列提取特征，得到由图像序列中的多张图像获取的特征组成的二维特征序列，并且这n+1组二维特征序列和其对应的图像序列相比通道数增加，长和宽不变；然后按照L＝n,n-1,…,0，的顺序将这n+1组二维特征序列送入深度求精；深度求精：在获得特征提取部分提取的n+1组二维特征序列以后，按照L＝n,n-1,…,0，的顺序分别对这n+1组二维特征序列使用深度求精的方法求估计深度图，整个过程需要重复n+1次；深度求精包括三个部分：单应性变换、代价正则化、深度获取；每次深度求精输出的估计深度图使用上采样后作为下次深度求精的输入，如此循环进行深度求精的三个部分得到与原始图像尺度一致的估计深度图；深度求精的三个部分如下：一、单应性变换：对特征提取获取的每一组二维特征序列中的多个目标图像的特征通过空间变换投射到参考图像所在的坐标系中获得反转的特征；然后使用目标图像的反转特征序列和参考图像的特征求方差，得到三维方差特征输出；单应性变换主要为以下两个部分：获取深度数据、可微性单应；1获取深度数据：空间变换投射时需要深度数据；对于第n组二维特征序列，在深度范围内按照48等分进行深度值的离散化得到初始深度数据；而对于其余的二维特征序列，获取上一组的估计深度图后，使用上采样后再复制多组的策略构造深度数据；2可微性单应：同一二维特征序列中，首先将多个目标图像的二维特征映射到参考图像所在的坐标系下；由于遍历获取的深度数据，映射后的目标图像的特征序列为三维特征序列；此三维特征序列和由参考图像的二维特征复制形成的三维特征计算方差，作为此图像序列对应的三维方差特征；二、代价正则化：将单应性变换获得的L＝n,…,0图像序列对应的三维方差特征送入代价正则化Unet结构获得三维代价空间；获取的三维代价空间和送入的三维方差特征相比长宽和通道数保持不变；三、深度获取：深度获取部分将代价正则化输出的三维代价空间转化为对应深度的概率，使用概率计算期望得到估计深度图；在训练中，神经网络的训练方式为使用n+1组尺度的图像序列的估计深度图，每组图像序列中将估计深度图和对应的groundtruth深度图使用smoothl1误差函数求误差，将每组图像的误差求和从而得到总误差；根据总误差使用Adam优化器反向传播，从而更新方法参数。

全文数据：

权利要求：

百度查询： 沈阳工业大学 一种多视角深度获取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD