申请/专利权人：杭州电子科技大学

申请日：2021-02-03

公开（公告）日：2024-04-09

公开（公告）号：CN112907641B

主分类号：G06T7/33

分类号：G06T7/33;G06N3/0464;G06N3/08;G06T7/10

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.06.22#实质审查的生效;2021.06.04#公开

摘要：本发明公开了一种基于细节信息保持的多视点视图深度估计方法。本方法首先利用U型神经网络提取出图片序列在不同尺度的特征，在同一尺度的特征中，分为两个分支：一个分支进行分割操作，得到高质量细节保持的目标分割图；一个分支进行为后续的深度估计进行特征提取。将不同尺度的特征与同尺度下的分割图Fs相乘，按照单应矩阵映射融合为3D特征体素，最后通过回归得到深度图。将该深度图与对应大小的Fs逐像素相乘，通过由粗到细不同尺度的优化，输出最终的深度图，其中只有目标的深度信息有效。本发明提出的基于细节信息保持的多视点视图深度估计方法，避免了重建中背景对目标的影响，提高了深度估计的精度。

主权项：1.一种基于细节信息保持的多视点视图深度估计方法，其特征在于输入为一组多视点图像，输出为主视点的深度图，输出的深度图中，只有目标区域有深度信息，其他区域没有深度信息；具体包括如下步骤：步骤1、输入多视点图像序列，尺寸为W×H，W为图像的宽，H为图像的高；多视点图像序列包含一幅主视点图像Cs和其他视点图像Ci；将多视点图像序列输入到一个U型神经网络中，提取图像语义特征；步骤2、将U型神经网络中的第十三层输出特征图对应的特征O3输入到两个分支网络中，其中一个分支网络将特征O3通过三层卷积层得到S4尺度的分割图S3，另一个分支网络将特征O3通过三层卷积层得到特征图F3，将S3与F3逐像素相乘，获得3D特征体素V3；其中S是图像的长度；步骤3.将3D特征体素V3经过三层3D卷积进行特征提取后，按照基于方差的度量方法得到新的深度估计图DM3d；步骤4、将深度估计图DM3d上采样，得到S2×S2×1的深度图DM3；同时将U型神经网络中的第十六层的特征O2输入到两个分支网络，得到S2尺度的分割图S2和特征图F2，将S2与F2逐像素相乘获得3D特征体素V2；步骤5、将3D特征体素V2经过三层3D卷积进行特征提取后，按照基于方差的度量方法得到新的深度估计图DM2d；步骤6、将深度估计图DM2d上采样，得到S×S×1的深度图DM2；将U型神经网络中的第十九层的特征O1输入到两个分支网络，得到S尺度的分割图S1和特征图F1，将S1与F1逐像素相乘得到3D特征体素V1；步骤7、将3D特征体素V1，经过三层3D卷积进行特征提取按照基于方差的度量方法得到新的最终深度估计图DM1。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于细节信息保持的多视点视图深度估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD