申请/专利权人：杭州师范大学

申请日：2021-11-12

公开（公告）日：2024-04-09

公开（公告）号：CN114119889B

主分类号：G06T17/05

分类号：G06T17/05;G06T7/50;G06T3/047;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2022.03.18#实质审查的生效;2022.03.01#公开

摘要：本发明公开了一种基于跨模态融合的360度环境深度补全和地图重建方法。本发明方法首先构建跨模态的全景深度补全网络，获得场景的全景深度图，作为深度补全模块，然后将深度补全模块嵌入全景定位和稠密建图系统，构建全景定位和稠密地图重建系统，完成大规模环境的三维重建。全景深度补全网络包括基于跨模态融合的全景深度补全网络结构和基于单位球面面积积分的深度补全损失函数。本发明方法能够有效提取稀疏深度模态的特征，最终生成对应的全景深度特征图，并根据全景深度补全网络在通道维度串联两种模态特征，通过损失函数的约束网络从而得到高精度稠密全景深度图像。本发明方法将深度补全模块嵌入系统，实现大规模场景的地图重建。

主权项：1.基于跨模态融合的360度环境深度补全和地图重建方法，其特征在于：首先构建跨模态的全景深度补全网络，获得场景的全景深度图，将全景深度图作为深度补全模块，然后将深度补全模块嵌入全景定位和稠密建图系统，构建全景定位和稠密地图重建系统，完成大规模环境的三维重建；1构建跨模态的全景深度补全网络，网络包括基于跨模态融合的全景深度补全网络结构，以及基于单位球面面积积分的深度补全损失函数；网络的输入涉及全景图像和稀疏深度两种模态，分别以不同的分辨率，从不同的维度提供环境信息，通过最小化损失函数优化网络中的参数，得到最终稠密全景深度图；包括：1-1球面规一化卷积操作：通过融合输入模态得到更新后的球面稀疏深度图Sl+1和置信度图Cl+1，输入模态由对应的球面稀疏深度图Sl和置信度图Cl组成，两个输入共享球面卷积； 其中，Ψ表示球面卷积，u,v表示输入模态的特征图的全局坐标，i,j表示输入模态的特征图邻域的全局坐标，Slu,v表示Sl中坐标为u,v点的特征点，Clu,v表示Cl中坐标为u,v点的特征点，b表示Sl的网络偏置，τ表示Cl的网络偏置；1-2构建基于跨模态融合的全景深度补全网络，由两部分构成：球面稀疏特征提取网络GSFE和跨模态全景深度补全网络GCmODC；所述的球面稀疏特征提取网络GSFE是一个编码器-解码器网络结构，由球面规一化卷积、球形池化模块、上采样模块和下采样模块构成；GSFE输出的特征模态包括输出球面稠密深度图和输出置信度图Sk和Ck分别表示输入球面稀疏深度图和对应置信度图；GSFE负责为GCmODC提供球面稠密深度图及其对应的置信图；所述的跨模态全景深度补全网络GCmODC的作用是生成最终的稠密全景深度图：GCmODC将GSFE生成的球面稠密深度图和对应的全景图像Ik在通道维度连接，以融合同分辨率的跨模态特征，并让连接后的数据通过GCmODC，生成最终精确的球面稠密深度图ConCat[·,·,Dim＝1]表示通过通道维度连接特征；1-3构建基于单位球面面积积分的深度补全损失函数；首先，用经度θ和纬度φ表示输入模态的特征图的全局坐标u,v，Iw和Ih分别表示输入模态的特征图宽和高；然后，通过计算单位球面的表面积积分，定义每个像素的权重wu,v： 超参数t＝100，单位球半径R＝1.0；用每个像素的权重计算损失函数： N表示图像数量，n为图像序号，Εu,v[·]表示像素均值函数，像素点的预测值与真实值的偏差计算阈值为最大偏差值；Ⅱ表示满足下标条件，则Ⅱ·＝1，否则Ⅱ·＝0；2构建全景定位和稠密地图重建系统；具体是：2-1使用全景深度补全网络估计稠密深度图，完成SLAM的快速初始化；创建初始地图后，系统连续跟踪图像的姿态，同时生成关键帧，并将关键帧存储在缓冲池中；2-2系统进行稠密点云重建：首先，系统从缓冲池中获取关键帧，以及对应的稀疏深度图，进行深度补全，得到稠密深度图；然后，系统的深度融合模块结合RGB全景图像中每个像素及对应的深度值，利用反投影获得每个关键帧的稠密三维点云，并将每帧稠密点云转换到全局坐标系下；最后，将每帧稠密点云与全局的点云地图合并，生成优化后的三维环境模型。

全文数据：

权利要求：

百度查询： 杭州师范大学 基于跨模态融合的360度环境深度补全和地图重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD