申请/专利权人：浙江工业大学

申请日：2020-05-29

公开（公告）日：2024-03-22

公开（公告）号：CN111798475B

主分类号：G06T7/13

分类号：G06T7/13;G06T7/11;G06N3/0464;G06V10/764;G06F16/29

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2020.11.06#实质审查的生效;2020.10.20#公开

摘要：本发明涉及一种基于点云深度学习的室内环境3D语义地图构建方法，包括以下四部分：（1）使用深度相机获取室内环境的彩色图和深度图；（2）构建点云深度学习网络获取环境中物体的3D语义信息；（3）动态物体的检测与动态特征点的剔除；（4）求解相机运动实现视觉里程计，构建并优化局部地图；（5）通过得到的3D点云语义信息构建目标语义库；（6）根据目标语义库对局部地图进行语义融合，构建八叉树语义地图。与现有方法相比，本发明不仅通过结合语义类别信息剔除了动态物体掩码中的特征点，有效减少了动态物体对定位和建图的影响，而且使用的3D语义获取方式更为直接高效，具有更好的定位建图能力以及语义感知效果。

主权项：1.一种基于点云深度学习的室内环境3D语义地图构建方法，其特征在于：所述方法包括以下步骤：步骤1：使用深度相机获取环境的彩色图像和深度图像；步骤2：构建点云深度学习网络获取环境中物体的3D语义信息，包括以下子步骤：步骤2.1：将点云深度学习网络PointNet中通过多层感知器对点云进行特征提取的方法改为通过构造动态图卷积提取特征的方法；所构造的动态图卷积是基于空间的图卷积，通过选取k个近邻点把点云构造为有边和顶点的图，k的取值范围为[10,50]，然后在图上进行卷积，学习选取的顶点与其相邻点之间组成的边的关系来获得点云局部特征；用D表示点云的维度，对于一帧点数为n、维度为D的点云表示为式1，RD表示D维度的点云在实数域的集合； 点云中的第i个点xi分别用式2-4表示，其中当D＝3时，表示网络输入具有u、v、w三个坐标维度的点云，用式2表示；D＝6时，表示网络输入带有r、g、b信息的彩色点云，用式3表示；D＝9表示输入带有曲面法向量α，β，γ的点云，用式4表示；xi＝ui,vi,wi2xi＝ui,vi,wi,ri,gi,bi3xi＝ui,vi,wi,ri,gi,bi,αi,βi,γi4从第l层的D维度的点云特征中选取的第i个顶点与其kl个近邻点经过图卷积学习边缘特征，并经过聚合操作∑，得到的第l+1层的D维度的特征输出用式5表示；其中，表示第i个顶点的近邻点，εl代表和构成的顶点和近邻点的集合，hΘ是被可学习的参数Θ集合参数化的一系列非线性函数，表示在第l层上的特征学习过程RDl×RDl→RDl+1； 步骤2.2：使用多窗口和窗口步长的空间金字塔池化结构对学习的点云特征分空间层次地进行多尺度池化；空间金字塔池化结构式如式6所示， 空间金字塔池化窗口类型为N、N4、N8、N16的组合，其中N为输入的点云个数，f代表通过图卷积网络学习得到的特征信息，sn表示第n个池化窗口的尺寸，g代表池化操作，多个不同的池化窗口组合构成了空间金子塔池化结构，c代表将空间金字塔池化得到的多尺度特征进行聚合，经过多层全连接神经网络mlp进行上采样，得到点云中N个点的每个点的特征Fx1,…,xN；步骤3：利用3D语义信息、结合基于三维的多视角几何动静点检测算法进行动态物体的检测，剔除动态特征点；步骤4：求解相机运动，实现视觉里程计，构建并优化局部地图；步骤5：通过得到的3D语义信息构建目标语义库；步骤6：根据目标语义库对局部地图进行语义融合，构建八叉树语义地图。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于点云深度学习的室内环境3D语义地图构建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD