申请/专利权人：燕山大学

申请日：2023-12-22

公开（公告）日：2024-03-19

公开（公告）号：CN117726763A

主分类号：G06T17/05

分类号：G06T17/05;G06T7/246;G06T7/73;G06V40/20;G06V10/44;G06V10/82;G06N3/0464;G06N3/045;G06N3/0455;G06N3/049;G06N3/042;G06N3/096

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本发明公开了一种基于视觉的室内移动机器人4D语义SLAM方法，利用双目或RGBD相机实时采集室内场景的彩色图像和深度数据，并通过人体姿态识别网络提取人体骨架数据。进一步，通过安装在机器人上的AI边缘处理器建立目标识别、行为识别、点线特征融合里程计和回环检测四个并行模块，调用增量学习训练器训练的模型实现移动机器人对周围环境的目标识别和人体行为识别，进行机器人自身位姿跟踪和在线的4D动态语义地图构建，并通过动态更新4D语义映射地图和样本数据库实现机器人作业状态的长时感知。本发明既提高了室内机器人对复杂环境的长时感知和人机共融能力，又保障了机器人在家庭等隐私环境中具有动态学习新知识和隐私保护的能力。

主权项：1.一种基于视觉的室内移动机器人的4D语义SLAM方法，其特征在于：包括如下步骤：步骤1：实时获取RGB图像数据、深度数据和人体骨架数据；步骤2：构建分别包括基础数据集、个性化数据集和动态扩展数据集的行为数据集和目标数据集，创建增量学习训练器，根据基础数据集以及个性化数据集去预训练基础目标识别模型和行为识别模型，然后根据步骤1获得的RGB图像数据以及人体骨架数据，实施在线的动态增量训练，实现目标识别模型、行为识别模型、行为数据集和目标数据集的动态在线更新；步骤3：建立三个并行处理模块：视觉里程计模块、目标识别模块以及动作识别模块；视觉里程计模块为对步骤1中获得的RGB图像及深度数据进行点、线特征提取及跟踪；目标识别模块包括将步骤1中获得的RGB图像输入到步骤2中增量学习训练器预训练的目标识别模型，实现目标检测及目标检测框位置信息；动作识别模块包括根据步骤1中获得的骨架数据获取关节位置信息及骨架最小包围盒位置信息，并输入步骤2中增量学习训练器预训练的行为识别模型实现人体行为识别；步骤4：根据步骤3中目标检测框位置信息以及骨架最小包围盒位置信息，分别获得场景中的特征的动静态概率，对步骤3中视觉里程计模块所提取的点、线特征进一步筛选，实现动态特征的删除以及静态特征的合并，更新当前帧信息，包括目标信息、关键点、关键线、地图点、直线对以及其共视关系，进一步基于位姿估计子模块计算位姿并进行局部优化；步骤5：根据关键帧中由步骤3目标识别模块获得的目标检测结果以及由步骤3视觉里程计模块获得点线特征进行回环帧检测，若检测到回环帧，进行回环修正和全局BA运算；步骤6：构建动态语义地图描述，建立包括栅格层、行为层和语义层的认知语义地图，用于实现机器人在室内长时运行过程中的全局4D语义地图表达。

全文数据：

权利要求：

百度查询： 燕山大学 一种基于视觉的室内移动机器人的4D语义SLAM方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD