申请/专利权人：清华大学

申请日：2021-06-10

公开（公告）日：2024-04-12

公开（公告）号：CN113505646B

主分类号：G06V20/10

分类号：G06V20/10;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06T5/70;G06T7/50;G06T7/70;G01C21/20

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2021.11.02#实质审查的生效;2021.10.15#公开

摘要：本发明提出一种基于语义地图的目标搜索方法，属于机器人导航、计算机视觉领域。该方法首先建立语义关系图，对待进行目标搜索的空间建立导航图并选取采样点，在各采样点从多视角采集RGB图和深度图；机器人根据任一采样点单个视角的RGB图获得该视角中物体的语义掩膜，结合深度图完成该视角局部的三维语义重建；整合所有局部的三维语义重建，得到待进行目标搜索的空间的语义点云；去除点云中的z维数据并去噪，得到该空间的语义地图；机器人在语义地图中查询待搜索的目标物体是否为已知物体并执行相应的搜索策略；搜索完成后，更新未知目标物体与各父类物体的语义关系图。本发明可使机器人对真实环境具有良好感知能力，提高目标搜索的效率。

主权项：1.一种基于语义地图的目标搜索方法，其特征在于，该方法包括以下步骤：1建立各目标物体对应的语义关系图；具体方法如下：首先，选取各父类物体构建父类物体的集合，从视觉基因组数据集的图像标题中提取各目标物体和各父类物体的关系强度来构建该目标物体对应的语义关系图；其中，在该数据集中任一目标物体与任一父类物体在图像标题中同时出现次数与该目标物体在图像标题中出现总次数的比例即为该目标物体与该父类物体的关系强度；2利用同步定位与建图SLAM方法对待进行目标搜索的空间建立导航图，然后对该导航图进行栅格化，将栅格上的点作为导航点，从导航点中选取采样点并在采样点上每隔一定的角度采集该视角的图像数据，包括：RGB图和深度图；3执行搜索任务的机器人首先使用MaskRCNN分割模型根据任一采样点单个视角的RGB图获得该视角中物体的语义掩膜；然后将该视角的深度图像素坐标系转化为世界坐标系，形成点云；将语义掩膜与点云结合形成语义点云，完成该视角局部的三维语义重建，得到该视角中物体各体素在房间中的位置；然后通过多视角的连续性，对每个采样点所有视角局部的三维语义重建进行整合，完成待进行目标搜索的空间的三维语义重建，得到对应该空间的语义点云；4对步骤3得到的空间的语义点云，每个点包含四种维度的信息x,y,z,c，其中x,y,z分别为每个点的坐标，c是对应的语义类别；去除每个点z维的数据，得到该待进行目标搜索的空间的自上而下的初始语义地图；对初始语义地图进行去噪，得到该待进行目标搜索的空间最终的语义地图；5对机器人布置待搜索的目标物体，机器人在步骤4得到的语义地图中查询该目标物体是否为已知物体，其中若该物体是语义地图中三维语义重建的物体，则该物体为已知物体，否则为未知物体；若该目标物体是已知物体，则执行步骤6；若该目标物体是未知物体，则执行步骤7；6利用语义地图进行已知的目标物体的搜索，具体步骤如下：6-1机器人在语义地图中查询距离该目标物体最近的导航点以及在该导航点观察到物体的角度，机器人到达查询到的导航点，并在该导航点按照计算查询的角度朝向该目标物体；6-2机器人靠近该目标物体，直至与目标物体之间的距离小于设定的距离阈值，搜索任务完成；7利用语义地图进行未知的目标物体的搜索，具体步骤如下：7-1机器人通过该目标物体对应的语义关系图查询与该物体关系强度最大的父类物体并作为选中的父类物体；7-2机器人在语义地图中查询距离该选中的父类物体最近的导航点，然后到达该查询得到的导航点；7-3机器人在该导航点旋转一周，寻找该目标物体；如果在旋转中检测到该目标物体，则机器人在该导航点朝向目标物体，然后进入步骤7-4；如果在旋转中未检测到该目标物体，则机器人排除所有选中过的父类物体，并通过该目标物体对应的语义关系图查询在剩余的父类物体中与该物体关系强度最大的父类物体并作为新的选中的父类物体，然后重新返回步骤7-2；如果在所有父类物体对应的导航点旋转一周后均未找到该目标物体，则搜索任务失败，然后进入步骤8；7-4机器人靠近目标物体，直至与目标物体之间的距离小于设定的距离阈值，搜索任务完成，然后进入步骤8；8根据搜索任务的结果更新目标物体的语义关系图；更新策略如下： 其中，R'p为更新后目标物体与父类物体p的关系强度，Rp为更新前目标物体与父类物体p的关系强度；Sp是一个二进制数，表示是否在该父类物体p找到目标物体；S是一个二进制数，表示在所有的父类物体中是否能找到目标物体。

全文数据：

权利要求：

百度查询： 清华大学 一种基于语义地图的目标搜索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD