申请/专利权人：西湖大学

申请日：2021-01-22

公开（公告）日：2024-03-29

公开（公告）号：CN112686963B

主分类号：G06T7/80

分类号：G06T7/80;G06V10/44;G06V10/56

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2021.05.07#实质审查的生效;2021.04.20#公开

摘要：本发明公开了一种应对遮挡的空中作业机器人的目标定位方法，属于无人机及其视觉感知领域。本发明基于RGB‑D相机，在RGB图像中提取作业目标的特征点，并结合对应的深度图像构建作业区域的三维点特征地图，因此作业目标的位置信息保存到所述三维地图中。在无人机的运动过程中，所述三维地图中的点特征与RGB图像中的特征点进行特征匹配，从而在其他位置的即使没有包含目标RGB图中也可以得到目标位置点的三维坐标，同时所述目标的位置信息可实时反馈到无人机的控制系统等。本发明能够解决空中作业机器人运动或执行作业任务的过程中，作业目标移出视野或被作业机构遮挡等问题。

主权项：1.一种应对遮挡的空中作业机器人的目标定位方法，其特征在于，所述空中作业机器人的本体上安装RGB-D深度相机，且在不执行作业任务时，所述RGB-D深度相机可直接观测到作业目标，不会被无人机本体遮挡；且无人机起飞前，标定RGB-D深度相机的内参数，所述内参数包括RGB相机内参数、深度相机的内参数、RGB相机与深度相机之间的位置参数；无人机飞行中从不同位置拍摄得到RGB图；所述目标定位方法具体包括如下步骤：S1：在RGB-D相机拍摄到含有目标的第1张RGB图中标记出作业目标；S2：提取第1张RGB图的特征点，并结合对应的深度图构建三维点特征地图，所述三维点特征地图中的点称为地图点；S3：根据所述S1标记出的目标得到代表该目标的目标位置点，并计算目标位置点与地图点之间的对应关系；S4：随着空中作业机器人的运动，RGB-D相机在不同位置拍摄；提取不同位置拍摄的RGB图的特征点，并基于其描述子与S2中构建的三维点特征地图中的地图点进行匹配；S5：对于S4中匹配成功的图像特征点,结合对应的深度图,计算其在所在RGB图像对应的相机坐标系中的三维坐标；S6：根据S5得到的三维坐标和S3得到的目标位置点与地图点之间的对应关系，即可计算得到目标位置点在当前的RGB图对应的相机坐标系中的三维坐标；所述S4的匹配过程具体如下：S4.1：首先将世界坐标系中的地图点转换到相机坐标系中 其中，为RGB-D相机拍摄第k张RGB图时在世界坐标系下的位姿；S4.2：基于针孔相机模型，根据下式计算在图像坐标系的投影坐标： S4.3：如果投影点在对应的RGB图像范围内，则以投影点为中心绘制搜索框，搜索在图像中匹配的特征点；匹配成功的特征点在图像坐标系中的位置记为

全文数据：

权利要求：

百度查询： 西湖大学 一种应对遮挡的空中作业机器人的目标定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD