申请/专利权人：北京石油化工学院

申请日：2022-10-31

公开（公告）日：2023-03-17

公开（公告）号：CN115471559B

主分类号：G06T7/73

分类号：G06T7/73;G16H20/30;G06T7/593;G06V40/16

优先权：

专利状态码：有效-授权

法律状态：2023.03.17#授权;2022.12.30#实质审查的生效;2022.12.13#公开

摘要：本发明公开了一种头部动态定位跟踪方法及系统，该方法通过第一至第三深度相机分别获取患者头部定位标记区域、跟踪标记区域以及人脸区域的RGB图像和深度图像，并基于上述图像分别建立定位坐标系、第一跟踪坐标系和第二跟踪坐标系，将定位坐标系和第一深度相机坐标系与机器人坐标系之间的变换关系相乘获得机器人目标点位，并控制机器人移动到该目标点位，通过实时更新的第一跟踪坐标系和第二跟踪坐标系以及定位坐标系分别与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系对目标点位进行修正，实现实时跟踪，该方法治疗效率高且成本低。

主权项：1.一种头部动态定位跟踪方法，应用于机器人辅助治疗，其特征在于，包括：通过第一深度相机、第二深度相机和第三深度相机分别获取患者头部定位标记区域的RGB图像和深度图像、患者头部跟踪标记区域的RGB图像和深度图像以及患者人脸区域的RGB图像和深度图像；基于深度学习的人脸识别算法对患者人脸区域的RGB图像进行处理得到患者二维人脸特征信息，并结合患者人脸区域的深度图像将所述患者二维人脸特征信息转换为患者三维人脸特征信息；如果在治疗信息库中匹配到所述患者三维人脸特征信息，则确认患者为非首次治疗，并根据所述患者三维人脸特征信息从所述治疗信息库中获取患者身份信息和历史治疗的定位坐标系的信息；如果在所述治疗信息库中未匹配到所述患者三维人脸特征信息，则确认所述患者为首次治疗，并根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系，并将首次治疗的定位坐标系的信息保存至所述治疗信息库中；依据第一深度相机坐标系与机器人坐标系的变换关系以及当前定位坐标系的信息计算得到机器人目标治疗点位信息，其中，当前定位坐标系的信息为历史治疗的定位坐标系的信息或者首次治疗的定位坐标系的信息；分别基于患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像建立第一跟踪坐标系、第二跟踪坐标系，并获取当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系；根据所述第二深度相机、所述第三深度相机实时获取的患者头部定位标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像分别对所述第一跟踪坐标系、所述第二跟踪坐标系进行更新，并基于更新后的所述第一跟踪坐标系、所述第二跟踪坐标系结合所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系对当前定位坐标系进行修正，进而得到修正后的所述机器人目标治疗点位信息；其中，根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系的具体步骤包括：利用检测标记模型从患者头部定位标记区域的RGB图像中获取定位标记的4个有序角点的像素坐标，并由4个有序角点的像素坐标确定定位标记中心点的像素坐标，其中，所述定位标记为ArUco码；基于定位标记的4个有序角点的像素坐标、定位标记中心点的像素坐标以及患者头部定位标记区域的深度图像得到定位标记的4个有序角点的世界坐标以及定位标记中心点的世界坐标；依据坐标系变换矩阵公式、定位标记的4个有序角点的世界坐标以及定位标记中心点的世界坐标建立首次治疗的定位坐标系；基于患者头部跟踪标记区域的RGB图像和深度图像建立第一跟踪坐标系的具体步骤包括：利用所述检测标记模型从患者头部跟踪标记区域的RGB图像中获取至少3个跟踪标记的中心点的像素坐标，其中，所述跟踪标记为ArUco码；基于至少3个跟踪标记的中心点的像素坐标以及患者头部跟踪标记区域的深度图像得到至少3个跟踪标记的中心点的世界坐标；依据坐标系变换矩阵公式和至少3个跟踪标记的中心点的世界坐标建立第一跟踪坐标系；基于患者人脸区域的RGB图像和深度图像建立第二跟踪坐标系的具体步骤包括：利用深度学习的人脸识别算法从患者人脸区域的RGB图像中提取得到患者人脸特征点的像素坐标；依据提取的患者人脸特征点的像素坐标并结合患者人脸区域的深度图像得到患者头部位姿估计数据；基于所述患者头部位姿估计数据建立所述第二跟踪坐标系。

全文数据：

权利要求：

百度查询： 北京石油化工学院 一种头部动态定位跟踪方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD