申请/专利权人：深圳市人工智能与机器人研究院

申请日：2022-12-28

公开（公告）日：2024-02-20

公开（公告）号：CN116038726B

主分类号：B25J11/00

分类号：B25J11/00;A61B10/00;B25J9/08;B25J9/16

优先权：

专利状态码：有效-授权

法律状态：2024.02.20#授权;2023.05.19#实质审查的生效;2023.05.02#公开

摘要：本发明公开了一种基于视听力觉的核酸采样人机交互装置、方法及机器人，包括：视觉模块，用于通过机器人的机械臂末端的光学雷达相机采集受试者的图像数据和雷达数据，并根据所述图像数据和所述雷达数据识别得到受试者的咽喉部位；力混合控制模块，用于根据所述咽喉部位规划得到轨迹，并根据所述轨迹和力混合控制策略控制所述机械臂夹持的棉签到达所述咽喉部位的咽后壁；采样模块，用于根据预设采样动作控制所述机械臂夹持的棉签在所述咽喉部位进行采样，得到采样样本。本发明结合视觉和力觉对机器人核酸采样过程中出现的异常情况进行鉴别和处理，大大提高了采样成功率。

主权项：1.一种基于视听力觉的核酸采样人机交互装置，其特征在于，包括：视觉模块，用于通过机器人的机械臂末端的光学雷达相机采集受试者的图像数据和雷达数据，并根据所述图像数据和所述雷达数据识别得到受试者的咽喉部位；力混合控制模块，用于根据所述咽喉部位规划得到轨迹，并根据所述轨迹和力混合控制策略控制所述机械臂夹持的棉签到达所述咽喉部位的咽后壁；采样模块，用于根据预设采样动作控制所述机械臂夹持的棉签在所述咽喉部位进行采样，得到采样样本；所述力混合控制模块包括：路径规划子模块，用于基于机器人路径规划算法，规划从起始点途经采样窗口后到达咽后壁的避障安全路径，结合所述机械臂末端关节位姿、速度、加速度约束进行时间最优轨迹规划，得到所述轨迹；第一控制子模块，用于根据所述时间最优轨迹规划控制所述机械臂夹持的棉签进行移动，并根据视觉判断结果和受力反馈控制所述机械臂夹持的棉签到达所述咽喉部位的咽后壁；在控制所述机械臂运动的过程中，结合视觉模块收集的数据和力反馈模块反馈的数据进行视觉力觉状态判断，判断所述机械臂上的采样棉签的状态；若判定触碰发生但未达到所述咽后壁，则控制所述机械臂停止运动，并尝试继续前进；若判定触碰未发生但达到所述咽后壁，则继续前进一段距离，若仍未触碰，则返回原位；若判定触碰未发生且未达到所述咽后壁，则按照轨迹规划控制所述机械臂运行；若判定触碰发生且达到所述咽后壁，则控制所述机械臂开始采样，并控制所述机械臂根据力反馈而跟随人的运动；所述视觉模块包括：光学雷达相机，用于通过所述机器人的机械臂末端的光学雷达相机采集受试者的图像数据和雷达数据；特征提取子模块，用于基于深度学习对所述图像数据和所述雷达数据进行人脸识别，提取所述受试者的五官特征，并判断所述受试者是否张开嘴巴；图像分割模块子模块，用于对所述受试者的口腔咽喉进行图像分割，融合点云特征完成咽喉部位关键点的3D定位，得到咽喉点位；通过图像分割算法对所述受试者的脸部图像进行分割，得到分割后的嘴部图像，并通过雷达采集的嘴部内的深度数据，对分割后的嘴部图像进行标定，结合3D点云生成模型，融合点云特征完成咽喉部位关键点的3D定位；位置判定子模块，用于根据得到的咽喉点位判断所述受试者是否处于采样窗口预设位置且咽部在窗口中心范围；提示子模块，用于通过采样窗口处的显示屏提醒所述受试者未处于画面中心，并通过辅助语音提示所述受试者靠近或远离采样亭；所述采样模块包括：第二控制子模块，用于控制所述机械臂夹持的棉签越过所述受试者的舌根，分别在所述受试者的扁桃体位置和所述咽后壁上进行来回擦拭，并根据六维力传感器采集的力数据控制所述受试者的受力在预设范围内。

全文数据：

权利要求：

百度查询： 深圳市人工智能与机器人研究院 一种基于视听力觉的核酸采样人机交互装置、方法及机器人

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD