申请/专利权人：河海大学

申请日：2024-01-05

公开（公告）日：2024-04-16

公开（公告）号：CN117893998A

主分类号：G06V20/58

分类号：G06V20/58;G06V40/10;G06V40/20;G06V10/774;G06V10/82;G06N3/0464;B25J9/16

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明公开了基于机器视觉的人机位姿智能防碰方法，包括以下步骤：S1、基于多模态深度融合算法识别人体运动数据；S2、人体动态安全区域绘制及预测；S3、基于多模态数据的机器人路径安全规划算法。本发明为了确保工人在机械臂运转时近场调试、协作、维护时的人身安全，提高机器运转效率，降低企业对安全监管系统维护成本，本发明通过融合OpenPose，3D‑CNN，DDPG等机器学习算法开发出一个具有自学习更新功能的人机位姿识别及防碰机制，该机制在丰富的人体位姿数据基础上预测人体位姿变换速度和方向，同时控制机器人合理规避人员可能的误操作，实现人机安全协同操作。

主权项：1.基于机器视觉的人机位姿智能防碰方法，其特征在于，包括以下步骤：S1、基于多模态深度融合算法识别人体运动数据：利用深度图像通过RGB图像的关键点蒙版投影方式估计人体关键点的三维坐标信息，通过坐标信息估计人机安全问题中的人机最小距离，并采用KD树搜索策略，通过监测人体关节的关节角变化来构建人机数字动力学系统；S2、人体动态安全区域绘制及预测：深度摄像头将视频深度数据传输至后端主机进行预处理，得到3D骨骼关键点后分析出的人体速度数据绘制安全区域，并与机械臂运动轨迹危险区域进行比对，使其能够针对人的运动姿态进行自我调节，必要时停止工作，以应对工人危险姿态；S3、基于多模态数据的机器人路径安全规划算法：借助多模态感知信息系统的步骤构建数据集，此数据集的核心数据为关节角和与之对应的各关节间最小距离；构建DDPG网络，设计合适的学习率、衰减因子参数，根据自避碰任务设置合理的奖励函数；训练得到主动自避碰模型；调用主动自避碰模型，使之处于实时等待路径规划请求模式；路径规划请求指令同时发给路径规划库及主动自避碰模型，模型规划库负责将操作臂规划到目标点，主动自避碰模型负责生成一组非操作臂运动关节角，在操作臂运动之前将非操作臂驱离任务空间，从而实现自避碰规划。

全文数据：

权利要求：

百度查询： 河海大学 基于机器视觉的人机位姿智能防碰方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD