申请/专利权人：智点恒创(苏州)智能科技有限公司

申请日：2023-09-27

公开（公告）日：2024-03-22

公开（公告）号：CN117253171B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/10;G06T17/00;G06V40/20;G06V20/64;G06V10/74

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2024.01.05#实质审查的生效;2023.12.19#公开

摘要：本发明涉及一种风险行为识别方法及系统，基于空间信息、生产设备位置信息和生产设备的几何信息建立工作空间的三维模型；然后从视频流中抽取多个目标图像帧，并提取目标图像帧中的作业人员的姿态特征和位置特征；将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；在作业三维模型中确定作业人员的位置风险和动作风险。本申请通过建立工作空间的三维模型，并将视频流中作业人员的姿态特征和位置特征都映射至三维模型中，从而对作业人员当前的动作和位置进行三维分析，确定作业人员在当前作业环境下的位置风险和动作风险。相较于现有的仅基于视频进行风险分析的技术，本申请的风险识别准确度高。

主权项：1.一种风险行为识别方法，其特征在于，包括步骤：获取图像采集设备所在场所的空间信息、生产设备位置信息、生产设备的几何信息和图像采集设备获取的视频流；基于所述空间信息、所述生产设备位置信息和所述生产设备的几何信息建立工作空间的三维模型，其中，所述三维模型包括生产设备模型和生产设备模型对应的风险区域；从所述视频流中抽取多个目标图像帧，并提取所述目标图像帧中的作业人员的姿态特征和位置特征，所述多个目标图像帧为目标时间点T1到当前时间点Td之间的图像帧，Td-T1＝Tn，Tn为单位时间；提取所述目标图像帧中的作业人员的姿态特征，包括：提取所述目标图像帧中的作业人员的人体关键点，其中，所述人体关键点包括多个人体骨骼关节；将所述人体关键点进行连线处理，得到作业人员的姿态特征；提取所述目标图像帧中的作业人员的位置特征，包括：在所述三维模型中绘制三维网格线；转动所述工作空间的三维模型至目标视角，以使得所述目标图像帧中的生产设备与所述三维模型中的生产设备模型重合；将处于目标视角三维网格线映射至所述目标图像帧中，并基于所述三维网格线确定每一个人体关键点在所述三维模型中的位置，得到作业人员的位置特征；基于时间顺序将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；在所述作业三维模型中确定作业人员的位置风险和动作风险，并基于所述作业人员的位置风险和动作风险确定作业人员的当前行为风险；在所述作业三维模型中确定作业人员的位置风险，包括：确定所述姿态特征中的目标人体关键点和其他人体关键点的所处区域，其中，所述目标人体关键点为参与作业的人体部位对应的关键点；基于目标人体关键点Dj和其他人体关键点Bj的所处区域对应的风险值确定位置风险的值Rp，其中 式中，wDj为目标人体关键点Dj所在区域的风险值，wBj为其他人体关键点Bj所在区域的风险值，β为第二比例因子；在所述作业三维模型中确定作业人员的动作风险，包括：将所述姿态特征中的人体关键点坐标与预先建立的姿态模板中对应的人体关键点参考坐标进行求差，得到每个人体关键点的位置偏差值DEk；计算多个位置偏差值DEk的方差σ2，并基于所述方差σ2构建所述姿态特征与姿态模板的相似度S，在所述相似度S大于或者等于预设的相似度阈值时，判定所述姿态特征的动作风险Ra的值为0；在所述相似度S小于预设的相似度阈值时，基于每个人体关键点的位置偏差值DEk和所述相似度S计算动作风险Ra，其中， 式中，γ为第三比例因子，δ为第四比例因子，DE'k为目标人体关键点与对应人体关键点参考坐标的偏差值，DE为所有人体关键点的位置偏差值DEk的平均值。

全文数据：

权利要求：

百度查询： 智点恒创(苏州)智能科技有限公司 一种风险行为识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD