申请/专利权人：江苏中车数字科技有限公司

申请日：2023-12-18

公开（公告）日：2024-04-16

公开（公告）号：CN117423043B

主分类号：G06V20/40

分类号：G06V20/40;G06V20/62;G06V10/82;G06V30/19;G06N3/0499

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2024.02.06#实质审查的生效;2024.01.19#公开

摘要：本申请实施例提供了一种精益装配过程视觉检测方法、装置和系统，通过可穿戴混合现实MR装置获取关于目标工件的第一视频画面和设置在多个方位的视频采集装置获取在所述精益装配过程中包含所述操作人员的操作过程的第二视频画面；根据第一视频画面识别目标工件的类型，并提取目标工件的字符序列号；根据目标工件的类型和目标工件的字符序列号确定目标工件的标准操作流程，通过目标动作分类模型将第二视频画面中的操作人员的操作过程与标准操作流程进行比对后进行打分以及确定扣分点，并根据扣分点输出反馈提示信息。

主权项：1.一种精益装配过程视觉检测方法，其特征在于，包括：通过可穿戴混合现实MR装置获取关于目标工件的第一视频画面，其中，所述可穿戴MR装置由执行所述目标工件的精益装配的操作人员佩戴；通过设置在多个方位的视频采集装置获取在所述精益装配过程中包含所述操作人员的操作过程的第二视频画面，其中，所述第二视频画面中包含所述操作人员和所述目标工件；根据所述第一视频画面，使用YOLO目标检测模型对所述目标工件进行检测并分类，确定所述目标工件的类型；并使用CPTN字符序列识别模型提取所述目标工件的字符序列号；根据所述目标工件的类型和所述目标工件的字符序列号确定所述目标工件的标准操作流程，通过目标动作分类模型将所述第二视频画面中的所述操作人员的操作过程与所述标准操作流程进行比对后进行打分以及确定扣分点，并根据所述扣分点输出反馈提示信息；其中，所述目标动作分类模型为一种基于Transformer架构的视频理解模型，包括基于3D滑动窗口的多头注意力MSA模块和前馈神经模型FFN模块，所述目标动作分类模型配置为根据输入的视频数据进行不同类别的动作的分段预测，根据输出置信度进行打分。

全文数据：

权利要求：

百度查询： 江苏中车数字科技有限公司 精益装配过程视觉检测方法、装置和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD