申请/专利权人：南京百伦斯智能科技有限公司

申请日：2024-02-07

公开（公告）日：2024-04-12

公开（公告）号：CN117726977B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/44;G06V40/20;G06N3/0464;G06N3/08;G06V10/74;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本发明公开了一种基于DCNN的实验操作关键节点评分方法和系统，包括如下步骤：获取实验操作台的至少两路视频数据，并分别提取视频帧，构建视频帧集合；调取预配置的DCNN模块，依序提取每一视频帧中的操作关键节点特征并构建节点特征向量，所述操作关键节点特征包括设备姿态、物品姿态和操作姿态；基于所述节点特征向量构建操作流程有向图，并对操作流程有向图进行图卷积和图池化操作；调用预训练的评分模型，对实验操作评分图结构中的每个节点的特征向量进行评分计算，得到每个实验操作关键节点的评分值，并输出评分结果及关键帧。本申请可以提高实验操作评分的效率和质量，同时便于部署。

主权项：1.基于DCNN的实验操作关键节点评分方法，其特征在于，包括如下步骤：步骤S1、获取实验操作台的至少两路视频数据，并分别提取视频帧，构建视频帧集合；步骤S2、调取预配置的DCNN模块，依序提取每一视频帧中的操作关键节点特征并构建节点特征向量，所述操作关键节点特征包括设备姿态、物品姿态和操作姿态；步骤S3、基于所述节点特征向量构建操作流程有向图，并对操作流程有向图进行图卷积和图池化操作；步骤S4、调用预训练的评分模型，对实验操作评分图结构中的每个节点的特征向量进行评分计算，得到每个实验操作关键节点的评分值，并输出评分结果及关键帧；所述步骤S1进一步为：步骤S11、获取实验操作台的至少两路视频数据，两路视频的摄像装置从不同角度拍摄操作台，其中至少一路摄像装置可以获取操作者的面部和手部图像；步骤S12、获取实验操作台的音频信息；步骤S13、对视频数据进行预处理，将视频数据分割成若干帧，每一帧代表一个时刻的图像，所述预处理包括去噪、对齐和稳定；步骤S14、采用拉普拉斯算子对视频帧进行质量检测，判断是否存在模糊区域，剔除存在模糊区域的视频帧，并通过余下的视频帧构建视频帧集合；所述步骤S2进一步为：步骤S21、调取预配置的ViT-DCNN-LAM模块，对视频帧的特征进行提取，输出表示视频帧中的每个像素特征的高维特征图；步骤S22、根据预存储的规则，从特征图中检测出操作关键节点，并标记为节点特征向量；步骤S23、将每一视频帧中检测出的所有操作关键节点的特征向量组合起来，构成节点特征向量集合，建立视频帧与节点特征向量集合之间的映射；其中节点特征向量用于表示该视频帧中的所有操作关键节点的特征；所述步骤S3进一步为：步骤S31、将每一视频帧中的节点特征向量集合作为有向图的节点，将节点之间的因果关系或时序关系作为有向图的边，将边的强度或重要性作为有向图的权重，构建操作流程有向图，以表示实验操作的过程；步骤S32、针对每一节点，将有向图的节点作为DGC动态图卷积模块的输入，得到新的节点特征向量，即有向图新的节点，构建新的节点特征向量集合，用于后续的图池化操作；步骤S33、将操作流程有向图的新的节点特征向量集合作为DGP动态图池化模块的输入，得到低维的特征向量，对每个操作流程有向图重复这一过程，得到操作流程有向图与特征向量的映射；所述步骤S4进一步为：步骤S41：构建评分模型并对评分模型进行预训练，使其能够根据输入的操作流程有向图的特征向量，输出每个节点的评分值；构建评分模型的过程包括：使用图卷积网络GCN构建评分模型的基础结构，采用注意力机制为每个实验操作关键节点的特征向量赋予不同的权重，设置图跳跃连接层，以增加节点深度信息；步骤S42：对实验操作评分图结构中的每个节点的特征向量进行评分计算；将每个操作流程有向图的特征向量输入评分模型，得到每个操作关键节点的评分值，表示该节点的实验操作的质量和效果；对每个操作流程有向图的每个节点重复这个过程，得到一个节点与评分值的映射，用于后续的评分结果输出；步骤S43：输出评分结果及关键帧；根据节点与评分值的映射，计算出每个操作流程有向图的总评分，以及每个操作关键节点的评分；将总评分和节点评分作为评分结果输出，根据节点评分的高低，选择评分超过阈值的节点对应的视频帧，作为关键帧输出，以便用户查看实验操作的优缺点；所述DCNN模块还包括语音处理通道，用于接收并处理音频信息，基于音频信息判断实验操作流程是否符合规范；所述步骤S2还包括步骤S24、提取关键节点对应的视频帧，将物品和手势的像素坐标转换到世界坐标系；构建物品移动流和操作手势流，基于物品移动的过程和操作手势过程，采用相似距离判断操作是否符合规范；输出关键帧的过程进一步为：步骤S431、获取评分低于阈值的关键帧，获得两路视频帧的图像数据；步骤S432、基于关键帧的图像数据进行点云匹配，重建点云模型并分割成操作关键环节；步骤S433、根据预配置的规则，输出点云模型并标注操作错误位置。

全文数据：

权利要求：

百度查询： 南京百伦斯智能科技有限公司 基于DCNN的实验操作关键节点评分方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD