申请/专利权人：青岛理工大学

申请日：2019-07-05

公开（公告）日：2021-04-27

公开（公告）号：CN110210366B

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.27#授权;2019.10.08#实质审查的生效;2019.09.06#公开

摘要：本发明涉及装配拧紧过程样本采集，其通过视频采集装置采集视频信息、肌电装置采集人体的肌电信号、惯性加速度信号和方位信号，扭矩采集装置采集到的扭矩信息，计算机接收并按时间标签存储，从而得到能用于机器学习的样本库。本发明还涉及装配拧紧过程的监测系统，第二计算机识别图像中的人体骨骼节点，并计算出各个骨骼节点的坐标信息；将骨骼节点的坐标信息、肌电信号、惯性加速度信号和方位信号输入到深度学习网络中，输出监测扭矩值，将监测扭矩值与预设的扭矩参考值进行比较，判断拧紧过程是否异常，实现监测拧紧过程不受场地、环境限制，监测过程不使用力矩传感器，能够对力矩信息和扭转圈数进行监测，并将异常情况第一时间反馈给操作人员。

主权项：1.装配拧紧过程样本采集系统，其特征在于，包括视频采集装置（1）、可穿戴式肌电装置（2）、扭矩采集装置（3）以及第一计算机（4），所述视频采集装置（1）采集视频信息并发送给第一计算机（4），所述肌电装置（2）采集人体的肌电信号、惯性加速度信号和方位信号，然后发送给第一计算机（4），所述扭矩采集装置（3）将采集到的操作人员拧紧螺母时的扭矩信息发送给第一计算机（4），所述第一计算机（4）执行如下步骤：识别视频信息中人体的骨骼节点，并计算出各个骨骼节点的坐标信息；将骨骼节点坐标信息以及接收到的肌电信号、惯性加速度信号、方位信号、扭矩信息、视频信息均按照时间标签存储；从视频信息中按时间标签提取图片，将所述图片、肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息作为样本数据，将所述扭矩信息作为实测值，从而得到能用于机器学习的样本库。

全文数据：装配拧紧过程样本采集系统、深度学习网络及监测系统技术领域本发明涉及装配拧紧过程样本采集系统、深度学习网络及监测系统，属于装配监测领域。背景技术机械装配是机械制造业中重要的组成部分,是按照技术要求，实现机械零件、部件的组合，完成机器组装的过程。在装配过程中，未拧紧螺栓等连接件，会影响两零部件之间连接关系，影响装配质量和装配效率。对装配拧紧过程进行监测，可以通过实时监测连接件所受的拧紧力、力矩等因素，及时发现人工装配出现的问题，进而提高产品的装置质量。特别是在定制化生产中，装配拧紧过程的监测已经成为生产装配极其重要的一环。当前，扭矩扳手、力矩传感器等设备广泛应用于装配拧紧过程监测当中，但是扭矩扳手、力矩传感器需要安装在专用工具或者工作台上，导致监测过程受工作环境限制。所以基于计算机视觉，应用摄像装置监测装配拧紧过程成为主流发展趋势之一。这一监测方法是将摄像装置采集的图像进行处理，分析图像中呈现的装配环节、装配效果和人员操作，对出现的异常情况进行及时的警告。但是传统的基于计算机视觉的监测方法无法通过采集得到的图像信息，对装配过程中的力、力矩做出具体准确的判断，并且不能及时的将异常情况第一时间告知现场装配的工人。发明内容为了解决上述技术问题，本发明提供一种装配拧紧过程样本数据采集装置，该采集的数据能够用于机器学习，训练用于监测实际装配拧紧过程的深度学习网络。技术方案一装配拧紧过程样本采集系统，包括视频采集装置、可穿戴式肌电装置、扭矩采集装置以及第一计算机，所述视频采集装置采集视频信息并发送给第一计算机，所述肌电装置采集人体的肌电信号、惯性加速度信号和方位信号，然后发送给第一计算机，所述扭矩采集装置将采集到的操作人员拧紧螺母时的扭矩信息发送给第一计算机，所述第一计算机执行如下步骤：识别视频信息中人体的骨骼节点，并计算出各个骨骼节点的坐标信息；将骨骼节点坐标信息以及接收到的肌电信号、惯性加速度信号、方位信号、扭矩信息、视频信息均按照时间标签存储；从视频信息中按时间标签提取图片，将所述图片、肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息作为样本数据，将所述扭矩信息作为实测值，从而得到能用于机器学习的样本库。更优地，在样本库中创建图片信息集合和整合信息集合，将样本数据中的图片存入图片信息集合，将肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息存入整合信息集合；对图片信息集合和整合信息集合中的每一个样本数据设置扭矩标签，所述扭矩标签记载相同时间标签对应的扭矩信息。更优地，所述肌电装置包括肌电测量单元、惯性测量单元以及通信单元，所述肌电测量单元测量人体的肌电信号，所述惯性测量单元测量人体的惯性加速度信号和方位信号，所述肌电信号、惯性加速度信号和方位信号通过所述通信单元发送给第一计算机。更优地，所述扭矩采集装置包括可更换式螺栓配件、扭矩传感器、工作台以及信号处理单元，所述扭矩传感器固定于所述工作台上，所述可更换式螺栓配件安装在扭矩传感器的顶部，所述信号处理单元的一端与扭矩传感器的输出端口连接，另一端与第一计算机连接，所述扭矩传感器测量拧紧可更换式螺栓配件时产生的扭矩信号并以电压形式输出，所述信号处理单元接收所述电压信号并将其转化为数字信号，然后传输至所述第一计算机。更优地，所述可更换式螺栓配件由连接件和螺杆固定连接组成，所述连接件可拆卸固定在所述扭矩传感器上，测量时，在螺杆上旋入螺母，拧紧螺母，由扭矩传感器测得扭矩信号。为了解决上述技术问题，本发明提供一种深度学习网络，其能够双路卷积融合，通过样本训练能够计算出监测扭矩值。技术方案二采用技术方案一中的样本采集系统获得的样本库，采用技术方案一所述的样本采集系统获得的样本库，通过如下训练步骤进行训练：将样本库中的部分样本数据作为训练集，将训练集中的样本数据分为多组；所述深度学习网络包括输入层、输出层、卷积层和全连接层，首先，所述输入层接收一组整合信息集合和图像信息集合，该组整合信息集合中的样本数据进行第一卷积层的卷积运算，再通过第一全连接层展开后，得到第一一维特征值，该组图像信息集合的样本数据进行第二卷积层的卷积运算，再通过第二全连接层展开后，得到第二一维特征值，将第一一维特征值和第二一维特征值按各自的权重值进行特征融合，将融合后的特征值通过第三卷积层输出给输出层，得到深度学习网络计算的与时间标签对应的预测扭矩值，使用交叉熵损失函数计算预测扭矩值与扭矩标签的损失值，通过误差反向传播算法，将损失值传给深度学习网络进行优化，使下一组养足数据计算得到的损失值减小；重复进行上述过程，输入下一组样本数据，不断优化深度学习网络，减小损失值，使损失值减小到预设范围内，完成深度学习网络的收敛。更优地，将样本库中的另一部分样本数据作为测试集，利用测试集判断训练后的深度学习网络的计算正确率，测试步骤如下：将测试集中的样本数据输入所述深度学习网络，输出各时间标签对应的预测扭矩值，根据时间标签，比较预测扭矩值和扭矩标签的差值是否小于预设的第一阈值，若是，则判定识别正确，否则，判定识别错误；统计测试集的计算正确率，若大于预设的第二阈值，则判定所述深度学习模型训练完成，否则，通过样本采集系统再次采集样本数据，重复执行所述训练步骤。为了解决上述技术问题，本发明提供装配拧紧过程的监测系统，其监测过程不受监测现场和环境的限制，及时发现异常并第一时间告知操作人员。技术方案三装配拧紧过程的监测系统，包括图像采集装置、肌电穿戴设备以及第二计算机，所述图像采集装置采集监测现场操作人员装配拧紧时的操作视频并按设定的帧数转换为图像，然后发送给第二计算机，所述肌电穿戴设备采集人体的肌电信号、惯性加速度信号和方位信号，然后发送给第二计算机，所述第二计算机内加载技术方案二中的所述的深度学习网络，所述第二计算机执行如下步骤：识别图像中的人体的骨骼节点，并计算出各个骨骼节点的坐标信息；将骨骼节点的坐标信息、肌电信号、惯性加速度信号和方位信号输入到所述深度学习网络中，所述深度学习网络输出监测扭矩值，将监测扭矩值与预设的扭矩参考值进行比较，判断拧紧过程是否异常，若出现异常，则发出告警提示，实现对装配拧紧过程的实时监测和即时反馈。更优地，所述第二计算机还按照骨骼节点坐标信息生成骨骼节点的运动轨迹，根据骨骼节点的运动循环周期数计算出拧转螺栓的扭转圈数，将扭转圈数与预设的标准圈数阈值进行比较，如果监测扭矩值和扭转圈数均出现异常，则发出告警提示。更优地，所述肌电穿戴设备还包括震动输出单元，所述告警提示为第二计算机发出信号控制所述震动输出单元产生震动，提示工人检查操作情况。本发明具有如下有益效果：本发明装配拧紧过程样本采集系统，从视频中识别出的骨骼节点坐标，并采集人体在拧紧过程中的肌电信号、惯性加速度信号、方位信号，作为机器学习的输入样本，同时采集实测扭矩值作为输出样本，为机器学习提供了必不可少的样本库。本发明提供一种深度学习网络，通过样本训练使深度学习网络能够根据现场采集的操作图像和肌电设备采集的信息计算出扭矩值。本发明装配拧紧过程的监测系统，实现监测拧紧过程不受场地、环境限制，且监测过程不使用力矩传感器，能够对力矩信息和扭转圈数进行监测，并将异常情况第一时间反馈给操作人员。附图说明图1为本发明样本采集系统结构示意图；图2为本发明中扭矩采集装置示意图；图3为本发明中可更换式螺栓配件示意图；图4为本发明深度学习网络的训练流程图；图5为本发明深度学习网络的测试流程图；图6为本发明监测系统的结构示意图；图7为本发明监测系统的流程示意图。图中附图标记表示为：1、视频采集装置；2、肌电装置；3、扭矩采集装置；4、第一计算机；5、螺母；6、图像采集装置；7、肌电穿戴设备；8、第二计算机；31、可更换式螺栓配件；32、扭矩传感器；33、工作台；34、信号处理单元；311、连接件；312、螺杆。具体实施方式下面结合附图和具体实施例来对本发明进行详细的说明。实施例一请参阅图1，装配拧紧过程样本采集系统，包括视频采集装置1、可穿戴式肌电装置2、扭矩采集装置3以及第一计算机4，所述视频采集装置1采集视频信息并发送给第一计算机4，所述肌电装置2采集人体的肌电信号、惯性加速度信号和方位信号，然后发送给计第一算机4，所述扭矩采集装置3将采集到的操作人员拧紧螺母时的扭矩信息发送给的第一计算机4，所述第一计算机4执行如下步骤：识别视频信息中人体的骨骼节点，并计算出各个骨骼节点的坐标信息；将骨骼节点坐标信息以及接收到的肌电信号、惯性加速度信号、方位信号、扭矩信息、视频信息均按照时间标签存储；从视频信息中按时间标签提取图片，将所述图片、肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息作为样本数据，将所述扭矩信息作为实测值，从而得到能用于机器学习的样本库。在样本库中创建图片信息集合和整合信息集合，将样本数据中的图片存入图片信息集合，将肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息存入整合信息集合；对图片信息集合和整合信息集合中的每一个样本数据设置扭矩标签，所述扭矩标签记载相同时间标签对应的扭矩信息。图片信息是二维度三通道RGB信息。整合信息集合是一维度信息。两者无法直接放到一起进行处理。因此，将其分别存放在不同的集合中，可以分别通过各自的卷积层、全连接层计算得到一维的特征信息，提高机器学习的正确率。所述肌电装置2包括肌电测量单元、惯性测量单元以及通信单元，所述肌电测量单元测量人体的肌电信号，所述惯性测量单元测量人体的惯性加速度信号和方位信号，所述肌电信号、惯性加速度信号和方位信号通过所述通信单元发送给计算机。现有常用的可穿戴式肌电装置2可选用MYO腕带手势控制臂环，一般通过手部操作拧紧螺栓，因此，在佩戴时，将肌电装置2紧贴小臂。所述通信单元可以选择无线通信模块，例如蓝牙模块。请参阅图2和图3，所述扭矩采集装置3包括可更换式螺栓配件31、扭矩传感器32、工作台33以及信号处理单元34，所述扭矩传感器32固定于所述工作台33上，所述可更换式螺栓配件31安装在扭矩传感器32的顶部，所述信号处理单元34的一端与扭矩传感器32的输出端口连接，另一端与第一计算机4连接，所述扭矩传感器32测量拧紧可更换式螺栓配件31上的螺母5时产生的扭矩信号并以电压形式输出，所述信号处理单元34接收所述电压信号并将其转化为数字信号，然后传输至所述第一计算机4。所述可更换式螺栓配件31由连接件311和螺杆312固定连接组成，所述连接件311可拆卸固定在所述扭矩传感器32上，测量时，在螺杆312上旋入螺母5，拧紧螺母5，由扭矩传感器32测得扭矩信号。需要采样不同规格螺母5拧紧过程的样本数据，只需更可更换式螺栓配件31即可。装配拧紧过程样本采集装置的工作步骤如下：S1、更换可更换式螺栓配件31；S2、操作者开始拧紧可更换式螺栓配件31，所述视频采集装置1采集视频信息并发送给的第一计算机4，所述肌电装置2采集人体的肌电信号、惯性加速度信号和方位信号，然后发送给第一计算机4，所述扭矩采集装置3将采集到的扭矩信息发送给第一计算机4；S3、第一计算机4识别视频信息中人体的骨骼节点，并计算出各个骨骼节点的坐标信息；将骨骼节点坐标信息以及接收到的肌电信号、惯性加速度信号、方位信号、扭矩信息、视频信息均按照时间标签存储；从视频信息中按时间标签提取图片并按时间标签存储图片；获得一个样本数据；S4、重复步骤S1至S3生成多个样本数据组成的样本库；S5、对样本库中的样本数据进行分类：在样本库中创建图片信息集合和整合信息集合，将样本数据中的图片存入图片信息集合，将肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息存入整合信息集合；S6、对样本库中的每一个样本数据进行噪声处理；S7、设置样本数据的标签：对图片信息集合和整合信息集合中的每一个样本数据设置扭矩标签，所述扭矩标签记载相同时间标签对应的扭矩信息。本实施例中，装配拧紧过程样本采集系统从视频中识别出的骨骼节点坐标，并采集人体在拧紧过程中的肌电信号、惯性加速度信号、方位信号，作为机器学习的输入样本，同时采集实测扭矩值作为输出样本，为机器学习提供了必不可少的样本库。实施例二请参阅图4，一种深度学习网络，采用实施例一的样本采集系统获得的样本库，通过如下训练步骤进行训练：将样本库中的部分样本数据作为训练集，将训练集中的样本数据分为多组；所述深度学习网络包括输入层、输出层、卷积层和全连接层，首先，所述输入层接收一组整合信息集合和图像信息集合，该组整合信息集合中的样本数据进行第一卷积层的卷积运算，再通过第一全连接层展开后，得到第一一维特征值，该组图像信息集合的样本数据进行第二卷积层的卷积运算，再通过第二全连接层展开后，得到第二一维特征值，将第一一维特征值和第二一维特征值按各自的权重值进行特征融合，将融合后的特征值通过第三卷积层输出给输出层，得到深度学习网络计算的与时间标签对应的预测扭矩值，使用交叉熵损失函数计算预测扭矩值与扭矩标签的损失值，通过误差反向传播算法，将损失值传给深度学习网络进行优化，使下一组养足数据计算得到的损失值减小；重复进行上述过程，输入下一组样本数据，不断优化深度学习网络，减小损失值，使损失值减小到预设范围内，完成深度学习网络的收敛。请参阅图5，更优地，将样本库中的另一部分样本数据作为测试集，利用测试集判断训练后的深度学习网络的计算正确率，测试步骤如下：将测试集中的样本数据输入所述深度学习网络，输出各时间标签对应的预测扭矩值，根据时间标签，比较预测扭矩值和扭矩标签的差值是否小于预设的第一阈值，若是，则判定识别正确，否则，判定识别错误；统计测试集的计算正确率，若大于预设的第二阈值，则判定所述深度学习模型训练完成，否则，通过样本采集系统再次采集样本数据，重复执行所述训练步骤。比较深度学习网络的预测扭矩值和实测的扭矩信息，具体如公式1所示，如果两扭矩差值小于预设的第一阈值，则说明预测正确，反之，则说明预测错误。公式1：|T-T0|≤m，公式1中T表示深度学习网络的预测扭矩值，T0表示实际测量得到的扭矩信息，m表示第一阈值。本实施例一种深度学习网络，重复执行样本数据采集、训练步骤、测试步骤，提升深度学习网络的计算正确率，使深度学习网络达到期望效果。实施例三请参阅图6和图7，装配拧紧过程的监测系统，包括图像采集装置6、肌电穿戴设备7以及第二计算机8，所述图像采集装置6采集监测现场操作人员装配拧紧时的操作视频并按设定的帧数转换为图像，然后发送给第二计算机8，所述肌电穿戴设备7采集人体的肌电信号、惯性加速度信号和方位信号，然后发送给第二计算机8，所述第二计算机8内加载实施例二中的深度学习网络，所述第二计算机8执行如下步骤：识别图像中的人体的骨骼节点，并计算出各个骨骼节点的坐标信息；将骨骼节点的坐标信息、肌电信号、惯性加速度信号和方位信号输入到所述深度学习网络中，所述深度学习网络输出监测扭矩值，将监测扭矩值与预设的扭矩参考值进行比较，判断拧紧过程是否异常，若出现异常，则发出告警提示，实现对装配拧紧过程的实时监测和即时反馈。更优地，所述第二计算机8还按照骨骼节点坐标信息生成骨骼节点的运动轨迹，根据骨骼节点的运动循环周期数计算出拧转螺栓的扭转圈数，将扭转圈数与预设的标准圈数阈值进行比较，如果监测扭矩值和扭转圈数均出现异常，则发出告警提示。通过监测扭矩值和扭转圈数双重指标认定异常情况，提高告警准确率。本实施例装配拧紧过程的监测系统，在监测现场设置图像采集装置6采集拧紧过程图像，在操作人员手臂上穿戴肌电穿戴设备7采集拧紧过程人体的肌电信号、惯性加速度信号和方位信号，深度学习网络根据采集到的数据计算出监测扭矩值，将其与预设的扭矩参考值进行比较，即可判断拧紧过程是否异常。监测过程不使用力矩传感器，能够对力矩信息和扭转圈数进行监测，并将异常情况第一时间反馈给操作人员。所述肌电穿戴设备7包括肌电测量单元、惯性测量单元、震动输出单元以及通信单元，所述肌电测量单元测量人体的肌电信号，所述惯性测量单元测量人体的惯性加速度信号和方位信号，所述肌电信号、惯性加速度信号和方位信号通过所述通信单元发送给第二计算机8。所述通信单元可以选择无线通信模块，例如蓝牙模块。所述告警提示为第二计算机8发出震动控制信号，所述通信单元接收并发送至所述震动输出单元，控制震动输出单元产生震动，提示工人检查操作情况，实现对装配拧紧过程的即时反馈和实时监测。以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

权利要求：1.装配拧紧过程样本采集系统，其特征在于，包括视频采集装置（1）、可穿戴式肌电装置（2）、扭矩采集装置（3）以及第一计算机（4），所述视频采集装置（1）采集视频信息并发送给第一计算机（4），所述肌电装置（2）采集人体的肌电信号、惯性加速度信号和方位信号，然后发送给第一计算机（4），所述扭矩采集装置（3）将采集到的操作人员拧紧螺母时的扭矩信息发送给第一计算机（4），所述第一计算机（4）执行如下步骤：识别视频信息中人体的骨骼节点，并计算出各个骨骼节点的坐标信息；将骨骼节点坐标信息以及接收到的肌电信号、惯性加速度信号、方位信号、扭矩信息、视频信息均按照时间标签存储；从视频信息中按时间标签提取图片，将所述图片、肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息作为样本数据，将所述扭矩信息作为实测值，从而得到能用于机器学习的样本库。2.根据权利要求1所述的装配拧紧过程样本采集系统，其特征在于：在样本库中创建图片信息集合和整合信息集合，将样本数据中的图片存入图片信息集合，将肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息存入整合信息集合；对图片信息集合和整合信息集合中的每一个样本数据设置扭矩标签，所述扭矩标签记载相同时间标签对应的扭矩信息。3.根据权利要求1所述的装配拧紧过程样本采集系统，其特征在于：所述肌电装置（2）包括肌电测量单元、惯性测量单元以及通信单元，所述肌电测量单元测量人体的肌电信号，所述惯性测量单元测量人体的惯性加速度信号和方位信号，所述肌电信号、惯性加速度信号和方位信号通过所述通信单元发送给第一计算机（4）。4.根据权利要求1所述的装配拧紧过程样本采集系统，其特征在于：所述扭矩采集装置（3）包括可更换式螺栓配件（31）、扭矩传感器（32）、工作台（33）以及信号处理单元（34），所述扭矩传感器（32）固定于所述工作台（33）上，所述可更换式螺栓配件（31）安装在扭矩传感器（32）的顶部，所述信号处理单元（34）的一端与扭矩传感器（32）的输出端口连接，另一端与第一计算机（4）连接，所述扭矩传感器（32）测量拧紧可更换式螺栓配件（31）时产生的扭矩信号并以电压形式输出，所述信号处理单元（34）接收所述电压信号并将其转化为数字信号，然后传输至所述第一计算机（4）。5.根据权利要求4所述的装配拧紧过程样本采集系统，其特征在于：所述可更换式螺栓配件（31）由连接件（311）和螺杆（312）固定连接组成，所述连接件（311）可拆卸固定在所述扭矩传感器（32）上，测量时，在螺杆（312）上旋入螺母（5），拧紧螺母（5），由扭矩传感器（32）测得扭矩信号。6.一种深度学习网络，其特征在于：采用权利要求1至5项所述的样本采集系统获得的样本库，通过如下训练步骤进行训练：将样本库中的部分样本数据作为训练集，将训练集中的样本数据分为多组；所述深度学习网络包括输入层、输出层、卷积层和全连接层，首先，所述输入层接收一组整合信息集合和图像信息集合，该组整合信息集合中的样本数据进行第一卷积层的卷积运算，再通过第一全连接层展开后，得到第一一维特征值，该组图像信息集合的样本数据进行第二卷积层的卷积运算，再通过第二全连接层展开后，得到第二一维特征值，将第一一维特征值和第二一维特征值按各自的权重值进行特征融合，将融合后的特征值通过第三卷积层输出给输出层，得到深度学习网络计算的与时间标签对应的预测扭矩值，使用交叉熵损失函数计算预测扭矩值与扭矩标签的损失值，通过误差反向传播算法，将损失值传给深度学习网络进行优化，使下一组养足数据计算得到的损失值减小；重复进行上述过程，输入下一组样本数据，不断优化深度学习网络，减小损失值，使损失值减小到预设范围内，完成深度学习网络的收敛。7.根据权利要求6所述的一种深度学习网络，其特征在于：将样本库中的另一部分样本数据作为测试集，利用测试集判断训练后的深度学习网络的计算正确率，测试步骤如下：将测试集中的样本数据输入所述深度学习网络，输出各时间标签对应的预测扭矩值，根据时间标签，比较预测扭矩值和扭矩标签的差值是否小于预设的第一阈值，若是，则判定识别正确，否则，判定识别错误；统计测试集的计算正确率，若大于预设的第二阈值，则判定所述深度学习模型训练完成，否则，通过样本采集系统再次采集样本数据，重复执行所述训练步骤。8.装配拧紧过程的监测系统，其特征在于：包括图像采集装置（6）、肌电穿戴设备（7）以及第二计算机（8），所述图像采集装置（6）采集监测现场操作人员装配拧紧时的操作视频并按设定的帧数转换为图像，然后发送给第二计算机（8），所述肌电穿戴设备（7）采集人体的肌电信号、惯性加速度信号和方位信号，然后发送给第二计算机（8），所述第二计算机（8）内加载权利要求6所述的深度学习网络，所述第二计算机（8）执行如下步骤：识别图像中的人体的骨骼节点，并计算出各个骨骼节点的坐标信息；将骨骼节点的坐标信息、肌电信号、惯性加速度信号和方位信号输入到所述深度学习网络中，所述深度学习网络输出监测扭矩值，将监测扭矩值与预设的扭矩参考值进行比较，判断拧紧过程是否异常，若出现异常，则发出告警提示，实现对装配拧紧过程的实时监测和即时反馈。9.根据权利要求8所述的装配拧紧过程的监测系统，其特征在于：所述第二计算机（8）还按照骨骼节点坐标信息生成骨骼节点的运动轨迹，根据骨骼节点的运动循环周期数计算出拧转螺栓的扭转圈数，将扭转圈数与预设的标准圈数阈值进行比较，如果监测扭矩值和扭转圈数均出现异常，则发出告警提示。10.根据权利要求8或9所述的装配拧紧过程的监测系统，其特征在于：所述肌电穿戴设备（7）还包括震动输出单元，所述告警提示为第二计算机（8）发出信号控制所述震动输出单元产生震动，提示工人检查操作情况。

百度查询： 青岛理工大学 装配拧紧过程样本采集系统、深度学习网络及监测系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD