申请/专利权人：杭州易舞科技有限公司

申请日：2018-04-20

公开（公告）日：2021-04-13

公开（公告）号：CN108734104B

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101);G06K9/62(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.13#授权;2018.11.27#实质审查的生效;2018.11.02#公开

摘要：本发明公开了一种基于深度学习图像识别的健身动作纠错方法，包括以下步骤：接收从健身视频中截取的每帧健身图像，记录每帧健身图像对应的时间，并对每帧健身图像进行预处理；将预处理后的健身图像输入到人体关节识别模型中，经所述人体关节识别模型计算，输出健身图像中包含的每个人体关节及其位置坐标；将各个关节根据坐标位置有序连线，得到人体骨架图；根据标准健身动作对所述人体骨架图进行比对分析，输出不标准健身图像以实现对健身动作的纠错。本发明还公开了一种基于深度学习图像识别的健身动作纠错系统。该系统和方法能够处理真实有效地解决就有无音乐节奏的健身动作之间的难以对比的问题。

主权项：1.一种基于深度学习图像识别的健身动作纠错方法，包括以下步骤：接收从无音乐节奏的健身视频中截取的每帧健身图像，记录每帧健身图像对应的时间，并对每帧健身图像进行预处理；将预处理后的健身图像输入到以VGG网络结构为基础，经训练获得的人体关节识别模型中，所述VGG网络结构包括依次连接输出层、的224*224*64第一卷积层、112*112*128第一最大池化层、112*112*128第二卷积层、112*112*128第三卷积层、56*56*256第二最大池化层、56*56*256第四卷积层、56*56*256第五卷积层、56*56*256第六卷积层、56*56*256第七卷积层、14*14*512第三最大池化层、14*14*512第八卷积层、14*14*512第九卷积层、14*14*512第十卷积层、14*14*512第十一卷积层、1*1*448全连接输出层，所述全连接输出层分成两个独立的部分，每部分分别与独立的损失函数相连接，以计算模型的预测x坐标和y坐标与训练目标的误差，后向传播时，两个损失函数独立计算向后传播子梯度，并将两个子梯度之和作为全连接输出层的后向传播梯度；经所述人体关节识别模型计算，输出健身图像中包含的每个人体关节及其位置坐标，将各个关节根据坐标位置有序连线，得到人体骨架图；根据标准健身动作对所述人体骨架图进行比对分析，将每帧人体骨架图按照时间顺序进行记录，将健身动作中的关键动作与标准关键动作的角度、幅度进行对比，以关键动作与标准关键动作的角度、幅度的差异程度来确定关键动作分值，并将多个关键动作分值的平均值作为总体健身动作的总分值，将总分值低于阈值的人体骨架图对应的健身图像作为不标准健身图像。

全文数据：基于深度学习图像识别的健身动作纠错方法及系统技术领域[0001]本发明属于图像处理技术领域，具体涉及一种基于深度学习图像识别的健身动作纠错方法及系统。背景技术[0002]随着经济发展和人们生活水平的提高，人们的健身意识逐渐增强，人们越来越重视身体素质的提高。但由于健身场地的限制、健身教练费用昂贵等因素的影响，很多健身者没有足够的机会学习专业的健身动作，因此健身者的健身运动并未达到预期的效果。[0003]对于当前的健身运动可按照有音乐节奏和无音乐节奏进行划分，例如健身房中的大部分单功能和多功能的健身器材所进行的是无音乐节奏的健身运动，健身者并没有受到在动作的快慢上有着严格的时间要求。然而对比另一些户外运动，如广场舞、健身操等健身运动项目，是同时多人跟着音乐的节拍来进行健身锻炼的，这些运动项目对于动作的时间把握上要求严格，可以说是一个节拍对应一个动作。[0004]公开号为CN101791466A的发明专利公开了一种带有教练功能的智能健身系统，包括至少一个传感器、至少一个智能控制器和一个管理计算机。传感器设置在健身器材上。智能控制器设置在便于健身者观察的位置，且每个健身器材配置一个智能控制器。每个智能控制器又进一步包括显示屏和中央控制板。中央控制板与显示屏相连。管理计算机与所有的智能控制器相连，其又进一步包括数据库和管理单元。数据库用于存放健身教程数据以及纠错信息。管理单元与数据库相连，用于将数据库中的健身教程数据传输给相应的智能控制器，以及根据传感器采集的健身信息，从该数据库中提取出相应的纠错信息，并发送给相应的智能控制器。[0005]上述专利公开的技术内容虽然可提高力量型健身器材的健身效果，但是该技术方案是基于健身器材上的传感器来采集健身者的动作信息，需要每个健身器材得安装多个传感器才能采集到健身者的关键部位的运动信息，且采集信息很难做到全面，再者传感器价格比较昂贵、易受周围环境的影响、容易损坏，这样在增加健身成本的同时并不能给健身者带来动作上的较为全面的改进提示。[0006]当前市场上的健身系统方案只是提出在显示屏上播放健身教练的标准健身动作，并不能告诉健身者在做健身运动时动作上的不足。若健身者的动作没有其他人的指导，是很难发现自己错误或者不标准的动作的。因此，就如何能够方便准确地给出健身者在动作上有效准确的指导，是目前健身系统需要解决的问题。发明内容[0007]本发明的目的是提供一种基于深度学习图像识别的健身动作纠错方法及系统，以解决健身者在健身动作上缺少指导性建议的问题。[0008]为实现上述发明目的，本发明提供以下技术方案：[0009]—种基于深度学习图像识别的健身动作纠错系统，包括以下步骤：[0010]接收从健身视频中截取的每帧健身图像，记录每帧健身图像对应的时间，并对每帧健身图像进行预处理；[0011]将预处理后的健身图像输入到人体关节识别模型中，经所述人体关节识别模型计算，输出健身图像中包含的每个人体关节及其位置坐标；[0012]将各个关节根据坐标位置有序连线，得到人体骨架图；[0013]根据标准健身动作对所述人体骨架图进行比对分析，输出不标准健身图像以实现对健身动作的纠错。[0014]本发明中，利用训练好的人体关节识别模型对健身图像进行关节标定和骨架化分析处理，获得每个人体关节及其位置坐标，然后，将根据人体关节构建的人体关节骨架与正确的健身动作进行关节角度对比分析，将动作不标准的部分以错误动作图片和错误动作时间的的形式返回健身者，使得健身者能够及时了解到自己的错误动作，并及时改正自己不足的健身动作。[0015]优选地，所述人体关节识别模型是以VGG网络结构为基础，经训练获得。[0016]具体地，所述VGG网络结构包括依次连接输出层、的224*224*64第一卷积层、112*112*128第一最大池化层、112*112*128第二卷积层、112*112*128第三卷积层、56*56*256第二最大池化层、56*56*256第四卷积层、56*56*256第五卷积层、56*56*256第六卷积层、56*56*256第七卷积层、14*14*512第三最大池化层、14*14*512第八卷积层、14*14*512第九卷积层、14*14*512第十卷积层、14*14*512第^卷积层、1*1*448全连接输出层，所述全连接输出层分成两个独立的部分，每部分分别与独立的损失函数相连接，以计算模型的预测X坐标和y坐标与训练目标的误差，后向传播时，两个损失函数独立计算向后传播子梯度，并将两个子梯度之和作为全连接输出层的后向传播梯度。[0017]在上述VGG网络结构构建好后，选取MSCOCO数据集中人体关节明显的数据作为训练集，对VGG网络结构进行训练，直到损失收敛，即损失降到一定程度后不再降低，获得可准确定位人体关节的人体关节识别模型。[0018]优选地，所述根据标准健身动作对所述人体骨架图进行比对分析包括：[0019]当健身图像截取于有音乐节奏的健身视频时，在标准健身视频中截取与每帧健身图像对应时间相同的标准健身图像后，将每帧健身图像对应的人体骨架图与标准健身图像中的标准健身动作进行对比分析，以确定健身动作的错误。[0020]在音乐节奏的领导下，健身者在每一个时刻会做相同的健身动作，将健身者每一时刻的健身动作与这次时刻的标准动作进行比较，即可以获得健身者的健身动作是否标准，这样方式，比对算法简单，且比对精确，能够最有效地判断健身动作的错误性，以实现对健身者的不标准动作的纠错。[0021]具体地，在将每帧健身图像对应的人体骨架图与标准健身图像中的标准健身动作进行对比分析后，确定每帧人体骨架图中健身动作的分值，并将连续多帧人体骨架图对应分值的平均值作为连续多帧人体骨架图呈现的总体健身动作的总分值，将总分值低于阈值的人体骨架图对应的健身图像作为不标准健身图像。[0022]采用简单的评分制对健身动作的标准性进行评判，既能够提高比对的效率，又能够获得较准确的比对结果。[0023]优选地，所述根据标准健身动作对所述人体骨架图进行比对分析包括：[0024]当健身图像截取于有无音乐节奏的健身视频时，将每帧人体骨架图按照时间顺序进行记录，将健身动作中的关键动作与标准关键动作的角度、幅度进行对比，以关键动作与标准关键动作的角度、幅度的差异程度来确定关键动作分值，并将多个关键动作分值的平均值作为总体健身动作的总分值，将总分值低于阈值的人体骨架图对应的健身图像作为不标准健身图像。[0025]在无音乐节奏的健身视频中，由于不能根据音乐节奏去确定每个健身动作的标准性，因此，采用比对关键动作的角度和幅度的方式。关键动作是指动作伸展性比较大的健身动作。针对于无音乐节奏领导的健身动作，采用这种方式同样能够较准确地获得比对结果，以实现对健身动作的纠错。[0026]优选地，输出不标准健身图像的同时，还输出与该不标准健身图像对应的标准健身图像和时间。通过标准健身图像与不标准健身图像能够很直接明了地提醒健身者纠正错误动作。[0027]优选地，所述对每帧健身图像进行预处理包括：[0028]调整每帧健身图像到同一尺寸；[0029]将每帧健身图像转换成灰度图。[0030]一种基于深度学习图像识别的健身动作纠错系统，其特征在于，包括：[0031]接收单元，接收从健身视频中截取的每帧健身图像，记录每帧健身图像对应的时间；[0032]预处理单元，调整接收的每帧健身图像至相同尺寸，并转换每帧健身图像至灰度图；[0033]训练好的人体关节识别模型，对输入的预处理后的健身图像进行计算，获得健身图像中包含的每个人体关节及其位置坐标并输出；[0034]人体骨架图生成单元，对各个关节根据坐标位置有序连线，得到人体骨架图；[0035]比对单元，标准健身动作对所述人体骨架图进行比对分析，获得不标准健身图像；[0036]输出单元，将所述不标准健身图像输出。[0037]本发明的技术构思为:基于深度学习图像识别的健身动作纠错方法。首先训练VGG模型得到图像中的关节位置关系。然后分别区分有无音乐节奏给出相应的关节位置关系分析方法，实现将动作对比的抽象问题数量化具体化，完成动作比对。最后给健身者相应的动作指导。[0038]本发明的有益效果主要表现在:能够处理真实有效地解决就有无音乐节奏的健身动作之间的难以对比的问题。在真实数据集上的实验结果表明，该方法能够准确地提取健身者的关节点的位置信息，在健身动作上，能准确比较出标准动作与学习者之间的位置关系差异给出打分。附图说明[0039]图1是本发明提供的基于深度学习图像识别的健身动作纠错方法的流程图；[0040]图2是本发明提供的人体关节识别模型的网络结构图；[0041]图3是本发明所提取的人体关节位置和骨架标定图；[0042]图4是本发明提供的人体骨架图；[0043]图5是本发明提供的对有音乐节奏的健身动作的对比流程图；[0044]图6是本发明提供的对无音乐节奏的健身动作的对比流程图。具体实施方式[0045]为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。[0046]为解决现有技术中健身动作不能得到很好地纠正问题，本实施例提供的基于深度学习图像识别的健身动作纠错方法的流程图如图1所示，具体地，该健身动作纠错方法包括两个阶段，一个是人体关节识别模型建立阶段，另一个是健身动作纠错阶段。[0047]人体关节识别模型建立阶段：[0048]该阶段主要是人体关节模型的建立，该过程可以是线下的，也可以是线上的，具体地，采用MSCOCO数据集中的人体关节明显的数据作为训练集，对如图2所示的VGG网络进行训练。[0049]具体地，该阶段包括以下过程：[0050]图像数据直接使用MSCOCO中的标注好的的数据集，从官网获取;数据集对于人体关节如图3所示，主要有:鼻子，左目，右目，左耳，右耳，左肩，右肩，左肘，右肘，左手首，右手首，左腰，右腰，左膝，右膝，左脚首，右脚首，依次编号为1-18;对输入图片的尺寸，指定图片的长和宽标准分别为x*，y*，图片的实际长和宽为x，y，比较-的大小，如果大，固定X不变为y加padding，使得的大小相等，同理，如果大，固定y不变为x加padding，最后resize到指定的大小。[0051]对人体关节图像特征进行提取;人体关节的特征学习是通过卷积神经网络从大量样本中训练学习得到的;在模型的运行阶段，模型从图像中提取特征;本实施例使用12个卷积层来提取图像中的特征;并且为了减少最后全连接层的参数，加快计算速度和为了防止过拟合的发生，使用了三个池化层即MaxPooling操作;如图2所示，具体的网络结构为：[0052]输入层大小为224X224X3,输入图片的长宽均为224个像素的RGB图像；[0053]在第一层卷积层使用小卷积核Kernel为3X3,实验证明小卷积核能够表达出输入数据中更多个特征，多个卷积层与非线性的激活层交替的结构，比单一卷积层的结构更能提取出深层的更好的特征;接下来是池化层；[0054]第三，四层是卷积层，使用3X3卷积核，输出都是128维，第五层为池化层，使用2X2的过滤器，步长为2;[0055]接下来是四个卷积层，都是采用3X3小卷积核，输出为256维；[0056]第十层为池化层使用的2X2过滤器，步长为2;[0057]接下来四个卷积层，输出维度分别为512，512，256，128;[0058]本发明通过两个全连接层实现非线性变换;输入是上述生成的128个特征，它们以全连接的方式连接到第十五层全连接层），再以全连接的方式连接到第十六层输出层）；输出层被分隔为两个独立的部分，分别表示图像的两个坐标;在训练的时候，这两个独立的部分分别设置一个softmax损失函数来指导模型的学习；[0059]输出层是全连接层，神经元个数为448个，输出层后连接损失层，损失层只用于训练神经网络；[0060]损失层是两个softmaxloss损失函数，第一个softmaxloss连接到输出层的前224个神经元，第二个softmaxloss链接到输出层的后224个神经元;输出层的每个神经元表示图像坐标系下一个像素的X坐标，输出层的每个神经元表示图像坐标系下一个像素的y坐标;通X和y的响应可以唯一确定一个图像坐标系下的一个像素点。[0061]上述人体关节识别模型训练好后，即进入健身动作纠错阶段，该阶段的具体过程为：[0062]将摄像头捕获到的视频数据进行每秒50帧的截帧处理，得到每秒50张的图像数据，利用上述图像预处理方法对图像的大小进行预处理，将图像数据输入到人体关节识别模型中，输出为各个关节的位置坐标，再将各个关节根据坐标位置有序连线，得到人体骨架图，如图4所示，并保存每张图片的在视频中的时间数据；[0063]若处理的是有音乐节奏的健身视频，执行如图5所示的过程，确定不标准图片。具体地，由上述获得视频数据截帧后的图像数据的每帧中的人体关节位置数据;人体各个关节之间的骨架连线角度按照逆时针计算，如图3所示，以右肘为顶角的角度大约为75度，以左肘为顶角的角度大约为105度;关于健身动作的关键关节角度选取以下8个角度，8个角度的顶点分别如图3中的：右肘，左肘，右肩，左肩，右腰，左腰，右膝，左膝；当人体在进行健身运动时，关节的角度AAngle会随着时间不断进行变化，将这个变化过程记录下来，映射到二维坐标轴上，将得到一个关节角度变化波WWave，统计变化波的频率可以得到该关节的运动频率f，统计该波的振幅A可以得到该关节的运动幅度情况；[0064]将健身动作分为两大类，分别是以上肢动作为主的健身和以下肢为主的健身；以上肢为主的健身动作为上肢关节角度变化波的频率高于以下肢为主的健身动作，同理，以下肢为主的健身动作为下肢关节角度变化波的频率高于上肢；关于上下肢的健身舞蹈动作，通过调研分析和实验证明，发现肘关节和肩关节的关节角度变化波几乎是同频率的但幅度大小不一样，同样，腰关节和膝关节也是频率相等，振幅不一样;通常是肘关节角度变化幅度大于肩关节，膝关节大于腰关节;在统计频率实验中，振幅越大，频率计算的误差越小；因此通过选取肘关节和膝关节的角度变化波的频率来对动作进行以上肢和下肢为主的动作分类;对于上下肢的频率分别为两肘和两膝之和;关于两个人的健身动作行为骨架差异性对比主要是比较上述的8个关节角度差之和;如公式（1:[0065]⑴[0066]Al为运动者1，A2为运动者2,i分别上述的8个关节，score为Al和A2的动作差异性打分;记每帧的得分为^，视频的总时间是η秒，健身运动者的总的平均打分如公式⑵：[0067]2[0068]再根据健身教练的标准健身视频对采集到的健身者的健身视频进行逐帧关节位置坐标之间的关系进行对比分析，确定出每帧的动作打分，将关节角度差之和大的动作以图片的形式返回用户。[0069]若处理的是无音乐节奏的健身视频，执行如图6所示的过程，确定不标准图片。具体地，由上述获得视频数据截帧后的图像数据的每帧中的人体关节位置数据，对各个骨架随时间的变化规律进行记录，画出关节角度变化波，再比较角度变化波并计算健身者动作与标准动作的极限差异角的大小来进行动作评分；[0070]无音乐节奏，即动作的快慢对于动作的评判无较大影响，但是对于动作的幅度要求严格，通过比较不同健身者对于上述的关节角度变化波的波峰与波谷之间的峰值差异来进行打分，公式3所示为某个关节k的打分；_]3[0072]其中，m为健身者1和健身者2做相同动作的波峰数量，η为健身者1和健身者2做相同动作的波谷数量，其中IAl1-AS11为极限差异角，最终的打分为平均每个动作的关节角度偏差量；[0073]在确定不标准动作图片后，向健身用户反馈不标准动作图片和不标准动作时间，帮助用户进行健身动作的矫正。[0074]本实施例还提供一种基于深度学习图像识别的健身动作纠错系统，包括：[0075]接收单元，接收从健身视频中截取的每帧健身图像，记录每帧健身图像对应的时间；[0076]预处理单元，调整接收的每帧健身图像至相同尺寸，并转换每帧健身图像至灰度图；[0077]训练好的人体关节识别模型，对输入的预处理后的健身图像进行计算，获得健身图像中包含的每个人体关节及其位置坐标并输出；[0078]人体骨架图生成单元，对各个关节根据坐标位置有序连线，得到人体骨架图；[0079]比对单元，标准健身动作对所述人体骨架图进行比对分析，获得不标准健身图像；[0080]输出单元，将所述不标准健身图像输出。[0081]以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

权利要求：1.一种基于深度学习图像识别的健身动作纠错方法，包括以下步骤：接收从健身视频中截取的每帧健身图像，记录每帧健身图像对应的时间，并对每帧健身图像进行预处理；将预处理后的健身图像输入到人体关节识别模型中，经所述人体关节识别模型计算，输出健身图像中包含的每个人体关节及其位置坐标；将各个关节根据坐标位置有序连线，得到人体骨架图；根据标准健身动作对所述人体骨架图进行比对分析，输出不标准健身图像以实现对健身动作的纠错。2.如权利要求1所述的基于深度学习图像识别的健身动作纠错方法，其特征在于，所述人体关节识别模型是以VGG网络结构为基础，经训练获得。3.如权利要求2所述的基于深度学习图像识别的健身动作纠错方法，其特征在于，所述VGG网络结构包括依次连接输出层、的224*224*64第一卷积层、112*112*128第一最大池化层、112*112*128第二卷积层、112*112*128第三卷积层、56*56*256第二最大池化层、56*56*256第四卷积层、56*56*256第五卷积层、56*56*256第六卷积层、56*56*256第七卷积层、14*14*512第三最大池化层、14*14*512第八卷积层、14*14*512第九卷积层、14*14*512第十卷积层、14*14*512第^^一卷积层、1*1*448全连接输出层，所述全连接输出层分成两个独立的部分，每部分分别与独立的损失函数相连接，以计算模型的预测X坐标和y坐标与训练目标的误差，后向传播时，两个损失函数独立计算向后传播子梯度，并将两个子梯度之和作为全连接输出层的后向传播梯度。4.如权利要求1所述的基于深度学习图像识别的健身动作纠错方法，其特征在于，所述根据标准健身动作对所述人体骨架图进行比对分析包括：当健身图像截取于有音乐节奏的健身视频时，在标准健身视频中截取与每帧健身图像对应时间相同的标准健身图像后，将每帧健身图像对应的人体骨架图与标准健身图像中的标准健身动作进行对比分析，以确定健身动作的错误。5.如权利要求4所述的基于深度学习图像识别的健身动作纠错方法，其特征在于，在将每帧健身图像对应的人体骨架图与标准健身图像中的标准健身动作进行对比分析后，确定每帧人体骨架图中健身动作的分值，并将连续多帧人体骨架图对应分值的平均值作为连续多帧人体骨架图呈现的总体健身动作的总分值，将总分值低于阈值的人体骨架图对应的健身图像作为不标准健身图像。6.如权利要求1所述的基于深度学习图像识别的健身动作纠错方法，其特征在于，所述根据标准健身动作对所述人体骨架图进行比对分析包括：当健身图像截取于有无音乐节奏的健身视频时，将每帧人体骨架图按照时间顺序进行记录，将健身动作中的关键动作与标准关键动作的角度、幅度进行对比，以关键动作与标准关键动作的角度、幅度的差异程度来确定关键动作分值，并将多个关键动作分值的平均值作为总体健身动作的总分值，将总分值低于阈值的人体骨架图对应的健身图像作为不标准健身图像。7.如权利要求1所述的基于深度学习图像识别的健身动作纠错方法，其特征在于，输出不标准健身图像的同时，还输出与该不标准健身图像对应的标准健身图像和时间。8.如权利要求1所述的基于深度学习图像识别的健身动作纠错方法，其特征在于，所述对每帧健身图像进行预处理包括：调整每帧健身图像到同一尺寸；将每帧健身图像转换成灰度图。9.一种基于深度学习图像识别的健身动作纠错系统，其特征在于，包括：接收单元，接收从健身视频中截取的每桢健身图像，记录每桢健身图像对应的时间；预处理单元，调整接收的每帧健身图像至相同尺寸，并转换每帧健身图像至灰度图；训练好的人体关节识别模型，对输入的预处理后的健身图像进行计算，获得健身图像中包含的每个人体关节及其位置坐标并输出；人体骨架图生成单元，对各个关节根据坐标位置有序连线，得到人体骨架图；比对单元，标准健身动作对所述人体骨架图进行比对分析，获得不标准健身图像；输出单元，将所述不标准健身图像输出。

百度查询： 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD