申请/专利权人：广东省智能制造研究所

申请日：2018-04-08

公开（公告）日：2020-11-24

公开（公告）号：CN108564599B

主分类号：G06T7/246(20170101)

分类号：G06T7/246(20170101);G06T7/254(20170101);G06T7/269(20170101);G06T7/66(20170101)

优先权：

专利状态码：有效-授权

法律状态：2020.11.24#授权;2018.10.23#实质审查的生效;2018.09.21#公开

摘要：一种人体运动速度估计方法，包括步骤：获取视频图像中的人体结构框架；序列化N个关节点；计算各关节点速度大小和方向，利用连续帧间权重递增法估计下一帧关节点的运动速度；计算人体躯干重心位置，得到当前人体躯干重心的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度；将人体结构框架划分为6个部位，每个部位包含至少一个关节点；利用提出的关节点‑轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。本发明能够较为精确的估计人体的运动速度，广泛应用于各个行业领域的人体运动分析。

主权项：1.一种人体运动速度估计方法，包括以下步骤：S1,获取视频图像中的人体结构框架，人体结构框架上设定N个关节点；S2,序列化N个关节点，序列化的数据有[f,j,x,y,θ,v]，其中f表示视频帧，j表示N个关节点的索引值，x表示关节点的横坐标，y表示关节点的纵坐标，θ表示关节点相对图像X轴正方向的顺时针方向角度，v表示关节点的速度大小，初始速度为0；S3,计算关节点jj∈[0,N-1]的速度大小vj和方向θj，利用连续帧间权重递增法估计下一帧关节点的运动速度；S4,计算人体躯干重心位置CX，Y，得到当前的人体躯干重心C的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心C的运动速度；S5,将人体结构框架划分为6个部位，每个部位包含至少一个关节点，分别为首部、右上肢、左上肢、躯干、右下肢和左下肢，每个部位选择一个关节点设定为轴心节点，同时每个部位中的所有节点都为速度节点；S6,利用提出的关节点-轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度；所述步骤S3具体为：设关节点j连续两帧的图像为fj0x0,y0和fj1x1,y1，则该两帧图像之间坐标满足即fj1x1,y1＝fj0x0+Δx,y0+Δy，其中x0,y0、x1,y1为节点j的图像像素坐标，Δx为x0到x1的X轴坐标偏移量，Δy为y0到y1的Y轴坐标偏移量；通过傅里叶变换将图像坐标转化为相位坐标，其中u,v为对应节点j坐标x,y的相位坐标，Fj1u,v、Fj0u,v分别为fj1x1,y1、fj0x0,y0对应的相位值，xj0、yj0为节点j的连续两帧中的第一帧像素坐标；Fj1u,v＝Fj0u,vexp{-n2πxj0u+yj0v}根据傅里叶变换的相位相移特性，关节点j连续两帧之间的相位差为ΔFu,v＝Fj0u,v-Fj1u,v＝2πxj0u+yj0v，对ΔFu,v进行反傅里叶变换即可求得相邻两帧间的平移位移Δfjx,y，计算速度大小其中Δt为节点j平移位移Δfjx,y所用时间，速度方向利用连续临近帧权重递增法估计关节点j下一帧的运动速度，计算运动速度加权平均值，该加权平均值即为下一帧关节点j的估计速度大小关节点j的速度方向加权平均值其中n为连续帧数，m∈[1,n]且为整数，vjm为节点j的临近第m帧的速度，θjm为节点j的临近第m帧的运动角度，同时更新序列化数据中所有关节点的速度大小和速度方向；所述步骤S6具体为：计算关节点的速度时分别计算得到各个关节点在X轴、Y轴方向的速度权重，其中p为各个部位的轴心节点，q为所有的关节点，wqx为关节点qX轴方向的速度权重，wqy为关节点qY轴方向的速度权重；将同一部位的X轴、Y轴方向的速度乘以权利系数后分别累加，计算X轴、Y轴方向速度的加权平均值， 其中vp为轴心节点p的速度，θp为轴心节点p的速度角度，vqx为同一部位节点集合中节点q沿X轴方向的速度，vqy为同一部位节点集合中节点q沿Y轴方向的速度，θq为同一部位节点集合中节点q的速度方向；则vx和vy合成后即为该部位速度，该部位速度的角度为 该部位速度大小为

全文数据：一种人体运动速度估计方法技术领域[0001]本发明属于运动预测技术领域，具体地说是一种人体运动速度估计方法。背景技术[0002]近年来，随着深度学习的膨胀式发展，目前基于卷积神经网络的图像识别已进入激烈竞争阶段，将深度学习用于图像分析的案例越来越多，例如植物、服饰、人脸等识别。另外随着智慧城市的提出，视频监控必将在智慧建设中占据重要地位，智能监控将会更多的应用到服务行业、安全设备中去。通过视频分析人体运动趋势，从而对人体行为做出预测也逐渐引起众多研究人员的注意，这个课题对于公共安全、生产安全、家居老人安全等都有重要意义。发明内容[0003]本发明要解决的技术问题是提供一种人体运动速度估计方法，更加精确的估计人体运动速度，应用更加广泛。[0004]为了解决上述技术问题，本发明采取以下技术方案：[0005]—种人体运动速度估计方法，包括以下步骤：[0006]SI，获取视频图像中的人体结构框架，人体结构框架上设定N个关节点；[0007]S2，序列化N个关节点，序列化的数据有[f，j，X，y，θ，V]，其中f表示视频桢，j表示N个关节点的索引值，X表示关节点的横坐标，y表示关节点的纵坐标，Θ表示关节点相对图像X轴正方向的顺时针方向角度，V表示关节点的速度大小，初始速度为0;[0008]S3,计算关节点jje〇，N_l的速度大小Vj和方向Θ」，利用连续帧间权重递增法估计下一帧关节点的运动速度；[0009]S4,计算人体躯干重心位置Cx，y，得到当前的人体躯干重心C的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心C的运动速度；[0010]S5,将人体结构框架划分为6个部位，每个部位包含至少一个关节点，分别为首部、右上肢、左上肢、躯干、右下肢和左下肢，每个部位选择一个关节点设定为轴心节点，同时每个部位中的所有节点都为速度节点；[0011]S6,利用提出的关节点-轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。[0012]所述关节点的数量N设为14,具体为{头，颈，左肩，右肩，左財，右財，左腕，右腕，左臀，右臀，左膝，右膝，左脚踝，右脚踝}，14个关节点的索引依次为{0，1，2,3,4,5,6,7,8，9，10，11，12，13}，其中首部包含关节点{0}、右上肢包含关节点{2,4,6}、左上肢包含关节点{3,5，7}、躯干包含关节点{1，8,9}、右下肢包含关节点{8,10,12}、左下肢包含关节点{9，11，13}〇[0013]所述步骤S3具体为：[0014]设关节点j连续两桢的图像为fjoO^yo和Q1X^y1，则该两桢图像之间坐标满足，.即fjiXi，yi=fj。（X。+Ax，y〇+Ay，[0015]通过傅里叶变换将图像坐标转化为相位坐标，[0016]Fjiu，v=Fjou，vexp{_η2πxj0u+yj〇v}[0017]根据傅里叶变换的相位相移特性，关节点j连续两帧之间的相位差为[0018]AFu,v=Fjou,v-Fjiu,v=2πxjou+yjov,[0019]对AFu，v进行反傅里叶变换即可求得相邻两帧间的平移位移Afjx，y，计算速度大小，速度方向；'[0020]利用连续临近帧权重递增法估计关节点j下一帧的运动速度，计算运动速度加权平均值，该加权平均值即为下一帧关节点j的估计速度大小-，关节点j的速度方向加权平均值，同时更新序列化数据中所有关节点的速度大小和速度方向。[0021]所述步骤S4具体为：[0022]设连续两桢图像人体躯干重心图像函数为fdxc〇，yc、fcixci，yci，其中，[0023][0024]根据连续临近帧权重递增法得到人体整体运动速度大小，速度方向-，经过连续η帧权重递增方法精确估计下一帧人体整体运动速度值和角度，[0027]所述步骤S6具体为：[0025][0026][0028]计算关节点的速度时分别计算得到各个关节点在X轴、Y轴方向的速度，，其中P为各个部位的轴心节点，q为所有的关节点；[0029]将同一部位的X轴、Y轴方向的速度乘以权重系数后分别累加，[0032]则Vx和Vy合成后即为该部位速度，该部位速度的角度为[0034]该部位速度大小为[0036]所述人体躯干重心位置C的计算方法为:计算{:颈，左臀，右臀}即关节点{1，8，9}的几何重心，得到人体重心位置，I[0038]所述关节点的速度方向Θ，为表示速度方向变化程度，由[0,360°]的变化范围归一化为[0，1]。[0039]所述采用深度识别VGG卷积神经网络提取视频图像中人体结构框架。[0040]本发明能够更加精确人体运动速度，得到下一步的运动趋势，供研究参考用，可广泛应用于公共安全、生产安全、日常生活等各个行业领域。附图说明[0041]附图1为本发明流程示意图；[0042]附图2为人体关节点示意图；[0043]附图3为节点速度权重计算示意图；[0044]附图4为部位计算示意图。具体实施方式[0045]为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。[0046]如附图1-4所示，本发明揭示了一种人体运动速度估计方法，包括以下步骤：[0047]SI，获取视频图像中的人体结构框架，人体结构框架上设定N个关节点。可采用深度识别VGG卷积神经网络提取视频图像中人体结构框架。总共设置14个关节点，具体为{:头，颈，左肩，右肩，左肘，右肘，左腕，右腕，左臀，右臀，左膝，右膝，左脚踝，右脚踝}，14个关节点的索引依次为{0，1，2,3,4,5,6,7,8,9，10，11，12，13}，其中首部包含关节点{0}、右上肢包含关节点{2,4,6}、左上肢包含关节点{3,5,7}、躯干包含关节点{1，8,9}、右下肢包含关节点{8，10，12}、左下肢包含关节点{9，11，13}。如下表一所示：[0048]表一[0050]S2,序列化14个关节点，序列化的数据有[f，j，x，y，θ，v]，其中f表示视频桢，j表示N个关节点的索引值，X表示关节点的横坐标，y表示关节点的纵坐标，Θ表示关节点相对图像X轴正方向的顺时针方向角度，V表示关节点的速度大小，初始速度为0。[0051]S3,计算关节点jje〇，N_l的速度大小Vj和方向θ」，利用连续桢间权重递增法估计下一帧关节点的运动速度。在视频中连续η帧的人体运动速度较为接近，帧间越临近速度越接近。[0052]设关节点j连续两桢的图像为fj〇XQ，yo和fjixi，yi，贝Ij该两桢图像之间坐标满足·，即fjiXi，yi=fj。（Xo+Δx，y〇+Ay，[0053]通过傅里叶变换将图像坐标转化为相位坐标，[0054]Fjiu，v=Fjou，vexp{_η2πxj0u+yj〇v}[0055]根据傅里叶变换的相位相移特性，关节点j连续两帧之间的相位差为[0056]AFu,v=Fjou,v-Fjiu,v=2πxjou+yjov,[0057]对AFu，v进行反傅里叶变换即可求得相邻两帧间的平移位移Afjx，y，计算速度大小、速度方向[0058]利用连续临近帧权重递增法估计关节点j下一帧的运动速度，计算运动速度加权平均值，该加权平均值即为下一帧关节点j的估计速度大小，关节点j的速度方向加权平均值，同时更新序列化数据中所有关节点的速度大小和速度方向。[0059]S4,计算人体躯干重心位置Cx，y，得到当前的人体躯干重心C的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心C的运动速度。[0060]S5,将人体结构框架划分为6个部位，每个部位包含至少一个关节点，分别为首部、右上肢、左上肢、躯干、右下肢和左下肢，每个部位选择一个关节点设定为轴心节点，同时每个部位中的所有节点都为速度节点。在本实施例中，首部仅含有一个节点，故首部所包含的〇节点即为轴心节点也为仅有的速度节点；右上肢部位以节点2为轴心节点，节点2、4、6为速度节点；左上肢部位以节点3为轴心节点，节点3、5、7为速度节点；右下肢部位以节点8为轴心节点，节点8、10、12为速度节点；左下肢部位以节点9为轴心节点，节点9、11、13为速度节点；躯干部位以躯干重心C为轴心节点，节点1、8、9为速度节点。按照上以方式设定轴心节点，是因为人类运动规律上肢的摆动以左右肩为轴心以类似钟摆形式甩动，且相邻两个关节点以肱骨或尺骨为连杆，左右上肢的运动范围和轴变角度都局限在一定范围。同理左右下肢也满足与上肢相同的运动规律。躯干和首部也可近似为轴心运动，摆动位置始终保持垂直向下方向。[0061]利用提出的关节点-轴心节点速度法线距离权重法计算节点的速度权重。轴心节点为部位速度估算的基准节点，规定轴心节点的速度权重为1。关节点-轴心节点速度法线距离权重法:将关节点和轴心节点的速度分解为X、Y轴方向的速度分量，计算关节点XY轴方向速度分量的法线与轴心节点X⑺轴方向速度分量的法线之间的距离，并将该距离作为XY轴方向速度合成时该关节点的速度权重。[0062]以右上肢为例说明速度节点权重计算方法，设轴心节点2的坐标为（X2，y2，节点4坐标X4，y4，节点6坐标X6，y6。根据连续桢间权重递增法得到节点2的速度方向02,节点4的速度方向04,节点6的速度方向θ6。将节点速度分解为X轴和Y轴方向的速度分量，如图4所示，其中fey为节点2速度V2Y轴方向分量V2y的法线，χ为节点2速度V2X轴方向分量V2x的法线，04y为节点4速度V4Y轴方向分量^的法线，β4χ为节点4速度V4X轴方向分量V4x的法线，06y为节点6速度V6Y轴方向分量v6y的法线，β6χ为节点6速度V6X轴方向分量V6x的法线。则节点2、4、6X轴方向的速度分量权重为β2χ、β4Χ、β6χ与轴心节点2X轴方向的法线β2χ之间的距离，即为节点2、4、6的横坐标与轴心节点横坐标之间的距离：[[0064]同理可得节点2、4、6在Y轴方向的速度分量权重：[0066]将上述计算方式延伸到其他5个部位，则各关节点在Χ、Υ轴方向的速度权重可归结为：[0068]其中ρ为各个部位的轴心节点，peP{〇,2,3,8,9,躯干部位重心}，q各个部位的所有关节点。人体日常肢体活动的表现形式集中在四肢、首部和躯干，人的行为可以通过四肢、首部或躯干某一个部位的动作描述，对人体行为的判断是基于人体肢体动作的分析。[0069]S6,利用提出的关节点-轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。[0070]所述步骤S4具体为：[0071]设连续两桢图像人体躯干重心图像函数为fdXc^y。。、fc；iXdyciI，其中，[0073]根据连续临近帧权重递增法得到人体整体运动速度大小·，速度方向•，经过连续η帧权重递增方法精确估计下一帧人体整体运动速度值和角度，[0074][0076]所述步骤S6具体为：[0077]计算关节点的速度时分别计算得到各个关节点在X轴、Y轴方向的速度，，其中P为各个部位的轴心节点，q为所有的关节点；[0078]将同一部位的X轴、Y轴方向的速度乘以权重系数后分别累加，[0081]则Vx和Vy合成后即为该部位速度，该部位速度的角度为[0083]该部位速度大小为[0085]所述人体躯干重心位置C的计算方法为:计算{:颈，左臀，右臀}即关节点{1，8，9}的几何重心，得到人体重心位置，[0087]所述关节点的速度方向Θ，为表示速度方向变化程度，由[0,360°]的变化范围归一化为[0，1]。[0088]通过以上的计算，可以较为精确的估计到下一帧的人体整体运动速度，为研究分析提供更加可靠的参考数据。[0089]需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种人体运动速度估计方法，包括以下步骤：SI，获取视频图像中的人体结构框架，人体结构框架上设定N个关节点；S2，序列化N个关节点，序列化的数据有[f，j，X，y，Θ，V]，其中f表示视频桢，j表示N个关节点的索引值，X表示关节点的横坐标，y表示关节点的纵坐标，Θ表示关节点相对图像X轴正方向的顺时针方向角度，V表示关节点的速度大小，初始速度为〇;S3，计算关节点jje〇，N-1的速度大小Vj和方向θ」，利用连续桢间权重递增法估计下一帧关节点的运动速度；54,计算人体躯干重心位置Cx，y，得到当前的人体躯干重心C的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心C的运动速度；55,将人体结构框架划分为6个部位，每个部位包含至少一个关节点，分别为首部、右上肢、左上肢、躯干、右下肢和左下肢，每个部位选择一个关节点设定为轴心节点，同时每个部位中的所有节点都为速度节点；56,利用提出的关节点-轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。2.根据权利要求1所述的人体运动速度估计方法，其特征在于，所述关节点的数量N设为14,具体为{:头，颈，左肩，右肩，左肘，右肘，左腕，右腕，左臀，右臀，左膝，右膝，左脚踝，右脚踝}，14个关节点的索引依次为{0，1，2,3,4,5,6,7,8,9，10，11，12，13}，其中首部包含关节点{〇}、右上肢包含关节点{2,4,6}、左上肢包含关节点{3,5,7}、躯干包含关节点{1，8，9}、右下肢包含关节点{8,10,12}、左下肢包含关节点{9,11，13}。3.根据权利要求2所述的人体运动速度估计方法，其特征在于，所述步骤S3具体为：设关节点j连续两桢的图像为fj〇xQ，y〇和fjixi，yi，则该两桢图像之间坐标满足，即fjixi，yi=fj〇Xt+Ax，y〇+Ay，其中（XQ，y〇、（xi，yi为节点j的图像像素坐标，AX为XO到^1的父轴坐标偏移量，Ay为yo到5^的丫轴坐标偏移量；通过傅里叶变换将图像坐标转化为相位坐标，其中（u，v为对应节点j坐标x，y的相位坐标，Fjiu，v、Fj〇u，v分别为fjixi，yi、fxo，yo对应的相位值，Xj〇、yj〇为节点j的连续两帧中的第一帧像素坐标。Fjiu,v=Fjou,vexp{-η2πxjou+yjov}根据傅里叶变换的相位相移特性，关节点j连续两帧之间的相位差为ΔFu,v=Fjou,v-Fjiu,v=2πxjou+yjov,对AFu，ν进行反傅里叶变换即可求得相邻两帧间的平移位移Δtχ，y，计算速度大小L其中At为节点j平移位移Δf^x，y所用时间，速度方向利用连续临近帧权重递增法估计关节点j下一帧的运动速度，计算运动速度加权平均值，该加权平均值即为下一桢关节点j的估计速度大小，关节点j的速度方向加权平均值，其中η为连续帧数，me[l，n]且为整数，Vjm为节点j的临近第m帧的速度，Θ#为节点j的临近第m帧的运动角度，同时更新序列化数据中所有关节点的速度大小和速度方向。4.根据权利要求3所述的人体运动速度估计方法，其特征在于，所述步骤S4具体为：设连续两桢图像人体躯干重心图像函数为XdycQJciXc^ycI，其中（xc〇，yc〇、Xcl，ycl为人体躯干重心图像像素坐标，且其中（XlQ，yiQ、（X8Q，y8Q、（X9Q，y9Q分别为人体节点1、8、9连续两桢中的前一桢像素坐标，同理xn，yii、（X8i，ysi、（X9i，y9i分别为人体节点1、8、9连续两桢中的后一桢像素坐标。根据连续临近帧权重递增法得到人体整体运动速度大小，其中At为人体躯干重心C平移位移Δf。x，y所用时间。速度方向^，91、92、03分别为人体节点1、8、9的速度方向，其中经过连续η帧权重递增方法精确估计下一帧人体整体运动速度值和角度，其中η为连续帧数，me[1，η]且为整数，ν™为人体躯干重心C的临近第m帧的速度，9cm为人体躯干重心C的临近第m帧的运动角度，Λf™xm，ym为人体躯干重心C从临近m+Ι帧到临近m帧的平移位移，ΔU为AfπXm，ym所用时间，0lm、08m、09111分别为人体节点1、8、9在临近m帧的运动角度。5.根据权利要求4所述的人体运动速度估计方法，其特征在于，所述步骤S6具体为：计算关节点的速度时分别计算得到各个关节点在X轴、Y轴方向的速度权重，，其中P为各个部位的轴心节点，q为所有的关节点，Wqx为关节点qX轴方向的速度权重，Wqy为关节点qY轴方向的速度权重；将同一部位的X轴、Y轴方向的速度乘以权利系数后分别累加，计算X轴、Y轴方向速度的加权平均值，其中Vp为轴心节点P的速度，ΘΡ为轴心节点P的速度角度，Vqx为同一部位节点集合中节点q沿X轴方向的速度，Vqy为同一部位节点集合中节点q沿Y轴方向的速度，θqS同一部位节点集合中节点q的速度方向；则Vx和Vy合成后即为该部位速度，该部位速度的角度为该部位速度大小为6.根据权利要求5所述的人体运动速度估计方法，其特征在于，所述人体躯干重心位置C的计算方法为:计算{:颈，左臀，右臀}即关节点{1，8,9}的几何重心，得到人体重心位置，7.根据权利要求6所述的人体运动速度估计方法，其特征在于，所述关节点的速度方向Θ，为表示速度方向变化程度，由[〇，360°]的变化范围归一化为[0，1]。8.根据权利要求7所述的人体运动速度估计方法，其特征在于，所述采用深度识别VGG卷积神经网络提取视频图像中人体结构框架。

百度查询： 广东省智能制造研究所 一种人体运动速度估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD