申请/专利权人：山东财经大学

申请日：2023-12-07

公开（公告）日：2024-03-19

公开（公告）号：CN117357103B

主分类号：A61B5/11

分类号：A61B5/11;A61B5/107;A61B5/05;A61B5/00;G06V40/20;G06V10/34;G06V10/82;G06V10/74;G06N3/0464;G06T7/73;G01S7/41

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2024.01.26#实质审查的生效;2024.01.09#公开

摘要：本发明属于肢体运动训练领域，具体是指一种基于CV的肢体运动训练指导方法及系统，方法包括采集雷达回波信号、提取标准姿势节点、处理雷达回波信号、动作捕捉、姿势评估和训练指导。本方案采用毫米波雷达，通过实时检测和跟踪人体骨骼，实现在三维空间上对运动范围、方位角和仰角的准确描述；采用雷达回波信号生成3D热力图，经过染色、XY面和XZ面投射，输入至卷积神经网络，极大地减少了输入数据的体量和数量；采取一致性惩罚图匹配算法，链接相似的节点，计算患者运动姿势和标准康复运动的匹配程度，解决传统的姿势评估算法过分依赖图像处理，需要高复杂性的计算和大量的存储的问题。

主权项：1.一种基于CV的肢体运动训练指导方法，其特征在于：该方法包括以下步骤：步骤S1：采集雷达回波信号，通过雷达发射设备发射啁啾信号、雷达接收天线采集雷达回波信号，实时检测和跟踪患者的肢体运动训练；步骤S2：提取标准姿势节点，采集康复运动训练的官方标准姿势，生成标准姿势节点；步骤S3：处理雷达回波信号，生成3D热力图；步骤S4：动作捕捉，建立并训练CNN模型，将3D热力图输入到CNN模型，输出病患关节节点；步骤S5：姿势评估，将标准姿势节点和病患关节节点进行对比，输出相似度评分；步骤S6：训练指导，根据相似度评分，确定患者的肢体运动训练与标准的康复运动训练的差距，制定个性化的康复运动训练计划，指导患者进行正确的肢体运动训练；在步骤S3中，所述处理雷达回波信号，生成3D热力图，包括以下步骤：步骤S31：雷达回波信号包含代表反射面意义的运动参考节点的信息，计算运动参考节点的距离分辨率，公式如下： ；式中，是距离分辨率，是光速常量，是扫描带宽；步骤S32：计算运动参考节点的速度分辨率，公式如下： ；式中，是速度分辨率，是波长，是一个相干处理的采样间隔；步骤S33：采用时分多路复用技术和多输入多输出技术，确定运动参考节点的角度；步骤S34：计算第个雷达接收天线接收到的逐级回波的相位项，公式如下： ；式中，是第个雷达接收天线接收到的逐级回波的相位项，是两个连续雷达接收天线之间避免光栅瓣效应的距离，是运动参考节点的角度的正弦，是雷达接收天线的下标；步骤S35：三维XYZ空间由运动范围YZ平面、深度方位角XY平面、深度仰角XZ平面组成，将每个运动参考节点映射到三维XYZ空间中的每个点云上，引入运动参考节点的反射功率作为点云的附加特征，反射功率的计算公式如下： ；式中，是反射功率，是归一化接收信号幅度，是初始距离；步骤S36：染色，每个点云的颜色属性，即RGB通道，由R通道、G通道、B通道组成，使用RGB加权像素值为每个点云染色，获得3D热力图；在步骤S4中，所述动作捕捉，建立并训练CNN模型，将3D热力图输入到CNN模型，输出病患关节节点，包括以下步骤：步骤S41：将点云投射到深度方位角XY平面上，每个点云的R通道、G通道、B通道分别表示x坐标、y坐标、反射功率，生成深度方位角XY平面的RGB图像；步骤S42：将点云投射到深度仰角XZ平面上，每个点云的R通道、G通道、B通道分别表示x坐标、z坐标、反射功率，生成深度仰角XZ平面的RGB图像；步骤S43：将未检测的点云的RGB通道设置为全0；步骤S44：计算CNN模型输入数据的维度，即投影到深度方位角XY平面的RGB图像和投影到深度仰角XZ平面的RGB图像的维度，公式如下： ；式中，是输入数据的维度，是雷达提供的最大明确深度，是方位角，是雷达提供的仰角，是雷达轴方向上的分辨率，是雷达轴方向上的分辨率，是雷达轴方向上的分辨率；步骤S45：构建并训练CNN模型，CNN模型包括输入层、输出层和隐藏层，隐藏层的第一卷积层深度为16、第二卷积层深度为32、第三卷积层深度为64，过滤器大小设置为，步幅为1，神经元节点使用ReLU激活，drop-out设置为百分之二十，输出层由个节点组成，对应于25个病患关节节点，使用均方误差MSE作为损失函数，采用梯度下降算法，使用Adam优化器进行训练；步骤S46：将深度方位角XY平面的RGB图像和深度仰角XZ平面的RGB图像传入CNN模型，输出25个病患关节节点；在步骤S5中，所述姿势评估，将标准姿势节点和病患关节节点进行对比，输出相似度评分，包括以下步骤：步骤S51：预定义，定义病患关节节点为测试图，定义标准姿势节点为参考图，定义测试图的节点集合为，定义参考图的节点集合为，预设最小相似度评分为，预设最大迭代次数为，设置迭代次数初始值为0，初始化预设阈值为；步骤S52：迭代次数自增，公式如下： ；式中，是迭代次数；步骤S53：计算和中所有节点间的水平距离度量，公式如下： ； ；式中，是中第个节点，是中第个节点，A是计算中间变量，是和的水平距离度量，、、分别是在0和1之间用于平衡节点深度，分支长度和分支方向的调整参数，是括号中节点到达根节点的最小边数，是求绝对值，是括号中变量的最小值，k是祖先节点的阶数，是k遍历0至的累计和，是的第个祖先到第个祖先的距离，是的第个祖先到第个祖先的距离，是的第个祖先到第个祖先的方向，是的第个祖先到第个祖先的方向；步骤S54：自由节点是还没有链接的节点，采用Munkres分配，根据水平距离度量，对和的自由节点进行配对，建立链接；步骤S55：计算一致性评分，公式如下： ； ； ；式中，是和之间的链接，是的一致性评分，是该节点的父节点，是该节点的孩子节点，是该节点的兄弟节点，是求集合中所含节点的数量，、、为可调参数，是的因式，是的因式，是指标函数，表示两个节点之间存在链接，是取括号中所有变量的最大值，表示遍历所有属于孩子节点的节点、所有属于孩子节点的节点时的累计和，表示遍历所有属于兄弟节点的节点、所有属于兄弟节点的节点时的累计和；步骤S56：将一致性评分低于的链接断开，并以的概率将高于的链接断开，断开链接两端的节点成为自由节点，所用公式如下： ；式中，是链接断开的概率；步骤S57：计算匹配率，公式如下： ；式中，是一致性评分高于的节点的链接比例，即匹配率，是所有已经建立的链接，是所有已经建立的链接的总数，是中节点的总数，是中节点的总数；步骤S58：计算相似度评分： ；式中，是相似度评分，是和的水平距离度量，是遍历和间所有链接的累计和；步骤S59：如果≥或或或在连续迭代中没有明显变化，则输出相似度评分，否则重复步骤S52至步骤S58。

全文数据：

权利要求：

百度查询： 山东财经大学 一种基于CV的肢体运动训练指导方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD