申请/专利权人：河海大学;南京荟英电子科技有限公司

申请日：2023-12-12

公开（公告）日：2024-04-23

公开（公告）号：CN117392760B

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V10/44;G06V10/62;G06V10/74;G06V10/764;G06V10/80;G06V10/82;G16H20/30;A61B5/11;A61B5/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2024.01.30#实质审查的生效;2024.01.12#公开

摘要：本发明公开一种基于折半交叉网络的健康指导方法和系统，包括如下步骤：构建物理层和数据处理层，通过摄像头采集动作视频并进行处理得到去噪深度图和时间梯度图；构建行为识别层：构建特征提取网络，通过特征提取得到深度特征图和时间梯度特征图；构建折半交叉注意力模型，计算得到特征向量；输入全连接层，并通过激活函数进行激活，通过分类器得到输出结果；构建控制层：根据输出结果建立行为与控制的匹配关系，确定每个动作对应的语音指令以及实现对用户的建议提示。采用本发明的健康指导方法，解决了数据维度过高和无关特征信息对模型性能产生影响的问题，增强了对人体行为时空特征的表述能力，提高了行为识别精度和颈椎康复指导系统的可靠性。

主权项：1.一种基于折半交叉网络的健康指导方法，其特征在于，包括如下步骤：步骤1，采集动作视频，得到深度图和彩色图，并进行数据传输；步骤2，对步骤1中深度图和彩色图分别进行处理得到去噪深度图和时间梯度特征图；步骤3，对去噪深度图和时间梯度特征图进行特征提取，得到深度图像特征图和彩色图像特征图；构建折半交叉注意力模型，对折半交叉注意力模型进行训练，将深度图像特征图和彩色图像特征图输入训练后的折半交叉注意力模型中进行计算，得到特征向量；将特征向量输入全连接层，并通过激活函数进行激活，输出得到注意力特征图，最后通过分类器处理，得到输出结果；步骤4，根据步骤3输出结果建立行为与控制的匹配关系，确定每个动作对应的语音指令以及实现对用户的建议提示；所述步骤3中，对折半交叉注意力模型进行训练的内容包括：首先将步骤1中采集的动作视频划分为测试集和训练集，包括两种划分方法：交叉受试者C-Sub划分和交叉设置C-Set划分；其中，交叉受试者C-Sub划分的具体内容是：将所有的动作视频平均分为训练组和测试组，每组由总数一半的动作视频组成；交叉设置C-Set划分的具体内容是：将具有奇数集合设置ID的样本用于训练，具有偶数设置ID的样本用于测试；根据两种划分方法，通过有监督学习方式分别对折半交叉注意力模型进行训练，使用交叉熵作为损失函数并使用L2正则化项进行处理，不断迭代直至误差等于或小于期望值时结束训练，得到基于C-Sub划分的折半交叉注意力模型和基于C-Set划分的折半交叉注意力模型；所述步骤3中，分别通过基于C-Sub划分的折半交叉注意力模型和基于C-Set划分的折半交叉注意力模型计算特征向量，具体内容是：使用1×1×1卷积将输入特征投影为query、key和value；query经过折半处理取前一半特征向量，key和value经过折半处理取后一半特征向量；利用点积的相似度函数将query和每个key进行相似度计算得到权重，公式如下所示： ，其中，表示query和keyi的相似度，T为矩阵转置操作，表示第i个key；使用softmax函数对所述权重进行归一化处理，公式如下所示： ，其中，表示i为1到m时的和；e表示自然常数；最后将权重和另一模态相应的键值value进行加权求和得到最后的attention向量：。

全文数据：

权利要求：

百度查询： 河海大学;南京荟英电子科技有限公司 一种基于折半交叉网络的健康指导方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD