申请/专利权人：中国科学技术大学

申请日：2022-02-23

公开（公告）日：2024-04-02

公开（公告）号：CN114565972B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/40;G06V10/74;G06V10/762;G06V10/764;G06V10/82;G06N3/045;G06N3/088;G06N3/09;G06N3/096

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.06.17#实质审查的生效;2022.05.31#公开

摘要：本发明公开了一种骨架动作识别方法、系统、设备与存储介质，该方案中：一方面，利用在有标签源数据上的有监督学习方法来获取对动作具有判别力的信息，并且利用在无标签的目标数据上的无监督学习方法来提取目标数据自身的属性，从而充分利用了源数据和目标数据各自的优势，即使这些源数据和目标数据来自不同的分布甚至不同的动作类别，依然可以提供对动作类别有判别力的信息；另一方面，融合了两个支路的知识，通过在两个支路之间互相交换正负对的划分来实现两个支路的伪标签信息传递，以充分发挥两个模型互补的优势，实现相互促进学习；通过以上方式提升了模型训练效果，进而提升了骨架动作识别效果。

主权项：1.一种骨架动作识别方法，其特征在于，包括：构建包含左右两个并行支路的网络框架，并获取源数据与目标数据；所述源数据为有标签数据，目标数据为无标签数据，所述源数据与目标数据均为骨架序列数据；训练阶段：所述目标数据通过两种不同数据增强方式处理，处理结果称为第一增强数据与第二增强数据，左支路输入源数据、第一增强数据与第二增强数据，右支路输入第一增强数据与第二增强数据；左支路中，通过共享的特征提取器F0分别对源数据与第一增强数据进行特征提取，并结合源数据的标签计算所述源数据的分类损失；右支路中，设有两个特征提取器记为F1与特征提取器F1的输入为所述第一增强数据，特征提取器的输入为所述第二增强数据，利用所述特征提取器F1与提取的特征计算对比损失；左支路中还设有一个特征提取器用来提取所述第二增强数据的特征，并设有两个目标分类器，记为与其中，目标分类器输入为所述共享的特征提取器F0提取的所述第一增强数据的特征，目标分类器输入为所述特征提取器提取的所述第二增强数据的特征，将所述共享的特征提取器F0与目标分类器作为第一学生模型，将所述特征提取器与目标分类器作为第一教师模型；右支路中，两个特征提取器F1与各自连接一个目标分类器，记为与将特征提取器F1与目标分类器作为第二学生模型，将特征提取器与目标分类器作为第二教师模型；利用两个教师模型各自产生的伪标签作为监督信号对应的计算与相应学生模型的分类损失；之后，对于两个不同目标数据构成的目标数据对，每一支路单独利用其内部教师模型预测的相应两个第二增强数据的伪标签之间的关系进行正负对的划分，并且利用学生模型获得的相应两个第一增强数据的预测概率分数，计算两个第一增强数据相似度；两个支路相互交换各自的正负对的划分结果，每一支路将自身计算的两个第一增强数据相似度与来自另一支路相同目标数据对对应的两个第二增强数据的正负对划分结果进行有监督的对比损失的计算；利用计算出的所有损失构建总损失函数对左右支路进行训练；训练完毕后，对于待分类的目标数据，使用左支路中的第一学生模型，或者右支路中的第二学生模型进行分类。

全文数据：

权利要求：

百度查询： 中国科学技术大学 骨架动作识别方法、系统、设备与存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD