申请/专利权人：东南大学

申请日：2021-05-13

公开（公告）日：2024-04-16

公开（公告）号：CN113255489B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/764;G06V10/778

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.08.31#实质审查的生效;2021.08.13#公开

摘要：本发明公开了一种全新的基于标记分布学习的多模态动作质量评估方法，创新了运动视频的时空建模，并将其应用于跳水赛事智能评估体系的构建。本发明基于双模态的膨化三维卷积网络Inflated3DConvNet，I3D，添加一路光流，提取RGB和Flow模态的跳水视频的时空特征，并融合形成全局特征，能够更好捕捉整体动作的连贯属性。将全局特征输入到全连接层，使用标记分布学习LabelDistributionLearning,LDL，输出所有裁判打分均值的概率分布，选取其中的最大概率得分，与难度系数相乘得到最终跳水得分。本发明充分利用跳水规则中的难度系数概念，改进了全连接层的输出策略，创新求解跳水得分。

主权项：1.一种基于标记分布学习的多模态跳水赛事智能评估方法，其特征在于：创新了运动视频的时空建模，并将其应用于跳水赛事智能评估体系的构建；将全局特征输入到全连接层，使用标记分布学习，输出所有裁判打分均值的概率分布，选取其中的最大概率得分，与难度系数相乘得到最终跳水得分；其中全局特征提取方法，在现有双模态的膨化三维卷积网络的基础上，添加了一路光流模态信息，同时提取RGB和Flow模态的跳水视频的时空特征，融合形成全局特征fglobal；给定一个L帧的RGB模态的跳水视频考虑到光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，能够有效表示相邻帧之间物体的运动信息，首先使用经典的TV-L1opticalflow算法将其转化为光流模态之后使用滑动窗口策略将VRGB和VFlow都分成N个互相有重叠的片段；VRGB和VFlow片段分别输入到一个I3D模型中，再经过3个全连接层组成的MLP块，分别输出一对RGB和Flow片段特征需要注意的是，这3个全连接层的权重被所有片段共享；然后，对于提取出来的片段特征，再使用时域平均池化将其分别融合为fRGB和fFlow，并进一步平均混合，融合为一个全局特征fglobal；将fglobal传入全连接层，基于LDL，预测所有裁判的打分均值，跳水得分除以难度系数的概率分布；首先根据裁判打分的先验知识，生成一个得分概率分布，用来表示真实分布，通过最小化预测的概率分布和真实概率分布的损失函数，不断迭代优化网络参数，提高预测准确率；最后将网络的输出乘以难度系数预测该跳水运动员的得分；在训练阶段，给定标记分数S和难度系数DD的跳水视频，那么裁判打分均值为SJ＝SDD，如公式1所示，首先生成均值为SJ和标准差σ的高斯函数，作为先验概率分布； σ是一个超参数，用于评估SJ的不确定程度；通过将分数区间均匀离散成分数集c＝[c1,c2,…,cm]，利用向量g＝[gc1,gc2,…,gcm]表示SJ在每个分数上的程度系数；最终SJ的概率分布p＝[pc1,pc2,…,pcm]通过归一化g实现，p中每个元素的计算在公式2内体现； 将fglobal输入到一个全连接层和一个softmax层，映射到m维的概率分布ppred＝[ppredc1,ppredc2,…,ppredcm]作为预测概率分布；最后通过计算ppred和p之间的KL散度得到损失函数，即公式3： 在ppred中，选取概率值最大的一个分数作为所有裁判的平均分SJ,pred公式4，并乘以难度系数DD得到最终的预测跳水分数Spred，其表示如公式5：SJ,pred＝argmaxci{ppredc1,ppredc2,…,ppredcm}4Spred＝DD×SJ,pred5。

全文数据：

权利要求：

百度查询： 东南大学 一种基于标记分布学习的多模态跳水赛事智能评估方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD