申请/专利权人：南昌大学

申请日：2023-06-12

公开（公告）日：2023-08-29

公开（公告）号：CN116469040B

主分类号：G06V20/40

分类号：G06V20/40;G06V20/62;G06V10/44;G06V10/75;G06V10/82;G06T7/246;G06T7/277;G06N3/04

优先权：

专利状态码：有效-授权

法律状态：2023.08.29#授权;2023.08.08#实质审查的生效;2023.07.21#公开

摘要：本发明提供了一种基于视频和传感器感知融合的橄榄球员跟踪方法，S1：使用YOLOv7方法检测橄榄球赛视频中每一帧中球员头盔的位置信息；S2：根据时间戳信息将视频帧和传感器数据的量纲对齐；S3：分别确定底线和边线视频帧对应的机位朝向；S4：匹配S1所得球员头盔检测信息及S2的传感器信息中的球员位置和球员编号；S5：利用增强特征提取的DeepSORT方法完成球员跟踪。本发明将量纲不同的视频帧和传感器两个维度的信息完成数据对齐，通过YOLOv7检测出的球员头盔信息与传感器帧确定球员编号的分配问题，利用DeepSORT完成对球员的跟踪，实现简单，具有更强的适用性，且能够有效提高数据关联正确率。

主权项：1.一种基于视频和传感器感知融合的橄榄球员跟踪方法，其特征在于：包括以下步骤：S1：使用YOLOv7方法检测橄榄球赛视频中每一帧中球员头盔的位置信息；S2：根据时间戳信息将视频帧和传感器数据的量纲对齐；S3：分别确定底线和边线视频帧对应的机位朝向；S4：匹配S1所得球员头盔检测信息及S2的传感器信息中的球员位置和球员编号；S5：利用增强特征提取的DeepSORT方法完成球员跟踪，得到最终结果；在步骤S3中，具体步骤如下：S301：抽取视频在底线视角下的第60帧画面，使用OCR方法识别并记录视频帧中出现的数字；S302：同时，将该帧对应传感器信息中的球员编号，按照每个球员的水平坐标升序排序，将排序后的球员编号集合记录为sorted_tracking_players；S303：取出步骤S301中OCR识别到的数字，分别与步骤S302所得的排序后的球员编号集合匹配，如果当前数字与列表中索引为i的编号相同，则将位置i+1记录到集合表pos中；S304：若sumposlenpos*lensorted_tracking_players2，则判断当前视角为主队机位；若sumposlenpos*lensorted_tracking_players2，则判断当前视角为客队机位；其中，sum表示集合元素相加的和，len表示集合的长度；S305：随机抽取在边线视角下视频帧图像，将RGB格式的图像转换为单通道的灰度图，利用高斯模糊去除图片噪声，然后使用Canny边缘检测的方法，检测视频帧图像中的地标线所在的直线线段；S306：取出步骤S305中边缘检测的图像，使用霍夫直线检测的方法，对长度超过50像素的直线线段及线段的端点坐标集合{x1,y1,x2,y2}进行检测并将检测结果记录到集合B；S307：从集合B中随机抽样T组线段，根据线段两端坐标计算斜率slope；具体计算方法如下：slope=y2-y1x2-x1若有超过T2组线段的斜率slope0，则认为当前斜率slope0，否则认为当前斜率slope0；S308:获取当前视频帧对应的传感器帧中的所有球员坐标位置，将球员坐标归一化至平面直角坐标系中，并计算所有球员的水平坐标中心x_center；S309:根据直线斜率和球员位置分布信息，获取当前视角判断符location，计算方法为： ，其中，x_medium为球员位置分布中心的水平坐标，若location0，则判断当前机位为主队视角，若location0，则判断当前机位为客队视角；在步骤S4中，具体步骤如下：S401：使用自适应旋转的方式，矫正机位移动引入的角度偏差，具体过程如下：若顺时针旋转方向为正方向，设置最小旋转角为-30°，最大旋转角为30°，每次旋转步距为3°，旋转角度集合R={-30°,-27°,-24°,-21°,-18°,-15°,-12°,-9°,-6°,-3°,0°,3°,6°,9°,12°,15°,18°,21°,24°,27°,30°}；每次从R中选取一个角度θ，将视频帧中每个球员头盔中心点坐标xd,yd利用旋转矩阵旋转θ度，得到新的中心点坐标x'd,y'd： ，S402：分别将传感器信息中的球员坐标信息与经过步骤S401矫正后的每组球员头盔中心点坐标归一化，计算每组二者坐标集合间的欧式距离；S403：选取欧式距离最小的一组作为最优匹配best_match，为每位球员分配编号并记录，具体如下： ，其中，L·表示欧式距离计算公式，Tθ表示坐标旋转，G表示将坐标归一化至区间[0,1]，A为当前帧中所有球员头盔坐标信息的集合，tracki表示当前帧图片中每位球员的传感器坐标，deti表示当前帧图片中对每位球员头盔的检测结果。

全文数据：

权利要求：

百度查询： 南昌大学 一种基于视频和传感器感知融合的橄榄球员跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD