视频中短道速滑运动员的自动跟踪与轨迹建模方法

摘要

本发明公开了一种视频中短道速滑运动员的自动跟踪与轨迹建模方法，用高速摄像机从边界线俯视视角采集运动员训练或比赛视频；对视频内的图像按照特定频率进行采样，得到一组单帧图像；对单帧图像内的运动员进行目标检测，用方框确定其位置；将帧与帧之间属于同一运动员的目标检测结果进行匹配，得到属于同一运动员目标的跟踪结果；将各运动员的跟踪结果映射至冰面，并进行曲线拟合，绘制光滑的运动轨迹；根据轨迹方程对运动员的运动参数进行估计并输出。本发明对比赛无干扰，可直接对运动员进行位置采集与分析，大大提高了自动化水平，减少了人力的消耗，可迅速在赛后反馈相关运动学参数，提高了速度，为实时的短道速滑比赛分析提供了可能。

说明书

技术领域

本发明涉及运动影像分析技术领域，尤其涉及一种视频中短道速滑运动员的自动跟踪与轨迹建模方法。

背景技术

现有运动影像分析技术以穿戴式设备为信息源，通过wifi或蓝牙等无线信号对设备进行跟踪以获取运动员位置。主要缺点在于穿戴式设备需要嵌入运动员装备中，这在一般的比赛场景是不被允许的。非接触式的方法以运动影像分析为主，但传统方法的定位精度不够高。

发明内容

本发明的目的是提供一种视频中短道速滑运动员的自动跟踪与轨迹建模方法，相对于现有技术，对运动员比赛无干扰，可直接对运动员进行位置采集与分析。

为实现上述发明目的，本发明的技术方案是：一种视频中短道速滑运动员的自动跟踪与轨迹建模方法，包括以下步骤：

步骤1，用高速摄像机从边界线俯视视角采集运动员训练或比赛视频；

步骤2，对视频内的图像按照特定频率进行采样，得到一组单帧图像；

步骤3，对单帧图像内的运动员进行目标检测，用方框确定其位置；

步骤4，将帧与帧之间属于同一运动员的目标检测结果进行匹配，得到属于同一运动员目标的跟踪结果，并赋予ID号；

步骤5，将各ID运动员的跟踪结果映射至冰面，并进行曲线拟合，绘制光滑的运动轨迹；

步骤6，根据轨迹方程对运动员的运动参数进行估计并输出。

进一步的，所述步骤3具体包括：

步骤3.1，基于收集到的短道速滑视频单帧图像，进行图片内运动员位置的标注，形成一个训练数据集合；

步骤3.2，修改目标检测神经网络结构，根据输出类别数为1修改输出层通道数，并对神经网络模型进行优化训练；

步骤3.3，利用上述训练的神经网络模型，预测单帧图像内表示运动员目标位置的方框坐标及置信度。

进一步的，所述步骤4具体包括：

步骤4.1，根据初始若干帧的目标检测结果初始化跟踪目标，确定跟踪目标数目；

步骤4.2，在每一帧内迭代优化跟踪目标位置；

步骤4.3，将未匹配的跟踪目标设置为休眠状态；

步骤4.4，使用未匹配的检测结果与休眠态的跟踪目标进行二分匹配，并为匹配成功的休眠态目标恢复跟踪；

步骤4.5，进入下一帧，重复步骤2)-步骤4)，直至视频结束。

进一步的，所述步骤4.1中，初始化跟踪目标的依据是在连续若干帧内跟踪目标均有相匹配的目标检测结果。

进一步的，所述步骤4.2具体包括：

步骤4.2.1，基于卡尔曼滤波对该帧内的跟踪目标位置进行预测；具体为：

以表示运动员位置的方框的左上角坐标(x，y)和方框的宽w与高h作为运动特征，根据前一帧的运动状态，对当前帧的运动特征与其协方差矩阵进行估计；

步骤4.2.2，与目标检测结果进行二分匹配；具体为：

以表示检测方框内像素特征的单位向量作为目标的外观特征，使用外观特征与所述运动特征的加权和构造代价矩阵，以跟踪目标位置与目标检测结果的方框中心位置的欧氏距离作为运动度量，以跟踪目标位置与目标检测结果的特征向量的余弦距离作为外观度量，利用匈牙利算法求解最小二分匹配；

步骤4.2.3，使用匹配的目标检测结果基于卡尔曼滤波对跟踪目标位置进行更新。

进一步的，所述步骤4.4中，为匹配成功的休眠态目标恢复跟踪时，使用匹配的目标检测结果重新初始化跟踪目标，并使用原休眠态目标的ID。

进一步的，所述步骤5具体包括：

步骤5.1，建立像素平面与冰面上不共线四点的对应关系，并求取像素平面与冰面的单应矩阵；

步骤5.2，将各ID运动员的跟踪结果基于单应矩阵进行坐标变换，求取对应的冰面位置；

步骤5.3，使用准均匀三次B样条曲线对各ID运动员跟踪结果的冰面位置进行曲线拟合，时间t作为曲线的参数，为了保证曲线拟合应同时满足与原始跟踪结果足够接近和光滑的特点，其能量优化方程为：

其中，E为能量方程的值；t_i为时间参数，P_i为对应时间的跟踪位置，i∈[0,1,…,n]；B₃(t_i)为生成B样条曲线的参数方程，B₃⁽³⁾(t_i)为该参数方程的三阶导数；a+b＝1且a>0，b>0，a为插值权重，b为优化权重。

进一步的，所述步骤6具体包括：

步骤6.1，对步骤五中求取的B样条曲线求一阶导数；

步骤6.2，代入时间参数，估计各时刻的瞬时速度。

本发明的有益效果是：本发明通过对视频中运动员目标进行目标检测、多目标跟踪，对其冰面轨迹进行曲线拟合，可以以较高的精度与速度完成短道速滑运动员的自动跟踪与轨迹重建。相对于传统的基于视频的人工打点的方法，本发明对运动员比赛无干扰，可直接对运动员进行位置采集与分析，大大提高了自动化水平，减少了人力的消耗，可迅速在赛后反馈相关运动学参数，提高了速度，为实时的短道速滑比赛分析提供了可能。

附图说明

图1为本发明的基于视频的短道速滑运动员的自动跟踪与轨迹建模技术的流程示意图；

图2为边界线俯视视角的视频截图；

图3为单帧图像目标检测的可视化结果的示意图；

图4为帧之间的目标匹配的可视化结果的示意图；

图5为像素平面与冰面上不共线四点的对应关系的示意图；

图6为运动员轨迹示意图；

图7为运动员速度-时间曲线示意图。

具体实施方式

下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，一种视频中短道速滑运动员的自动跟踪与轨迹建模方法，包括以下步骤：

步骤1，用高速摄像机从边界线俯视视角采集运动员训练或比赛视频。

该视角主要具有以下特征：1)能够覆盖到整个冰面的比赛区域，2)视线方向与冰面夹角尽可能接近90度，以减少求解单应矩阵时的误差。摄像机的频率应满足高速摄像要求，以充分捕捉到运动员的位置信息。视频截图如图2所示。

步骤2，对视频内的图像按照特定频率进行采样，得到一组单帧图像。

该特定频率主要是为了兼顾算法性能与计算速度，高频率提高算法性能，低频率提高计算速度。对于每秒50帧的高速视频，采样频率一般设定在每1帧采集1张图像到每5帧采集一张图像之间。

步骤3，对单帧图像内的运动员进行目标检测，用方框确定其位置。具体包括：

步骤3.1，基于收集到的短道速滑视频单帧图像，进行图片内运动员位置的标注，形成一个训练数据集合。

该标注过程类似于其他目标检测任务的标注，即用一个方框圈定图片中的运动员目标。训练数据的图片数目应在1000-10000之间，以保证比较好的训练效果。

步骤3.2，修改目标检测神经网络结构，根据输出类别数为1修改输出层通道数，并对神经网络模型进行优化训练。

由于该目标检测任务中仅有运动员1个类别，需对目标检测神经网络的输出通道数进行修改，以符合类别数目。以开源方法yolov3为例，需将其输出层通道数由255修改为18。优化训练时，可采用迁移学习的常用方法，读取预训练权重后，固定前若干层权重而仅更新输出层权重，可很快获取有效的神经网络模型。

步骤3.3，利用上述训练的神经网络模型，预测单帧图像内表示运动员目标位置的方框坐标及置信度。

将需要预测的图片输入神经网络模型，即可对表示运动员目标位置的方框坐标进行预测，并估计在该方框内有运动员目标的置信度。可视化结果如图3所示。

步骤4，将帧与帧之间属于同一运动员的目标检测结果进行匹配，得到属于同一运动员目标的跟踪结果，并赋予ID号。具体包括：

步骤4.1，根据初始若干帧的目标检测结果初始化跟踪目标，确定跟踪目标数目。

该步骤主要利用在起跑之前各运动员目标较为分散的特点，目标检测的成功率较高，以提高确定跟踪目标数目的成功率。以在连续若干帧内跟踪目标均有相匹配的目标检测结果作为初始化依据，可避免误检测导致的无效跟踪目标。

步骤4.2，在每一帧内迭代优化跟踪目标位置。具体包括：

步骤4.2.1，基于卡尔曼滤波对该帧内的跟踪目标位置进行预测。具体为：

以表示运动员位置的方框的左上角坐标(x，y)和方框的宽w与高h作为运动特征，根据前一帧的运动状态，对当前帧的运动特征与其协方差矩阵进行估计。

步骤4.2.2，与目标检测结果进行二分匹配。具体为：

以表示检测方框内像素特征的单位向量作为目标的外观特征，该特征通过深度度量学习进行学习，具有同一目标相似度高，不同目标相似度低的特点。使用外观特征与所述运动特征的加权和构造代价矩阵，以跟踪目标位置与目标检测结果的方框中心位置的欧氏距离作为运动度量，以跟踪目标位置与目标检测结果的特征向量的余弦距离作为外观度量，利用匈牙利算法求解最小二分匹配；可为代价矩阵设置上限，以减少不正确的匹配结果。

步骤4.2.3，使用匹配的目标检测结果基于卡尔曼滤波对跟踪目标位置进行更新。

在为跟踪目标获取匹配的目标检测结果后，使用目标检测结果的运动状态对跟踪目标位置进行修正更新，并更新其协方差矩阵。

步骤4.3，将未匹配的跟踪目标设置为休眠状态。

将未匹配的跟踪目标的状态设置为休眠状态，不再继续预测与更新位置，但保留其外观特征向量。

步骤4.4，使用未匹配的检测结果与休眠态的跟踪目标进行二分匹配，并为匹配成功的休眠态目标恢复跟踪。

该步骤使用的代价矩阵由外观特征组成，这是由于休眠态的跟踪目标长期处于未更新的状态，其运动状态有较大的偏差。在匹配成功后，为匹配成功的休眠态目标恢复跟踪时，使用匹配的目标检测结果重新初始化跟踪目标，并使用原休眠态目标的ID。

步骤4.5，进入下一帧，重复步骤2)-步骤4)，直至视频结束。可视化结果如图4所示。

步骤5，将各ID运动员的跟踪结果映射至冰面，并进行曲线拟合，绘制光滑的运动轨迹。

具体包括：

步骤5.1，建立像素平面与冰面上不共线四点的对应关系，并求取像素平面与冰面的单应矩阵；如图5所示，获取像素平面与冰面上不共线四点的对应关系，并在定义坐标系后获取对应点的坐标值。由于单应矩阵有8个独立参数，基于四个点的变换关系建立多元方程组即可求解矩阵参数。

步骤5.2，将各ID运动员的跟踪结果基于单应矩阵进行坐标变换，求取对应的冰面位置；在求解单应矩阵后，即可将各ID运动员在像素平面内的跟踪结果的坐标映射至冰面坐标。

步骤5.3，使用准均匀三次B样条曲线对各ID运动员跟踪结果的冰面位置进行曲线拟合，时间t作为曲线的参数，使用准均匀三次B样条曲线拟合运动轨迹，主要目的是获取轨迹方程。三次B样条曲线可保证二阶导数连续，在物理意义上是运动轨迹、速度、加速度的变化均是连续的。为了保证曲线拟合应同时满足与原始跟踪结果足够接近和光滑的特点，其能量优化方程为：

其中，E为能量方程的值；t_i为时间参数，P_i为对应时间的跟踪位置，i∈[0,1,…,n]；B₃(t_i)为生成B样条曲线的参数方程，B₃⁽³⁾(t_i)为该参数方程的三阶导数；a+b＝1且a>0，b>0，a为插值权重，b为优化权重。求解该优化方程，即求解特定的B₃(t_i)，使得该能量方程的值E最小。其中权重a对应的部分表示拟合曲线与原始跟踪结果足够接近，权重b对应的部分表示拟合曲线在参数点的左右三阶导数的差尽可能小，即光滑项。

由于该能量方程为二次型，求解极值点即为最小值点。代入时间参数和冰面坐标，求解B样条曲线的控制点坐标，即可获取曲线方程。绘制的运动员轨迹如图6所示。

步骤6，根据轨迹方程对运动员的运动参数进行估计并输出。具体包括：

步骤6.1，对步骤五中求取的B样条曲线求一阶导数。

步骤6.2，代入时间参数，估计各时刻的瞬时速度。

由于一阶导数的物理意义是运动员速度，求解各个方向上的速度向量后再求解其二范数即为瞬时速度。图7是求解的速度-时间曲线。这些运动员参数可直接用于赛后的运动学参数对比与分析。

所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的范围。