基于非场景目标特征的篮球视频事件检测及其体育教学应用的研究

摘要

本文通过提取篮球视频中一类由视频编辑者添加在视频画面中的字符及图像信息（非场景目标信息）来进行篮球视频中事件语义信息的提取，即篮球视频事件检测。篮球视频中的非场景目标信息与比赛事件语义之间有着直接的对应关系，利用这一关系可以设计出复杂度低且有效的篮球视频事件检测算法。利用非场景目标信息进行篮球视频事件检测的主要挑战在于背景复杂、分辨率低、目标尺寸小、模糊等因素使得篮球视频中的非场景目标信息难以准确地定位识别。针对研究中的这一挑战，本文提出了两个新的基于非场景目标信息的篮球视频事件检测算法。算法利用相比传统图像区域特征更为有效的像素在时间维度上的变化特征来定位视频中的非场景目标并进行识别，然后利用非场景目标信息与篮球视频事件的直接对应关系来进行事件的检测，实验结果表明本文所提出的算法能够获得比传统算法更高的篮球视频事件检测准确率。具体来说，本文包含以下五项研究工作。
　　第一项工作是单视频时钟数字的定位与识别。本研究在研究组前期工作所提出的算法的基础上对工作进行了完整，提出了一个端到端的单视频时钟数字定位识别算法。该算法基于时钟秒位区域的像素的颜色变化周期性来进行时钟数字的定位，不需要进行传统算法中繁琐且易错的图像处理操作。本项工作同时还建立了一个公开的数据集以用于算法性能的测试。根据测试结果本研究所提出的算法在单视频时钟的定位识别方面均能够达到百分之百的准确率。
　　第二项工作是对单视频时钟定位识别算法的改进，以用于篮球视频双时钟数字的定位与识别。本项研究以单视频时钟数字定位识别算法为基础，针对篮球视频中双时钟与单视频时钟的不同（如篮球视频中的两个视频时钟独立、时钟除了正常运行还会暂停和重置等）提出了两个新方法。两个新方法与单视频时钟定位识别算法组成完整的篮球视频双时钟数字的定位与识别算法。其中，新方法之一定义了一组用于检测视频像素是否属于时钟的秒位数字区域的新的函数。该方法不需要进行时钟数字转换帧的检测。新方法之二针对篮球视频时钟会不定期重置这一问题而定义的一组新的规则。按照新规则能够提取对应时钟正常运行的秒位数字序列，所提取出的序列可以利用已有的基于数字序列模板匹配的方法进行有效地识别。
　　第三项工作是篮球视频中比赛暂停事件的边界（即起止时间点）检测。本项研究根据篮球视频中两个时钟的运行/暂停与比赛进行/暂停之间的同步关系，提出了一个计算复杂度极低的篮球视频比赛暂停事件边界检测算法。实验结果表明该算法对篮球视频暂停事件边界检测的精确度明显高于传统的基于摄像机镜头模式变化信息的暂停边界检测算法。
　　第四项工作是篮球视频中进球事件的得分类型识别。本项研究根据篮球视频中比赛状态和比分数字变化信息与进球得分类型的直接对应关系提出了两个新方法。其中，新方法之一定义了一个新的用于罚球事件识别的一个非场景目标特征。新特征与罚球事件（比分+1）直接对应且特征提取的过程不需要进行比分数字的识别。新方法之二提出了一个新的篮球视频中比分数字的识别方法，以用于进行其他进球得分类型的识别。该方法通过对一阶链式条件随机场(Linear Chain Conditional Random Field)进行改造来进行篮球视频中单个比分数字识别和比分数字转换模式约束的融合，相比传统方法这一融合方法具有更强的数学理论支撑。
　　第五项工作是体育教学辅助系统中篮球视频得分事件搜索与重播功能。此项工作以本文所提出的算法为基础进行了功能模块的设计与实现。体育教学辅助系统利用这一功能模块能够准确地从完整的篮球比赛视频中搜索到进球得分事件及其过程所对应的比赛视频片段。这些视频片段可以作为知识点相关的展示资源在篮球教学中使用。

目录

声明

摘要

1．绪论

1．1 研究动机

1．2 研究现状

1．2．1 篮球视频事件检测的一般流程

1．2．2 篮球视频时钟数字的定位识别

1．2．3 篮球视频比赛暂停边界检测

1．2．4 篮球视频进球得分类型识别

1．3 本文的研究工作概述

1．4 实验中所用到的数据集

1．5 本文的组织结构

2．单视频时钟数字的定位识别

2．1 算法概述

2．1．1 秒像素周期性方法介绍

2．1．2 算法的流程

2．2 秒位数字定位

2．2．1 潜在秒像素检测

2．2．2 秒位区域的定位

2．3 时钟其他数位数字的定位

2．3．1 时钟数字颜色的学习

2．3．2 时钟数字之间水平距离的计算

2．4 时钟数字的识别

2．4．1 基于序列模板匹配的时钟秒位数字识别

2．4．2 时钟其他数位数字的识别

2．5 实验结果

2．5．1 测试数据的准备

2．5．2 与传统算法的比较

2．5．3 算法中阈值参数的取值及说明

2．6 小结

3．篮球视频中双时钟数字的定位识别

3．1 算法的流程

3．2 基于像素自身颜色变化的潜在秒像素检测

3．3 比赛时钟和24秒钟的区分

3．4 24秒钟的秒位数字识别

3．5 实验结果

3．5．1 篮球视频双时钟的定位及时钟秒位数字识别

3．5．2 算法中阈值参数的取值及说明

3．6 小结

4．基于双时钟数字信息的篮球视频中比赛暂停事件的边界检测

4．1 算法流程

4．2 篮球视频比赛暂停发生的检测

4．3 篮球视频时钟暂停帧的检测

4．4 篮球视频比赛暂停边界的估计

4．5 实验结果

4．5．1 篮球视频比赛暂停发生的检测

4．5．2 篮球视频比赛暂停边界检测

4．6 小结

5．基于暂停边界和比分数字信息的篮球视频中进球事件的得分类型识别

5．1 算法流程

5．2 得分类型为罚球的识别

5．3 得分类型为三分球的识别

5．3．1 比分数字转换的性质

5．3．2 基于领域知识的比分识别条件随机场模型

5．3．3 转换前后比分数字的识别

5．4 实验结果

5．4．1 篮球视频进球为罚球的识别

5．4．2 进球是否为三分球的识别

5．5 小结

6．体育教学辅助系统中篮球视频得分事件的搜索与重播功能

6．1 相关工作

6．2 模块设计

6．2．1 解码模块

6．2．2 得分事件检测模块

6．2．3 记录生成模块

6．3 模块实现

6．3．1 解码

6．3．2 得分事件边界定位

6．3．3 记录生成

6．3．4 功能展示

6．4 小结

7．总结与展望

7．1 总结

7．2 未来的工作

参考文献

攻读博士学位期间发表的论文、科研成果等

致谢