多维语义线索和HCRF模型的足球视频精彩事件检测

摘要

足球视频精彩事件检测一直是视频语义分析领域研究的热点和难点.文中利用隐条件随机场(hidden conditional random field,HCRF)模型在表达和识别语义事件方面的强大功能,提出一种多维语义线索和HCRF的角球、点球和红黄牌精彩事件检测框架.首先通过对精彩事件视频结构语义进行分析,定义了10种多维语义线索,以准确描述精彩事件富含的语义信息;然后对视频片段进行物理镜头分割,对镜头关键帧提取多维语义线索得到特征矢量,再将测试视频片段中所有镜头的特征矢量共同构成观察序列;最后在小规模训练样本的情况下将观察序列作为HCRF模型的输入,建立了精彩事件检测的HCRF模型.文中基于音视频底层特征、多维语义线索及精彩语义事件之间的映射关系,从视频结构语义的多个维度挖掘了精彩事件的内在规律,准确地实现了精彩事件的检测.实验结果表明了该框架的有效性.