视频语义上下文标签树及其结构化分析

摘要

视频内容具有非常强的时间关联和逻辑结构,镜头语义是视频内容理解的基本单元。从符合人类认识理解视频内容的角度来看,镜头语义之间隐含着时间上、语义上、结构上的多种上下文关联信息。合理地描述这种上下文信息至关重要。为此,首先采用一棵带有上下文标签的标签树作为镜头语义上下文层次结构的表征模型,以序列化的镜头语义序列为底层叶节点,以内节点的上下文标签表征镜头语义间的上下文关联,其树形结构与视频内容层次化表征形式一致,能为视频内容理解提供显著的信息增益。然后,着眼于解决镜头语义从其序列结构向标签树的层次结构转化,采用结构化支持向量机的分析方法,根据镜头语义序列和视频语义上下文标签树的联合特性构造了语义上下文结构化函数和损失函数,实现了镜头语义的结构化分析。实验结果表明,视频语义上下文标签树在时序性、层次性、领域性、逻辑性等方面具有良好的表征能力,而基于结构化支持向量机的结构化分析方法在镜头语义上下文分析的准确率、召回率及F1值表现良好。