新闻视频故事单元分割

摘要

随着日常信息量的增长,新闻节目的增多,新闻视频分析、组织、检索等成为一种迫切需要。故事单元结构作为新闻视频分析等工作的基础,研究其分割实现具有一定的意义。本文以新闻视频节目为对象,对新闻故事单元分割中的相关技术进行了讨论,主要包括:主持人镜头检测、主题字幕检测、音频跳变检测,并设计了一种基于多模态融合的新闻故事单元分割算法。
　　 采用运动补偿和自适应双阈值算法的镜头边界检测后,在每个镜头选取关键帧的基础上,本文提出了一种基于人脸检测和近邻传播聚类的检测算法,实现了主持人镜头检测。
　　 同时提取镜头关键帧的小波系数作为特征,采用支持向量机分类器对这些特征分类,实现了主题字幕的提取。
　　 对新闻视频中的音频,提取Mel频率倒谱系数作为音频特征,设计了基于混合高斯模型和分割熵的检测算法,实现了新闻视频中音频跳变检测。
　　 本文在总结了现有的故事单元分割方法基础上,利用主持人镜头、主题字幕以及音频跳变的检测结果,设计了一种基于多模态融合的故事单元分割方法,实现了故事单元边界检测。
　　 最后,本文以VisualC++6.0、MatlabR2007为开发语言,实现了一个新闻故事单元自动分割系统。实验表明,本文的新闻故事单元自动分割算法具有令人满意的效果。