新闻视频语义概念探测与语义检索关键技术研究

摘要

新闻视频由于其真实准确、内容丰富、信息量大等特点，成为人们获得信息的重要媒体类型。对于情报人员而言，新闻视频是一种公开的情报源，其时效快，且反映各国政治、经济、军事和外交政策，从而能够为情报人员提供丰富情报，为战略决策分析提供重要辅助，因此研究新闻视频的语义分析技术无论对于普通民众或是情报分析人员都具有非常重要的意义。但是新闻视频的底层特征与高层语义之间存在的语义鸿沟问题使得新闻视频的语义内容分析面临巨大困难，并且新闻视频的非结构化的数据格式、巨大的数据量以及表现内容不透明等特点使得人们难以方便快速对新闻视频进行浏览和检索。由此可见，分析新闻视频的语义内容以辅助用户获得有效的新闻视频信息是值得深入研究的问题，本文针对此具有理论意义及应用前景的课题进行了探索和研究，目的在于解决新闻视频语义概念探测和语义检索中部分关键技术，为构建有效的新闻视频语义检索系统提供技术支持，同时也为获得新闻视频的视觉语义内容、跨越语义鸿沟提供解决思路。
　　本文首先建立一个新闻视频语义检索研究的技术框架，在此基础上重点研究基于概念关系的语义概念探测、基于多线索信息的语义概念探测、新闻视频语义索引构建以及用户查询多模态语义扩展等关键性技术，通过实验验证了本文研究的可行性和本文所提出算法的性能。论文的主要贡献具体表现在如下几个方面：
　　1、提出了基于概念关系的语义概念探测方法。对语义概念间存在的上下文关系进行定量定性分析，针对显式和隐式两类语义概念探测方法提出新的解决思路。针对隐式探测方法，提出在基于上下文关系的语义概念探测框架中增加相关概念选择模块，并结合视觉相似性、探测器准确率等多项要素得到最终的融合判定；在此基础上，根据概念关系对 Boosting方法中的权重分布策略进行改进，在限制权重扩张的同时平衡了探测模型训练过程中的误判率与误拒率。针对显式探测方法，有效利用语义概念的共现与互斥关系，将精化过程转化为随机漫步过程，并分解为正、负相关两个部分进行迭代精化处理以保证随机过程的收敛，进一步去除不可靠相关概念，以获得更为鲁棒的精化结果。
　　2、提出了基于多线索信息的语义概念探测方法。分析了对于探测新闻视频语义概念具有重要作用的多线索信息，包括运动信息、时间信息以及文本信息。针对运动信息，提出了运动特征与背景特征相融合的语义概念探测框架，采用运动局部不变特征描述子对镜头进行运动特征提取，并采用概率潜在语义分析获得镜头的潜在语义以构建潜在运动语义概念探测模型；针对时间信息，综合分析语义概念的多种时序关系，包括时间一致性关系、镜头间上下文关系以及镜头内上下文关系，构建了基于扩展N-gram语言模型的时序平滑框架，并利用高阶时序关系抑制模型中的数据稀疏问题。
　　3、提出了新闻视频的层次化语义索引结构，包括潜在概念、语义概念、文本词汇以及高层的概念聚类。针对高层概念聚类，提出了基于四部图划分的新闻视频故事单元聚类方法。该方法在分析新闻视频高阶异构特性的基础上，构建了新闻故事单元的四部图模型，将四部图联合聚类问题分解为三个二部图划分问题，并进一步转化为多目标优化问题，采用半正定规划方法获得全局最优解，以得到最终的联合聚类结果。
　　4、提出了用户查询的多模态语义扩展方法，利用WordNet衡量查询文本与语义概念间的相似度，并结合概念关系完成查询与语义概念的初步映射，在此基础上提出多特征交互框架，利用包括语义概念、潜在语义、文本语义在内的多类语义特征之间的互补特性，对初始检索结果进行重排序，以获得多模态语义扩展的用户查询，并与层次化语义索引进行映射得到最终的语义检索结果。
　　5、基于本文的研究内容，设计和实现了一个新闻视频语义检索原型系统。分层次、分模块的对原型系统进行了设计思路、总体架构和运行流程方面的阐述。新闻视频语义检索原型系统以本文研究的关键技术作为技术内核，实现了语义概念标注、语义索引构建及语义检索等各项功能。

目录

声明

第一章 绪 论

1.1 研究背景和意义

1.2 国内外研究现状

1.3 论文的主要工作

1.4 论文的组织结构

第二章 相关概念与技术框架

2.1 相关概念

2.2 新闻视频检索特点分析

2.3 新闻视频语义概念特点分析

2.4 新闻视频语义检索研究技术框架

2.5 本章小结

第三章 基于概念关系的语义概念探测技术研究

3.1 语义概念关系分析

3.2 多语义概念融合方法研究

3.3 语义概念探测精化方法研究

3.4 本章小结

第四章 基于多线索信息的语义概念探测技术研究

4.1 多线索信息对于语义概念探测的作用分析

4.2 基于运动信息的语义概念探测方法研究

4.3 基于时间信息的语义概念探测方法研究

4.4 本章小结

第五章 多模态语义融合的新闻视频检索技术研究

5.1 新闻视频检索多模态问题分析

5.2 新闻视频多模态语义索引方法研究

5.3 用户查询多模态语义扩展方法研究

5.4 本章小结

第六章 新闻视频语义检索系统的设计与实现

6.1 任务背景

6.2 新闻视频语义检索系统的设计

6.3 系统实现

6.4 本章小结

第七章 总结与展望

7.1 论文的主要贡献

7.2 进一步的工作

致谢

参考文献

作者在学期间取得的学术成果