中文互联网视频搜索引擎系统策略研究

摘要

互联网是人类迄今为止发明的最大的信息知识宝库，特别是随着Web2.0时代的到来，互联网的信息贡献者普及到全体上网人群。搜索引擎的出现使得这些海量的信息的价值被真正发掘出来，让所有信息都拥有平等的被发现、获取和应用的机会。互联网上的信息种类由最初的文字、图片越来越向以音频、视频为主的多媒体方向拓展，对视频信息的检索需求也应运而生。继传统搜索引擎技术之后，如何实现高效的、适应大规模且快速增长和更新的视频内容的搜索成为新的研究热点。本论文即是作者于攻读博士学位期间从事中文互联网视频搜索引擎的研究开发工作的总结，这是国内第一个正式公开发布的视频搜索引擎。
　　本论文的研究工作自2006年开始。以国内最大搜索引擎的互联网数据库为基础，第一次对中文互联网的视频数据分布和用户搜索行为日志进行了大规模测量和研究，对中文互联网用户的视频搜索需求进行了充分细致的分析，在对传统搜索引擎的工作原理进行了具体分析和对视频搜索引擎提出具体评估标准之后，得出了传统搜索引擎不能胜任视频搜索引擎工作目标、有必要构建专用的视频搜索引擎的结论。在此基础上，本文提出了视频搜索引擎的架构模型，并指出实现视频搜索引擎的主要核心技术问题，包括面向视频分享网站的定向抓取和信息抽取，面向网页视频的挖掘和信息抽取，以及面向视频搜索的检索排序，并针对这些核心技术问题提出相应的算法。进一步，基于这些核心算法构建了国内外第一个基于中文互联网的视频搜索引擎系统，面向公众提供在线视频搜索服务，该引擎己成为国内影响力最大的互联网视频搜索引擎。论文主要工作和创新如下：
　　1)提出了面向视频分享网站的定向抓取的方法，主要解决视频分享网站的视频数据抓取和信息提取问题。在抓取的过程中，提出基于对视频分享网站的网站结构和网页结构进行分类的算法，对不同类型的网页可以采取不同的深度抓取策略，并针对包含视频内容的网页类型应用不同的信息抽取包装器，提取出识别规则，保证对视频分享网站的深度抓取和准确挖掘。
　　2)提出了基于传统搜索引擎的全网网页库中的网页视频进行挖掘和信息抽取的算法。对全网spider系统的URL抓取优先级算法进行了详细分析，提出了用DOM树方法进行网页视频进行信息抽取的方法，保证视频数据抽取的准确性，提升全面性。定向抓取与全网挖掘相结合，为视频搜索提供基本的数据源和文本索引信息，并在覆盖率和准确性之间取得平衡。
　　3)基于对用户视频搜索需求的分析，提出了适合中文视频搜索的归并排序的算法，并提出在线评估实验的方法，确定了算法参数取值，检验了算法的有效性。这种算法综合考虑了视频相关性、视频质量和网站质量，兼顾了用户进行检索时的相关性体验，以及检索后观看视频的播放体验。后续的研究工作进一步表明本文提出的排序算法在线评估方法是一种适应大规模网络应用的算法性能评估方法。
　　4)对基于以上核心技术构建的视频搜索引擎的效果进行了综合评估，从覆盖率、时效性、相关性等方面对视频搜索引擎进行了技术评估，并与后期出现的其它同类搜索引擎服务进行了对比，通过对第三方评测数据的分析，验证了本文的视频搜索引擎技术的相对性能，验证本文设计的算法及策略的有效性，并说明了本文所述视频搜索引擎对中国互联网在线视频行业的发展做出的贡献。