基于多特征融合的网络媒体综合检索

摘要

信息时代，万物数字化，互联网呈几何级发展态势，特别是网络媒体(WebMedia)发展迅猛。互联网的发展离不开数据的发展，这种发展不仅体现在数据规模急剧膨胀上，也体现在数据结构日益复杂上:从传统的单一文本模态向多种模态交错融合发展。面对数量巨大，结构复杂的多模态数据，传统的信息检索技术已经不能满足新形势的需求。如何合理有效的处理海量数据信息，如何从多模态数据中精确高效的匹配出相关资源成为亟待解决的问题。
　　 本文从传统信息检索技术出发，研究了单模态、多模态多媒体检索技术的发展与现状。通过整合现今成熟有效的多媒体分析索引方法、融合算法、结果合并算法，本文提出了一种基于多特征后融合的检索框架。该框架的主要思想是分别分析各模态数据特征，根据各模态索引信息并行检索，加权合并结果集。为了更好的处理规模庞大的结果集，该框架引入了ηTA合并算法，以部分合并精准率换取高效的检索速度。该框架以D-Ocean项目（编号:2010ZX01042-002-003）为依托进行了算法集成，并在实际应用中进行了测试和展示。实验证明:相比单模态检索方法，综合框架有更好的检索效果。另外，针对社会媒体海量的多模态数据，本文提出了一种基于多特征前融合建模的检索框架。该框架采用两次聚类的多特征融合方法，其主要思想是先分别对各模态数据进行特征分析，进行一次聚类，然后根据模态数据间的共生概率关系进行二次聚类。该框架兼顾了各模态自身的特性和模态间的关联性，提高了检索质量，并通过建立Lucene索引加快了检索速度。实验证明:相比基于CCA的前融合检索方法，该框架有更好的检索效果。

目录

声明

摘要

第1章 绪论

1．1 课题背景

1．2 研究目的和本文的主要工作

1．3 本文的组织结构

第2章 国内外研究现状

2．1 单模态检索研究

2．1．1 基于文本的信息检索

2．1．2 基于内容的信息检索

2．2 多模态融合检索方法

2．2．1 特征空间前融合检索

2．2．2 结果集后融合检索

2．3 本章小结

第3章 基于多特征后融合的检索

3．1 检索框架总述

3．2 关键技术

3．2．1 分析、索引服务

3．2．2 排序、合并算法

3．3 实验

3．3．1 实验准备

3．3．2 评价标准

3．3．3 实验结果

3．4 本章小结

第4章 基于多特征前融合建模的检索

4．1 设计思想

4．2 关键技术

4．2．1 标签聚类

4．2．2 图像、用户聚类

4．2．3 二次聚类

4．2．4 索引、检索

4．3 实验

4．4 本章小结

第5章 算法集成

5．1 系统背景

5．2 查询处理框架

5．2．1 统一检索接口

5．2．2 搜索引擎

5．3 查询结果展示

第6章 总结与展望

参考文献

致谢

附录