Web脚本语义与图像特征融合的多媒体检索机制研究

摘要

随着网络宽带的普及和多媒体技术的发展,多媒体在网络的广泛传播已经成为现实,并且日益成为重要的资源.它们主要以图片、图形、视频、音频、动画等形式分布在Internet/Intranet的网页中,多媒体具有数据量大,非结构化,语义不直观性、多义性、主观性等特点,其检索也相对要复杂得多,因此探索有效检索Web多媒体信息的方法,成了我们面临的一大挑战.Web多媒体检索(Web Multimedia Search)就是要建立一个有效的搜索引擎(Search Engine).目前网上多媒体信息检索基本途径主要有两种:基于语义关键词的检索和基于内容的检索.本文只考虑Web脚本语义和图像(特征)之间的融合分析,它建立在基于Web脚本和基于内容的两中检索基础至上的,因此本文第二章进行了基于Web脚本语义的图像检索,剖析了Web脚本XML/HTML文件中语义关键词的来源,探讨了提取方法,提出了初步系统架构等;第三章对基于内容的图像检索进行研究,介绍了目前图像内容检索的基本方法,以及颜色、形状、纹理三种主要特征数据的提取算法,提出了系统架构;第四章对基于Web脚本关键词和图像特征的多媒体(图像)融合检索进行了深入研究,采用受到控词典中的关键词作为基于Web脚本关键词子系统查询输入,提取返回结果较前面的图像,根据隐马尔可夫链(HMM)训练出这个关键词对应的特征向量值,建立关键词和特征的对应关系,设立联合向量,并在此基础上实现融合检索的算法,构建了融合检索系统原型,有效提高了检索的综合性能.

目录

文摘

英文文摘

第一章绪 论

1.1研究背景与要解决的问题

1.2国内外研究现状

1.3本文的贡献和目标

1.4本文的结构

第二章基于Web脚本语义的多媒体检索

2.1 Web脚本分析

2.1.1 HTML脚本

2.1.2 XML脚本

2.2脚本中多媒体语义源及提取方法

2.2.1 HTML脚本的多媒体语义源及提取方法

2.2.2基于Web内容挖掘的语义提取

2.3基于脚本关键词的原型系统架构

2.4小结

第三章基于内容的多媒体(图像)检索

3.1多媒体内容分析

3.1.1用户获取多媒体信息的方式

3.1.2多媒体内容

3.1.3多媒体内容处理技术

3.1.4基于内容的多媒体检索原理与特点

3.2图像检索技术

3.3图像特征的提取与表达

3.3.1颜色特征的提取

3.3.2纹理特征的提取

3.3.3形状特征的提取

3.4网络环境下的图像检索系统

3.5小结

第四章语义与特征融合的多媒体检索

4.1图像检索研究的三个方向

4.2多媒体融合检索

4.2.1基于Web脚本语义检索的缺点

4.2.2基于内容的图像检索缺点

4.2.3 Web脚本语义与图像特征的融合方法

4.2.4融合检索原型系统架构

4.3融合检索原型系统的实现

4.3.1系统软硬件平台和开发环境的选择

4.3.2系统工作机制

4.3.3系统检索效果图

4.4小结

第五章结论和展望

参考文献

攻读硕士学位期间完成论文和科研项目

致谢