基于内容和文本辅助的web图像分类系统的设计与实现

摘要

随着移动互联网时代的到来,人们可以通过任何手持移动设备发布声音、图像和视频等多媒体资源到互联网上,导致互联网上的多媒体信息呈爆炸式增长,基于内容的图像分类和检索技术由于在管理和准确查询web图像等领域拥有广阔的应用前景而受到业界越来越广泛的关注,例如Google和百度等搜索巨头都推出了自己的图像检索功能。本文在分析目前web图像分类技术的基础上进行了深入的研究,结合图像视觉特征和网页相关文本信息,设计并开发了一个web图像分类系统TinyPanda。
　　首先,为了全面的描述图像内容本身,本文提出一种基于SVM将SURF局部特征描述子和全局特征决策融合的图像分类算法。该算法首先提取图像的SURF特征向量集合,利用局部敏感哈希(LocalitySensitiveHashing,LSH)归约成单一直方图向量,然后提取图像的全局特征(如颜色),接着分别利用SVM对上述特征进行分类,并对其分类结果做决策融合,从而得到最终的分类结果。该算法除了综合利用图像的局部特征和全局特征各自在图像特征描述方面的优势之外,既能克服全局特征和局部特征直接融合用于图像分类时的维数泛滥,又能解决由于SURF关键点数量造成的匹配点寻找时间复杂度过高的问题。
　　然后,在构建web图像分类系统的数据库时,设计并实现了基于关键字的web图像主题爬虫,在爬取图像的过程中,根据预先限定的一系列关键字来计算网页相关度,并对网页正文区域进行识别,以达到网页级图像筛选以及网页中图像和文本信息获取的目的,从而克服由于Web网页上图像纷繁复杂难以限定图像类别的问题。
　　最后,采用融合图像和文本辅助的web图像分类技术,通过人工决策算法,融合图像在视觉特征提取和SVM分类决策融合后获取的属于各类别的概率,以及网页按照关键字相关度计算后获取的该图像所在网页对应文本类别的权重,实现web图像分类准确率的提高。
　　为了验证上述算法,本文设计并开发了一个web图像分类系统TinyPanda,系统主要包括查询模块、视觉特征提取模块、多特征融合模块、web图像主题爬虫模块、视觉特征和文本信息融合模块等功能模块。通过对从网页上实时爬取的13719张web图像构建的图像库进行的实验,结果表明,决策融合HSV颜色和局部SURF特征后能将平均分类准确率从单一视觉特征的74.6％提高到82.7%;网页文本信息辅助视觉特征的web图像分类能将平均分类准确率进一步提高到91.5%。充分验证了本文的多特征融合算法和文本辅助算法的有效性。
　　本文的研究工作是对基于内容的web图像分类和检索技术走向实用化和商业化的有意探索和尝试,论文中提出的算法具有一定的理论意义及应用价值。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 引言

1.2 国内外研究现状综述

1.3 本文工作

1.4 本文研究内容和组织安排

2 图像分类关键技术研究

2.1 视觉特征提取

2.2 数据归约相关技术

2.3 分类器研究

2.4 本章小结

3 基于SVM决策融合局部和全局特征的图像分类

3.1 LSH映射局部特征向量集合成直方图

3.2 基于SVM的多特征融合

3.3 实验结果及分析

3.4 本章小结

4 基于关键字的web图像爬虫

4.1 基于关键字的web图像主题爬虫架构

4.2 基于关键字的网页相关度计算

4.3 正文区域识别

4.4 实验结果及分析

4.5 本章小结

5 基于内容和文本辅助的图像分类

5.1 单独文本分类存在的问题

5.2 单独内容分类存在的问题

5.3 融合内容和文本信息的web图像分类算法

5.4 实验结果及分析

5.5 本章小结

6 Tiny Panda系统的设计与实现

6.1 系统构架

6.4实验结果及分析

6.5 本章小结

7 结论与展望

7.1 总结

7.2 下一步研究方向

致谢

参考文献

附录 攻读硕士学位期间发表论文和参与科研项目情况