改进K-Means聚类算法在基于Hadoop平台的图像检索系统中的研究与实现

摘要

现代人们的生活已经进入了移动互联网时代，各种移动互联网设备的普及和广泛应用极大的方便了人们的生活学习等各个方面。与此同时，来自各行各业的大量信息正以多媒体信息的方式数字化并不断累积。其中图像作为最为基本的多媒体信息之一易于理解和使用，人们对图像检索的需求也从开始的根据文本描述来检索图像发展到根据图像内容来检索相似图像。
　　图像检索早已成为计算机领域的一个研究热点，它可以按照检索内容划分为基于文本的图像检索和基于内容的图像检索。本文主要的内容是如何应用大数据技术进行基于内容的海量图像检索技术的研究和实现。
　　从数据层面分析，一个基于内容的图像检索系统要解决大量图像数据的存储和快速处理两个最主要的问题，本文将使用专门用于大数据存储和处理的Hadoop技术来存储大量的图像数据并进行离线地分布式计算;从检索技术层面分析，要进行特征提取和处理，本文将提取图像的SIFT特征，然后对这些特征进行K-Means聚类，将聚类结果作为Bag-of-Words模型的视觉词袋对所有图像的SIFT特征点进行量化处理，从而用一个固定维数的特征向量表示每一幅图像，此外再用TF-IDF加权技术处理这些特征向量，最终计算这些图像与检索图像特征向量之间的相似度，返回相似度最小的一些图像。
　　本文使用并修改HIPI-Hadoop图像处理接口实现在Hadoop上进行图像类型的存储处理和检索，提出了一种改进的并行K-Means算法并应用于特征点的聚类，使用一种基于面积的相似度计算方法计算图像特征向量间的相似度。改进了部分Mahout源码适应大数据的处理需求。
　　图像检索应用广泛，对基于Hadoop的图像检索系统的研究将对大数据时代图像检索技术的发展起到一定的指导作用。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．3 本文内容与结构

第二章 Hadoop云计算平台与图像检索技术

2．1 云计算

2．1．1 云计算的概念

2．1．2 云计算系统的特征

2．1．3 云计算系统的体系结构

2．1．4 现有的各大云计算平台

2．2 Hadoop平台简介

2．2．1 Hadoop项目及其结构

2．2．2 Hadoop分布式文件系统HDFS

2．2．3 MapReduce计算模型

2．3 基于内容的图像检索技术

2．3．1 CBIR的基本原理

2．3．2 CBIR的特征提取技术

2．3．3 CBIR的相似度度量方法

2．4 小结

第三章 基于Hadoop的图像检索系统设计方案

3．1 基于Hadoop的图像检索系统整体框架

3．2 功能模块设计

3．2．1 用户交互模块

3．2．2 海量图像数据的存储

3．2．3 图像数据特征的提取

3．2．4 特征的K-Means聚类和量化

3．2．5 图像搜索匹配

3．3 小结

第四章 实验与分析

4．1 实验环境与测试数据

4．1．1 实验环境

4．1．2 测试数据

4．2 功能模块设计与分析

4．2．1 用户交互模块

4．2．2 数据存储模块

4．2．3 特征提取模块

4．2．4 特征聚类模块

4．2．5 在线搜索模块

4．3 结果评估

4．4 小结

第五章 总结与展望

5．1 总结

5．2 研究展望

参考文献

致谢