基于Hadoop的图片地理定位研究

摘要

随着多媒体技术和互联网的发展，图片分享网站逐渐兴起。由于用户的广泛参与，图片分享网站中存储了海量的多媒体信息，其中有大量的图片、文本标签和用户信息，部分图片还具有GPS坐标，文本标签也通常含有地理位置描述信息。而与用户相关的GPS坐标具有很重要的研究价值，基于地理位置的搜索也逐渐流行，因此具有地理位置的图片有着广泛的应用前景。
　　海量的具有地理位置的图片数据能提供有价值的信息，但具有准确地理位置的图片在网络图片中占得比例很低，人工标注的地理位置又往往不准确，因此需要利用已有的具有准确地理位置的图片确定其它图片的地理位置。同时，海量图片数据的处理需求对图片处理应用的数据存储与处理能力提出了更高的要求，依靠传统的数据处理技术已经不能满足大量数据的处理要求。云计算的快速崛起为图片处理应用提供了新的选择。
　　本文在分析国内外研究背景和现状的基础上，研究了基于Hadoop的图片文件存储方案，深入了解和分析了Hadoop在处理小文件时存在的问题以及现有的解决方案，通过采用文件合并的方式优化了图片小文件的存储，并提出了一种改进的图片存储方案，设计了相应的存储访问接口。本文还分析了基于文本标签和基于内容的图片地理定位方案，研究了方案中用到的GPS坐标聚类、文本标签分类、图片特征提取及相似度计算等关键技术，并提出了一种基于Hadoop的改进的图片地理定位方案，同时结合Java编程语言、SQL Server2012数据库技术和百度地图API实现了基于Hadoop的图片地理定位系统。
　　改进后的图片文件存储方案支持文件的合并和追加操作，极大地方便了图片文件的管理和处理，改进后的图片地理定位方案利用GPS坐标聚类和文本标签分类技术划分图片区域，同时将文本标签相似度与图片相似度相结合，有效地利用了图片及其文本标签信息。本文的实验结果表明，改进的图片文件存储方案具有较好的存储访问性能，改进的图片地理定位方案具有相对较高的准确率，系统运行也达到了预期的效果。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．2．1 Hadoop小文件处理研究

1．2．2 图片地理定位研究

1．3 本文的研究内容

1．4 本文的组织结构

第二章 相关技术研究

2．1 Hadoop分布式平台结构

2．1．1 HDFS分布式文件系统

2．1．2 MapReduce分布式计算

2．2 Hadoop小文件处理问题分析

2．3 Trie树和三叉搜索树

2．3．1 Trie树

2．3．2 三叉搜索树

2．4 基于内容的图片检索

2．4．1 图片特征描述

2．4．2 Bag-of-Features模型

2．5 聚类算法

2．5．1 k-均值聚类算法

2．5．2 Canopy聚类算法

2．6 分类器

2．6．1 朴素贝叶斯分类器

2．6．2 k-近邻分类器

2．7 本章小结

第三章 海量图片存储方案分析与设计

3．1 Hadoop归档文件和序列文件

3．1．1 Hadoop归档文件

3．1．2 序列文件

3．2 图片文件存储改进方案

3．2．1 文件存储结构设计

3．2．2 存储访问接口设计

3．2．3 图片文件检索设计

3．3 方案可行性分析

3．4 本章小结

第四章 图片地理定位方案研究

4．1 基于文本标签的图片地理定位

4．1．1 GPS坐标聚类

4．1．2 文本标签分类

4．1．3 目标图片地理定位

4．1．4 方案有效性分析

4．2 基于内容的图片地理定位

4．2．1 FCTH特征

4．2．2 Bag-of-Features模型构建

4．2．3 图片相似度计算

4．2．4 目标图片地理定位

4．3 基于Hadoop的改进的图片地理定位

4．4 本章小结

第五章 系统设计与实现

5．1 系统总体设计

5．1．1 图片库生成模块

5．1．2 检索模型构建模块

5．1．3 图片地理定位模块

5．2 数据库设计

5．3 系统实现

5．3．1 相关环境

5．3．2 HMPI实现

5．3．3 GPS坐标聚类

5．3．4 图片检索模型

5．4 实验结果与分析

5．4．1 存储方案性能比较

5．4．2 图片地理定位准确性比较

5．5 系统运行效果

5．6 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

攻读硕士学位期间发表的论文

致谢