基于TOP API和LIRE的分布式Web图像检索系统的研究与实现

摘要

本文通过分析研究基于LIRE架构的图像搜索引擎的关键技术难题，结合TOP API(Taobao Open Platform API，淘宝开放平台API)接口及Web爬虫技术，重点改进现有LIRE(Lucene Image REtrieval，Lucene图像检索)框架算法和模型，采用分布式索引技术，完成了一个互联网电子商务Web图像检索系统的原型，并分析本课题研究在互联网上所产生的价值与商业应用效益。
　　 本文的研究涉及了计算机应用领域中的两个重要方面：电子商务和基于内容的图像搜索引擎。
　　 对于基于TOPAPI的分布式索引数据的采集，相关研究不仅涉及到TOP API的调用及商品图片数据的获取，同时考虑到传统数据获取的方法和策略，依靠Heritrix网络爬虫，对其进行定制和算法的改进，以此来获取特定网页图片数据信息，并最终通过建立分布式索引库，提供给检索系统进行搜索。
　　 对基于LIRE的检索系统，除了改进LIRE的框架系统，同时也提出了图像均方差相似度的计算公式，改善了LIRE检索的准确度问题。
　　 本课题的研究内容主要包括以下方面：
　　 (1)TOP API采集不同类目商品的图片数据
　　 (2)Heritrix爬取商品图片数据的模块设计
　　 (3)分布式索引策略
　　 (4)LIRE图像搜索Web架构模型
　　 (5)图像搜索准确度算法改进
　　 根据研究内容，课题解决的关键问题主要有：(1)商品图片数据采集，通过TOP API与网络爬虫Heritrix采集一定数量级的图片数据，作为图片索引的基础，为检索系统提供搜索接口和数据支持；(2)分布式索引的建立，将图片库按一定的策略归类整理，做成分布式的检索索引；(3)实现LIRE图像搜索的Web架构改造，推出改造模型，并改进搜索结果的准确度计算方法。
　　 最终，通过相关的开源技术支持和前期的技术预演，本课题实现了一个Web图像检索系统(Web Image Retrieval System，WIRS)原型，证实了以上问题的技术可行性，并分析了该系统的优劣与应用场景，提出了对系统进一步改进和研究的工作方向。