面向网上购物的多模态商品信息搜索技术的研究与实现

摘要

随着Internet技术迅速发展，电子商务技术日趋成熟，众多的购物网站平台应运而生，网上购物已经成为一种重要的购物方式。在购物时，用户首先需要在网站通过搜索商品信息来选择所需的商品，而目前绝大多数商品购物网站均基于文本搜索。面对海量的商品信息，当用户不知如何用合适的文本描述商品时，往往很难找到心仪的商品。因此，本文研究面向网上购物的、基于文本和图像的多模态商品信息搜索技术。
　　首先，在特征提取以及预处理方面，对于文本，本文通过分词和构建词典以提取文本特征。对于图像，本文进行了全局特征与局部特征的多特征提取，之后针对不同的特征采用不同的预处理方法，根据轮廓特征，利用weka开源软件对图像进行了初步的分类，利用局部特征SURF的仿射变换不变性，过滤出更稳定的SURF特征点。采用淘宝网站数据的实验结果表明了本文提出的特征提取及预处理方法在商品图像分类方面的优势;
　　第二，对于文本搜索，在特征提取和预处理的基础上，本文利用Lucene构建索引，根据本文对商品文本信息结构的划分，实现了根据4种不同属性的搜索，即商品名称、交易数量、商品描述、商品价格。采用淘宝网站商品描述信息的实验结果表明了本文提出的方法基于这4种属性搜索的有效性;
　　第三，对于图像搜索，在特征提取和预处理基础上，本文通过改进经典的LSH算法实现搜索。首先分析了各种LSH算法的变形，之后对该算法从两个方面进行改进:对于图像的全局特征，首先利用PCAp-LSH算法的特点反映出数据的分布，其次利用计数PCAp-LSH算法以选择适宜度更高的投影轴;对于局部特征，提出适应局部特征的p-LSH算法，利用基于轴点的p-LSH提高检索效率与准确率，并将LSH算法应用于高维复杂的局部特征。采用淘宝网站商品图片的实验比较了不同参数、不同特征、不同搜索算法的搜索结果，结果表明了本文所提出方法在搜索质量方面的优势;
　　最后，将文本搜索与图像搜索结合起来，实现了多模态信息搜索。采用淘宝网站的商品信息（包括图片和文本信息）的实验结果表明了本文的多模态搜索能够满足用户在召回率和准确率方面的不同搜索需求。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．1．1 电子商务网站的发展分析

1．1．2 多模态信息检索的需求

1．2 国内外研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 本文研究内容

1．3．1 课题来源

1．4 本文组织结构

第2章 相关理论及技术

2．1 图像特征

2．1．1 图像颜色特征

2．1．2 图像纹理特征

2．2 高维数据索引

2．3 PCA主成分分析

2．4 相似性度量

2．5 图像检索评价标准

2．5 本章小结

第3章 网站商品多模态特征提取及预处理

3．1 问题描述

3．2 图像特征提取

3．2．1 图像全局特征提取

3．2．2 图像局部特征提取

3．3 图像背景噪音去除

3．4 图像分类

3．4．1 构建图像类别表

3．4．2 基于weka的图像分类

3．5 SURF特征提纯

3．6 文本特征提取与预处理

3．7 实验及分析

3．7．1 图像的类别统计

3．7．2 图像分类

3．7．3 图像SURF特征的提纯

3．8 本章小结

第4章 基于Lucene索引的网站商品文本搜索

4．1 问题描述

4．2 基于文本商品搜索框架

4．3 构建Lucene索引

4．4 Lucene索引检索

4．5 实验及分析

4．6 本章小结

第5章 基于LSH索引的网站商品图像搜索

5．1 问题描述

5．2 图像搜索框架

5．3 位置敏感哈希(LSH)算法原理

5．3．1 LSH算法原理

5．3．2 通用LSH算法框

5．3．3 位置敏感哈希的定义

5．4 位置敏感哈希(LSH)的种类

5．5 位置敏感哈希(LSH)的应用

5．6 改进的p-LSH算法

5．6．1 计数PCAp-LSH

5．6．2 适应局部特征p-LSH

5．7 实验及分析

5．7．1 实验设计

5．7．2 p-LSH算法实验

5．7．3 基于全局特征的p-LSH改进算法实验

5．7．4 基于局部特征的p-LSH改进算法实验

5．8 本章小结

第6章 面向网上购物的网站商品多模态信息搜索

6．1 问题描述

6．2 多模态商品搜索框架

6．3 算法实现

6．4 实验及分析

6．5 本章小结

第7章 结论及未来工作

7．1 本文主要工作

7．2 进一步的工作

参考文献

致谢

攻硕期间参与项目及发表的论文