云平台零部件系统研发与海量小文件存储研究

摘要

随着云计算的广泛应用，云服务已经成为了IT基础设施与应用的主流替代品。灵活的交付模式、按需自主服务和无处不在的网络访问颠覆性的改变了传统IT服务的商业模式。企业聚焦于业务本身，按需定制个性化的服务。本文结合国家科技支撑计划课题“科技业务云服务平台研发与应用（2015BAH19F02）”，以汽车及零部件销售服务产业链业务协同与销售服务快速响应为目标，研发和构建基于云平台，能为零部件经销商、4S店和服务商提供集成一体化的零部件销售系统。通过云平台实现零部件销售系统基础数据管理、零部件采购管理、零部件销售管理以及零部件库存管理业务模块，减少业务管理中的手动操作，提高工作效率，达到计划统筹、资源共享和节省成本的目的。针对云平台零部件销售系统产生的海量图片文件，提出了基于Hadoop的存储方案，该方案集成了海量图片的分组、合并、检索和分布式存储等技术。本文研究的具体内容包括： （1）分析和理解云计算、云服务、云平台的概念以及其特点。重点研究云计算的交付模式、多租户架构以及其存储模式的实现方法和应用场景。对零部件经销商、4S店和服务商的业务进行需求分析，了解系统的功能、行为、性能和设计等方面的需求。 （2）结合需求和云平台特征给出系统的整体解决方案，再根据方案设计系统功能结构。运用多租户数据存储模式设计数据结构，实现租户之间的数据共享和隔离。分析零部件的基础数据、采购、销售和库存业务模块之间的关联关系，设计和研发基于云平台的零部件销售系统。 （3）零部件销售系统基于云平台，面向海量租户，运行时必然产生海量的数据，包括结构化数据（即订单数据）和非结构化数据（包括图片、日志、单据和报表等）。针对海量数据，本文利用混合数据存储模式即使用关系型数据库存储订单数据，利用分布式文件系统存储海量非结构化数据，重点探究Hadoop的分布式框架和存储技术。 （4）根据系统存储海量图片的需求，本文提出基于Hadoop的海量图片存储方案，由图片分组、合并和检索等三种方法的融合而成。针对海量图片分组，利用访问的时间和空间局部性原则，将不同种类的零部件图片分组存储。针对海量图片合并，本文提出了本地索引文件的序列化合并方法 LISF。LISF 方法与 Hadoop的SequenceFile 和MapFile方法对比，既能保证名称节点内存消耗最低，又能提高文件的访问效率。针对海量图片检索，利用图片的索引文件从合并文件中搜索图片，图片检索可以实现图片的随机读取。最后利用图片分组、合并和检索方法，实现海量图片存储方案在零部件销售系统中的应用。

目录

第一个书签之前