面向混合云架构的DEW平台的研究与实现

摘要

云计算在过去一段时间得到了广泛应用，相比物联网、无线设备和人工智能的快速发展，云计算在整个云计算领域中的进步其实比较缓慢。目前，在云计算领域中主要是研究和应用一些与云计算相关的计算模型，提升云服务的通用性和普及率。其中露水计算(Dew Computing)是一个新兴的研究领域，应用潜力巨大，露水计算是云计算的补充，其核心目标是充分发挥本地设备与云服务的潜力，用好云服务。 本文设计面向混合云架构的DEW平台，针对企业内部存储需求，通过对本地计算设备、混合云的管理，混合云存储的任务调度策略设计以及用户画像分析，建立一个为企业提供低成本、高效率云服务的系统。DEW平台解决了企业数据存储服务质量不高的问题，为其他企业实现混合云存储提供了新的思路。系统的主要功能模块包括对象管理模块、存储调度模块以及用户画像分析模块。本文的主要研究内容如下： （1）本文通过对当前多种云计算架构的研究与分析，结合露水计算架构中独立性和协作性的特性，完成面向混合云架构的DEW平台设计。DEW平台由企业私有云和应用服务器组成，为企业用户数据存储提供存储调度等多种服务。 （2）基于云存储服务的服务可用性、网络带宽、任务完成时间跨度以及成本等问题本文设计并实现多云存储调度策略，包括对企业的云服务推荐，提高多云存储的性价比和稳定性。另外，系统通过对用户、终端、云的综合管理，提升系统服务的效率。 （3）本文基于RFM存储模型（Recency，Frequency，Monetary），采用K-means聚类算法构建了用户画像模型。管理人员通过用户的分群信息可以了解系统服务状况，进而采取相应措施提高系统服务质量。 （4）在东电信息中心实现DEW平台，解决了企业存储服务需求，通过实际工程项目测试，验证系统的可行性和性能。

目录

声明

第一章 绪 论

1.1 课题研究的背景和意义

1.2 国内外研究现状

1.2.1 混合云解决方案

1.2.2 云存储调度算法

1.3 本文的主要工作

1.4 论文的结构安排

第二章 相关理论的研究与分析

2.1 云计算架构

2.2.1 传统IT基础架构

2.2.2 云计算服务模式

2.2.3 雾计算

2.2.4 边缘计算

2.2.5 露水计算

2.2.1 分布式存储技术

2.2.2 访问控制技术

2.3 存储调度策略

2.3.1 任务调度策略概述

2.3.2 调度策略衡量因素

2.4 用户画像

2.4.1 应用场景

2.4.2 分析方式

2.4.3 K-means聚类算法

2.4.4 RFM模型

2.5 本章小结

第三章 系统需求分析

3.1 需求概述

3.2 系统可行性分析

3.3 系统功能需求分析

3.3.1 对象管理模块

3.3.2 存储调度管理模块

3.3.3 用户画像分析模块

3.4 系统业务需求分析

3.4.1 数据采集业务分析

3.4.2 存储调度业务分析

3.4.3 访问控制业务分析

3.4.4 对象管理业务分析

3.4.5 用户画像业务分析

3.5 系统非功能性需求分析

3.6 本章小结

第四章 DEW平台架构设计

4.1 系统架构

4.2 系统部署架构图

4.3 对象管理设计

4.3.1 数据库设计

4.3.2 HDFS存储架构

4.3.3 用户生命周期设计

4.3.4 对象综合管理

4.4 数据采集设计

4.5 访问控制设计

4.5.1 访问控制机制设计

4.5.2 回调响应机制设计

4.5.3 存储服务架构设计

4.5.4 存储服务流程

4.6 存储调度设计

4.6.1 调度模型

4.6.2 调度策略及应用

4.6.3 云服务推荐

4.7.1 用户画像构建

4.7.2 RFM存储模型

4.7.3 基于用户模型的聚类分析

4.7.4 用户画像分析

4.8 本章小结

第五章 系统实现与测试

5.1 实现环境

5.1.1 硬件环境

5.1.2 软件环境

5.2 实现及展示

5.3 功能测试

5.3.1 对象管理功能测试

5.3.2 访问控制功能测试

5.3.3 存储调度功能测试

5.3.4 用户画像功能测试

5.3.5 其它功能测试

5.4 性能测试

5.4.1 云存储服务传输性能测试

5.4.2 混合云存储性能测试

5.5 本章小结

第六章 总结与展望

致谢

参考文献

攻读硕士学位期间取得的成果