在线动态数据迁移下系统负载控制的设计与实现

摘要

随着现代信息化进程的迅猛发展，硬件设施的更新换代的时间日趋变短，企业信息系统替换的频率也变得越来越高。当旧的信息系统在面临升级和替换的问题时，旧系统中必然会有有价值的信息数据需要迁移到新的系统中。企业在替换过程中对信息系统也提出了更高的要求，希望旧的系统向新系统进行数据迁移的同时不能停止现有的固定日常事务。基于这个背景，产生了数据迁移框架这个项目。
　　数据迁移框架提供从源系统到目标系统进行信息数据传输，并在传输过程中解决数据迁移和源系统正常业务服务同时运作时容易产生的系统负载失衡问题。负载控制是数据迁移框架保证在线动态数据平稳迁移和源系统日常业务服务正常执行的关键功能，负载控制的质量好坏不仅仅决定了数据迁移项目能否正常交付使用，而且对后期用户进行二次开发时是否提供运行的有力支持产生影响。本人完成了如下工作:负载控制的算法选取、比较和实现;安装部署包的结构设计及调度脚本设计;数据迁移框架的测试验证。
　　本文在基于动态在线迁移的前提条件下，解决数据迁移过程中的系统负载问题。经过研究和比对，以优化和提高系统的负载性能为目标，通过控制数据迁移框架的传输速度来达到系统负载平衡的目的。如何有效、准确地在在线动态数据迁移下实施负载控制是本文的难点。本文的工作主要包括:
　　(1)提出了数据迁移项目的系统构架和主要功能。
　　(2)在充分了解系统需求和设计框架的基础上，对负载控制的几个算法进行分析和比较，最终得出基于线程休眠机制的负载控制解决方案，解决了动态迁移过程中系统负载容易失衡的问题。
　　(3)最后通过设计测试用例从性能和功能上验证负载控制模式的合理性和可行性。测试结果证明了在在线动态数据迁移时实现了系统自身日常工作和数据传输的负载平衡。

目录

声明

致谢

摘要

1 引言

1．1 项目背景及开发意义

1．2 国内外现状分析和解决方案

1．2．1 国内外现状分析

1．2．2 解决方案描述

1．3 论文设计目标

1．4 论文组织与结构安排

2 项目综述

2．1 问题的产生

2．2 项目概述

2．3 关键问题

2．3．1 项目成功的要素

2．3．2 项目的关键性问题

3 需求和架构

3．1 总体需求及用例图

3．1．1 启动数据迁移

3．1．2 暂停／恢复数据迁移

3．1．3 监控迁移过程

3．1．4 停止数据迁移

3．1．5 手动执行数据迁移

3．2 功能需求

3．2．1 概要模型

3．2．2 业务流程

3．2．3 静态需求

3．2．4 动态需求

3．3 全局软件需求

3．3．1 性能

3．3．2 配置

3．3．3 容错和监控

3．4 总体软件架构

3．4．1 迁移计划(Migration Plan)

3．4．2 ProcessingRegistry

3．4．3 数据读入器(InputReader)

3．4．4 数据转换器(Transformer)

3．4．5 数据写入器(OutputWriter)

3．4．6 输入队列(InputQueue)

3．4．7 输出队列(OutputQueue)

4 脚本与部署包设计

4．1 部署目录结构

4．2 脚本设计

4．2．1 启动脚本(run．sh)

4．2．2 停止脚本(stop．sh)

4．2．3 暂停和恢复脚本(suspend．sh，resume．sh)

5 负载控制设计

5．1 负载控制描述

5．2 基于负载控制的线程池技术

5．3 自适应算法和动态算法的比较

5．3．1 CPU自适应算法

5．3．2 速度动态算法

5．3．3 两种算法比较

5．4 调控速度算法比较

5．4．1 初步设想

5．4．2 细化和改进

5．4．3 算法论证

5．5 进一步研究

5．5．1 开发细节

5．5．2 跳跃速度的调控研究

5．5．3 最终方案描述及设计

6 测试及验证

6．1 测试环境

6．2 测试架构

6．3 测试设计及验证

6．3．1 脚本测试

6．3．2 性能测试

6．3．3 负载控制测试

6．4 测试总结

6．4．1 脚本测试结论

6．4．2 性能测试结论

6．4．3 负载测试结论

7 结论

参考文献

作者简历

学位论文数据集