基于共享内存连接的虚拟机间通信优化机制研究

摘要

硬件性能的提升使得虚拟化技术得以发展，虚拟化技术的发展又使得云计算得到更有效的使用。云计算环境使用虚拟化技术管理和组织计算资源，将虚拟机作为资源封装的基本单位。而虚拟化技术也是云计算环境IaaS（Infrastructure as a Service）层的重要使能技术之一。随着云计算业务需求的拓展，如何提供更好的云计算服务成为学术界、工业界广为关注的问题，其核心和基础问题包括如何提供更快的运算速度、更大的存储空间和更高的网络通信性能。
　　云计算环境中的虚拟化应用涵盖高性能计算、大规模分布式计算、Web事务处理等类型，网络通信是其应用负载的重要组成部分。对于运行在云计算集群虚拟机中的网络密集型应用，改善其通信效率对于提高云计算服务质量十分必要。将位于同一物理机上的虚拟机称为共生（co-located）虚拟机。目前，基于共享内存连接的共生虚拟机间通信优化，是学术界和工业界的一个研究热点。在改善网络通信效率的同时，支持虚拟机在线迁移和灵活部署、保证应用编程透明等特性对于提高虚拟机间通信优化机制的实用价值具有重要意义。因此，需着重研究满足下述几方面应用需求的虚拟机间通信优化机制：
　　(1)改进虚拟机域间通信效率，支持基于共生关系感知的虚拟机域间通信。即支持判断通信双方虚拟机是否是共生虚拟机：如果是，则采用基于共享内存的本地通信模式，从而缩短虚拟机间通信路径，降低通信开销，减少因资源虚拟化带来的额外损耗，消除或者缓解系统性能瓶颈；如果不是，则仍采用基于TCP/IP协议的虚拟机间远程通信模式。
　　(2)支持虚拟机在线迁移（Live Migration）。虚拟机在线迁移是虚拟化技术的重要特性。虚拟机在线迁移是指在不中断服务的前提下，将正在运行的虚拟机从一台物理机移植到另一台物理机上，该特性能够有效支持系统负载平衡、容错恢复、降低能耗及提高可管理性。设计良好的共生关系感知的虚拟机域间通信优化机制在提高虚拟机域间通信效率的同时不应破坏该特性，为此，需支持基于共享内存连接的本地通信与基于TCP/IP的远程通信两种模式之间的自动切换。
　　(3)保证“应用层-操作系统内核-VMM”三个层次的多层透明性。多层透明性是指无需引入新应用编程接口，无需修改遗留应用，无需修改操作系统已有内核和VMM代码，不采用内核补丁的方式，无需重新编译、链接内核和VMM，即可通过较低软件栈层次中虚拟机间通信优化机制获得性能增益。该特性有助于简化应用开发和软件部署，保证多层透明性，能够极大地提高优化机制的通用性和易用性。
　　(4)支持TCP和UDP语义。当前，大部分网络应用程序都是采用这TCP和UDP协议，一套良好的通信优化机制应该同时支持TCP和UDP语义。
　　针对上述问题，本文在深入研究和分析已有相关工作的基础上，设计并实现了一种基于共享内存连接的共生虚拟机间通信优化机制XenVMC，该机制将共享内存作为共生虚拟机间进行通信的优化通道，取代传统虚拟机间通信路径，在底层提供两套通信协议分别支持TCP和UDP语义，在优化虚拟机域间的通信效率的基础上，支持虚拟机在线迁移且保证多层透明性。具体地，主要研究内容和贡献如下：
　　(1)针对当前学术界和工业界中Xen和Linux获得普遍应用这一情况，基于Xen和Linux平台设计并实现一种基于共享内存连接的共生虚拟机间通信优化机制，这一优化机制采用在系统调用层实现、对共生虚拟机间通信进行旁路，做到优化效率高、保证“应用层-操作系统内核-VMM”三个层次的多层透明性、通过截获socket通信类型做到支持TCP和UDP，并同已有的相关机制在同一平台进行了对比，实验结果表明，该机制的UDP事务处理效率相对于netfront/netback机制，最高是其10.9倍，相对于XenLoop机制，最高是其1.9倍；该机制的TCP事务处理效率相对于netfront/netback机制，最高是其11.9倍，相对于XenLoop机制，最高是其1.8倍；该机制的UDP吞吐率相对于netfront/netback机制，最高是其9.76倍，相对于XenLoop机制，最高是其3.2倍；该机制的TCP吞吐率相对于netfront/netback机制，最高是其3.27倍，相对于XenLoop机制，最高是其1.6倍。
　　(2)对共生虚拟机集合变化特征，提出一种基于事件驱动的共生虚拟机集合动态维护算法，相对于基于轮询方法的事后共生虚拟机集合动态维护算法，该算法开销更小、响应速度更快。
　　(3)将这一基于事件驱动的共生虚拟机集合动态维护算法应用于本文所实现的具体机制中，使得共生虚拟机集合维护代价足够小，且保证支持虚拟机在线迁移。实验表明该支持虚拟机在线迁移，迁入迁出时遗留数据能够得到正确处理。

目录

声明

第一章 绪论

1.1 研究背景及意义

1.2 基于共享内存连接的共生虚拟机间通信优化

1.3 主要研究内容

1.4 本文组织结构

第二章 相关技术研究

2.1 Xen

2.2 Linux内核相关技术

2.3 国内外相关工作

2.4 本章小结

第三章 XenVMC设计与实现

3.1 设计目标

3.2 基本思想

3.3 基本框架

3.4 总体设计与实现

3.5 实验结果

3.6 本章小结

第四章 共生虚拟机集合维护

4.1 动态共生虚拟机集合维护与静态共生虚拟机集合维护

4.2 基于轮询方法的事后共生虚拟机集合动态维护机制

4.3 基于事件驱动的共生虚拟机集合动态维护算法

4.4 两种动态共生虚拟机集合维护算法的开销和响应速度

4.5 支持虚拟机在线迁移的方案设计与实现

4.6 虚拟机迁移实验结果及分析

4.7 本章小结

第五章 总结与展望

5.1 课题总结

5.2 课题研究过程中的问题与解决

5.3 未来展望

致谢

作者在学期间取得的学术成果

参考文献