基于多目标强化学习与Skyline计算相结合的服务组合方案研究

摘要

在服务计算领域，简单原子服务的有限功能很多时候不能满足复杂的用户需求，这种场景下，组合已有的原子服务来达成用户的需求成为一个研究热点，即服务组合。
　　随着互联网的发展，功能性属性相同QoS属性不同的Web服务数量快速增长，以及组合业务流程的复杂性，服务组合面临一个效率问题。QoS感知的服务组合方法，为的是最大化满足用户需求，成为服务组合研究热点。一方面，由于服务组合面临不断变化的环境和服务自身的演化，Web服务组合技术应该根据相应的变化做出调整，从而维持或达到更好的性能。另一方面，已有的服务组合方法把QoS属性综合成一个效用函数，没有考虑到这些QoS属性是否冲突。
　　考虑到以上问题，本文提出了一个基于多目标强化学习与Skyline计算相结合的服务组合优化方案。对于具有多维QoS属性的Web服务，本文利用Skyline计算抽取不被支配的Web服务缩减组合空间，达到降低复杂度的目的。利用多目标强化学习技术，应对动态场景下的服务组合的自适应性和存在多个冲突目标情况下的服务组合问题。强化学习是机器学习方法的一个主要分支，用来解决序列决策问题。在强化学习系统中，学习agent通过不断与动态不确定的环境进行交互来学习得到最优的动作策略，因此强化学习能够适应变化的环境。然而，传统强化学习方法目标是学习得到最高奖赏的策略，也就是常用的单目标强化学习。对于多目标约束下的自适应服务组合问题，传统强化学习不再合适，因此使用多目标强化学习来应对这个问题。最后，做了一系列实验，通过实验证算法的有效性、可扩展性和自适应性。

目录

声明

摘要

本论文专用术语的注释表

第一章 绪论

1．1 研究背景

1．2 问题提出及国内外研究现状

1．2．1 研究问题与动机

1．2．2 国内外研究现状

1．3 研究内容

1．4 论文结构

第二章 Web服务组合概述

2．1 Web服务

2．1．1 Web服务协议栈

2．1．2 常用Web服务标准和技术

2．2 Web服务组合

2．2．1 Web服务组合方法

2．3 Web服务质量

2．4 本章小结

第三章 强化学习与Skyline计算

3．1 强化学习

3．2 马尔可夫决策过程

3．2．1 MDP典型求解方法

3．3 强化学习经典算法

3．3．1 时序差分(Temporal Difference，TD)算法

3．3．2 Q学习算法(Q-Learning)

3．4 多目标强化学习(Multi-Objective Reinforcement Learning，MORL)

3．5 Skyline计算

3．6 本章小结

第四章 基于多目标强化学习与Skyline计算的服务组合模型

4．1 场景描述

4．2 模型建立

4．2．1 基于多目标马尔可夫决策过程的服务组合

4．2．2 评价函数

4．2．3 策略选择

4．3 求解方法

4．3．1 单策略方法

4．3．2 多策略方法

4．4 本章小结

第五章 实验与分析

5．1 实验设置

5．2 单策略服务组合方法实验分析

5．2．1 验证有效性实验

5．2．2 验证自适应性实验

5．2．3 验证可扩展性实验

5．3 多策略服务组合方法实验分析

5．3．1 验证有效性实验

5．3．2 验证自适应性实验

5．3．3 验证可扩展性实验

5．4 本章小结

第六章 总结与展望

6．1 本文总结

6．2 未来工作

致谢

参考文献

附录A 攻读硕士期间发表的论文