基于强化学习的QoS感知的服务组合优化方案研究

摘要

在面向服务的系统架构中，单个web服务的有限功能已无法满足用户日益复杂的业务功能需求，从而催生了组合已有的简单服务来构建满足用户复杂需求的增值服务的方式，即服务组合。
　　随着web服务技术的快速发展，具有相同功能不同QoS水平的服务越来越多，服务组合面临一个服务筛选过程。基于QoS感知的服务组合方法，以最大化满足用户需求为目标，日渐成为领域研究热点。另一方面，基于网络的web服务具有内在的动态变化性，这就要求组合方案具有一定的自适应性。同时，组合业务流程的复杂性及候选服务的快速增长，导致当前服务组合方法面临大规模问题。
　　基于以上考虑，本文提出了基于强化学习的QoS感知的服务组合优化方案。主要包括两方面，一个是基于直接探索的强化学习组合算法优化，它计算状态的回访频率，并利用这些学习经验指导探索过程，从而加速算法收敛。另一个是，基于高斯过程的强化学习组合算法优化，它利用高斯过程，一个核函数逼近技术，来预测目标函数值的分布，具有强大的表达能力和泛化能力。实验表明，本文提出的优化算法具有有效性，自适应性和可扩展性。

目录

声明

摘要

本论文专用术语的注释表

第一章 绪论

1．1 研究背景

1．2 问题提出及现有方法

1．3 研究内容

1．4 论文组织

第二章 Web服务及服务组合技术概述

2．1 Web服务概述

2．1．1 Web服务协议

2．1．2 Web服务核心标准和技术

2．2 服务综合技术概述

2．2．1 web服务组合需求

2．2．2 web服务组合方法分类

2．3 本章小结

第三章 强化学习相关理论

3．1 马尔科夫决策过程

3．1．1 MDP最优策略和值函数

3．1．2 MDP的求解

3．2 强化学习方法

3．2．1 强化学习算法相关重要问题

3．2．2 探索策略

3．2．3 函数逼近技术

3．3 本章小结

第四章 基于强化学习的QoS感知的服务组合模型及优化方案

4．1 Web服务组合模型MDP-WSC

4．1．1 评价函数

4．1．2 离策略选择

4．2 基于探索的强化学习组合算法优化

4．2．1 基于回访频率的直接探索策略

4．2．2 学习率控制

4．2．3 基于直接探索优化的服务组合Q-learning算法

4．3 基于核函数的强化学习组合算法优化

4．3．1 高斯过程

4．3．2 高斯过程建模的Q值函数评估

4．3．3 在线构造稀疏字典

4．3．4 序列化高斯过程参数更新

4．3．5 基于高斯过程的在线Q-learning组合算法

4．4 本章小结

第五章 实验与分析

5．1 实验设置

5．2 有效性验证实验

5．3 自适应性验证实验

5．4 可扩展性验证实验

5．5 本章小结

第六章 总结与展望

6．1 本文总结

6．2 未来工作

致谢

参考文献

攻读硕士期间发表的论文