基于深度强化学习的QoS感知Web服务组合

摘要

传统单体式软件架构由于耦合性高、扩展性差的原因,难以适应如今用户需求频繁变动的开发场景。随着服务化理念的深入推广,利用独立的Web服务进行组合成为解决这一问题的可行方案。如何利用功能不同、服务质量(Quality of Service,QoS)迥异的Web服务,构建出满足用户功能性需求及非功能性需求的组合服务成为服务计算领域的一个研究热点。提出一种基于马尔可夫决策过程的服务组合模型,并设计了基于深度强化学习的求解算法。应用深度网络提升模型表现,可有效解决大规模服务组合场景中现有服务组合算法寻优能力差的问题;进一步针对传统强化学习Web服务组合模型中奖励值估计不准确的问题,提出了一种基于卷积神经网络计算奖励值的方法,对服务历史QoS信息加以充分利用,并在公共数据集上做了实验验证。实验结果表明,基于深度强化学习的服务组合ADR-WSC算法在大规模服务组合问题中输出的组合服务QoS更优,算法运行时间更短。