基于贝叶斯优化的网络资源配置应用

摘要

随着大数据分析的兴起，网络系统规模和复杂程度越来越大，精确建模越来越困难，黑盒优化技术越来越受到重视，而作为黑盒优化中最具有潜力和希望的方法，贝叶斯优化（Bayesian Optimizition，BO）也越来越受到人们的关注。贝叶斯优化作为一种全局优化方法，可以对没有闭式形式同时需要高代价运行的函数过程通过采集函数的指导快速找到最优解（或者接近最优解的次优解）。 第一个网络应用配置问题，大数据分析任务需要部署在云服务器上进行计算，，而如何在一系列云配置中找到任务的最优配置（保证运行时间的情况下开销最小）就成为至关重要的问题，贝叶斯优化方法就可以在有限次数内找到最优配置，比网格搜索提升了效率，比随机搜索提升了最优解的保证。然而，基于高斯过程（Gaussian Process，GP）的贝叶斯优化算法时间复杂度随着需要观测的点的增多立方增长O(n3)。这限制了贝叶斯优化在一些大型自动调参问题的应用，因为这些问题大多是离线计算，对于时间的限制较为宽松，本文希望贝叶斯优化可以更快速地探索输入空间以达到更好的结果，通过采用替换贝叶斯优化算法中的高斯过程为随机森林模型得到了随着采样点增多线性增长时间复杂度O(N)的算法。 第二个网络应用配置问题，DASH技术应用中的码率自适应问题，存在文献提出了使用强化学习方法（A3C）进行视频码率控制并达到了较为理想的效果，然而并没有提到如何对其中的神经网络结构超参数进行选择，所以本文使用基于随机森林的贝叶斯优化技术对神经网络结构参数进行调节，试图找到更小规模的网络在保证性能的同时以节省计算资源和搜索时间。 第三个网络应用配置问题，网络入侵检测的问题中，有研究工作表明使用集成学习（Ensemble Learning，EL）提升了单个模型在入侵检测数据集上表现不佳的结果，受到集成学习的启发，将贝叶斯优化算法和集成学习结合起来在网络入侵检测领域的基准数据集上得到了优于单个基准模型的结果。文章对贝叶斯优化算法本身以及在三个网络应用资源配置的热点场景中对贝叶斯优化算法的应用都进行了一定探究，结果表明贝叶斯优化方法在网络资源配置的应用中表现出了良好的性能。

目录

第一个书签之前