面向虚拟数据空间的智能TCP拥塞控制算法

摘要

为优化虚拟数据空间网络传输性能,提出了基于近端策略优化的智能TCP拥塞控制算法TCP-PPO2.将TCP拥塞控制过程抽象为一个可部分观察的马尔可夫决策过程,在该过程中构建一个智能体,与网络环境进行互动.智能体通过观察网络状态特征对拥塞窗口长度进行调节,网络环境向智能体反馈奖励值,智能体尝试最大化回合内获得奖励期望值.设计了包括吞吐率、网络时延等网络特征的状态空间,使智能体能够观察到足够多的信息进行决策并且降低性能开销.通过加权算法设计奖励函数,使智能体能够平衡优化吞吐率与时延.通过近端策略优化算法更新智能体模型参数,对过大的参数更新进行截断,将参数更新限制在一定范围内,减少梯度下降过程中出现的振荡,实现训练过程的快速收敛.在NS3模拟器上实现了基于近端策略优化的TCP拥塞控制算法,并与Cubic、HighSpeed和NewReno等主流拥塞控制算法进行了对比,结果表明:TCP-PPO2吞吐率性能可达对比算法的2～3倍以上;80％ 的采样点时延相比链路最小时延值只增加了4％.