パラメータコントロール型Q-Routing の動的ネットワーク環境への適用

摘要

近年、ネットワークユーザーの増加によりWide Area Network（WAN）やBackbone Networkの大規模化が進んでいる．しかし，それらのネットワークは規模が大きくなるほど中央集権的に管理することが困難になり，動的に変化するネットワーク環境（ネットワークロードの増加など）への適応が容易ではない．Q-Routingは強化学習の枠組みを用いた自律分散型ルーティング手法であり，動的なネットワーク環境への適応力が高いことが知られている．本報告では，Q-Routingに対するパラメータコントロール手法を提案し，動的ネットワーク環境への適応力が向上することを計算機実験によって示す．%In recent years, scales of Wide Area Network (WAN) and Backbone Network are growing because of increase of the number of network users. However, it becomes more difficult to manage the traffic control in centralized way as the scale of the network grows. It is difficult to adjust traffics to dynamic network environments (an increase in network loading ). Q-Routing is an autonomous distributed routing approach based on the framework of reinforcement learning, and the capacity for adapting to dynamic network environments is known to be high. In this report, we propose a parameter control method for the Q-Routing and show that it improves the capacity of the method for adapting to dynamic network environments by numerical experiments.