Implementation and Evaluation of Reinforcement Learning-based Lightpath Establishment in WDM Networks

摘要

In this paper, we implement the reinforcement-based lightpath establishment with Generalized Multi--Protocol Label Switching (GMPLS). In this implementation, at first, we modify Path message, which is used in Resource reSerVation Protocol-Traffic Engineering (RSVP-TE), so that the message can support the new processing method on service class. Then, we implement a reinforcement learning component into the control nodes. We also modify the processing of some messages. Each node decides the acceptance or rejection of the lightpath establish­ment by current state and priority information that is in the received Path message. When the node decides whether the request is accepted or not, the node can learn the optimal policy based on the experience. We build a 3-node tandem network with our implementation. Over this experimental network, we establish and release lightpaths by using the reinforcement-based lightpath establishment, and we evaluate the performance of this implementation. From experimental results, we indicate that we can cut the learning time with simulation results.%本稿では，既存のGMPLSを拡張して，強化学習を用いた光パス設定方式を実装する．本実装では，GMPLSで用いられるRSVP-TEプロトコルに対して，Pathメッセージへの優先度情報の追加を行う．さらに，強化学習コンポーネントの実装と強化学習で得られた最適行動に基づいた送受信処理を実装する．ノードが光パス設定要求を受け取ると，出力リンクの状態とサービスクラスを基に学習した最適行動に従って，設定要求の許可/棄却を決定する．光パスの設定が成功/失敗すると，各ノードは学習を行い，光パス設定が行われるにつれて最適な行動が学習されていく．本実装を適用した3ノードタンデムネットワークを構築し，光パス設定実験を行う．実験結果から，本実装システムを用いてサービスの差別化が行えることを示す．さらに，シミュレーション結果を用いた強化学習時間の短縮法についても調査する．