Q-Learningを用いたアナログ回路の素子値決定における学習精度と効率改善

摘要

Q-Learningを用いたアナログ回路の素子値決定を行い，その課題を述べる．行動に対する報酬を評価指標の現在値と目標値の比と定めると，十分な回数の学習結果を用いた場合も，設計結果が設計時の初期値に依存し，最適な設計結果が得られない．また，簡単な回路であっても学習には非常に長い時間が必要となる．そこで，本稿では学習途中で評価指標の暫定の最適値を保持し，現在の評価値が暫定値を越える場合に大きな報酬を与える手法を提案する．この手法を用いることで局所的な最適値に至る行動のQ値のピークが最適値に至る行動のQ値以下となり，設計時の初期値依存性を低減できる．また，最適値に至る行動が多く選択されるため，少ないシミュレーション回数で学習が完了する．提案手法の採用により，設計回数の99.7で最適な設計値を得ることが出来ことを確認している．