ゴール指向性推論とは，あるゴールへ到達したいがその方法が不明であるというときに，到達可能なサブゴールを経由することによってゴールへ到達する方法を導出する推論であり，単純であるが，様々な問題解決において有効である．本論文では，このゴール指向性推論を行う方法を学習するエージェントを述語論理と強化学習を組み合わせた関係強化学習という手法を用いて設計した試みについて報告する．特に，ある時点で得られた情報をメモリに記憶させておき，後にそれを使用するというような行動を学習させる際に，勾配法を使用すると困難が生じる場合があることを報告する．%Goal-directed reasoning is a type of reasoning in which an agent, who does not know how to achieve its goal, infers the way to achieve the goal by setting an achievable subgoal from which the ultimate goal can be achieved. This type of reasoning is simple yet useful in many problem-solving situations. In this paper, we use a relational reinforcement learning method, which is a combination of predicate logic and reinforcement learning, to make an agent who learns through experience the algorithm to perform the goal-directed reasoning. Especially, we report some difficulty in the use of gradient methods when learning an algorithm that involves storing some information into memory and using the stored information after a period of time.
展开▼
