不完全信息下基于深度双Q网络的发电商三段式竞价策略

摘要

不完全信息的电力市场环境下发电商仅知道自身相关的信息,而其他市场参与者的报价和市场环境都可能会影响市场出清结果,进而影响发电商的收益,因此其报价决策应当考虑多维的市场信息.基于深度强化学习算法,提出多智能体的DDQN(double deep Q-network)算法模拟日前现货市场中发电商三段式竞价策略的过程.首先,定义发电商模型中马尔可夫决策过程的要素和动作价值函数;然后,建立发电商深度双Q网络的框架,并引入经验池和动态ε-greedy算法进行神经网络的训练,该决策模型可以根据市场的出清电价和负荷水平等多维连续状态做出报价;最后,通过算例比较了发电商采用DDQN和传统Q-learning两种算法获得的收益差别,说明DDQN算法可以根据发电商面临的复杂市场环境做出正确的决策而Q-learning算法在环境复杂时决策能力较差,并在不同状态量选取、网络泛化能力、更大规模算例适应性等方面分析了发电商采用DDQN算法进行市场策略生成的有效性和优越性.