一种基于双Q学习算法的储能在交易市场决策优化方法

摘要

一种基于双Q学习算法的储能在交易市场决策优化方法，包括如下步骤：建立储能在交易市场决策的数学模型；将储能操作描述为一个马尔可夫决策过程；采用真实历史市场交易价格数据，运用Double‑Q learning算法，对两个数据集进行迭代训练，得到训练后的Q表；储能在训练好的Q表中执行决策目标最大化的动作，得到在联合套利下的累计奖励。本发明Double‑Q learning算法采用两个函数对Q表进行迭代更新，减少了Q‑learning算法高估问题的影响，设计的套利策略更加稳定，使得储能长期套利收益更高；套利来源不只限于电力市场，加入了碳市场，使得套利收入显著增加。