基于空间自适应卷积LSTM的视频预测

摘要

在视频预测领域,传统的CNN与LSTM都不能充分表征视频中的时空特征.针对这一问题提出空间自适应卷积LSTM算法.受空间变换网络启发,在卷积LSTM内部的"input-to-state"计算过程中将传统卷积操作改为空间自适应卷积:利用额外卷积层获得自适应卷积所需的位置参数,令自适应卷积根据时空信息选择卷积位置,提升模型捕捉时空变换特征的性能;并针对雷达回波预测提出多分支编码预测的网络架构,根据降水类别训练4个不同的支路,以提升网络的预测性能.在合成数据集与真实数据集上的实验结果表明,该模型取得了有竞争力的结果,单独设计一个模块让网络显式地学习某种特征会使网络有更好的性能.