基于PWC-Net的多层权值和轻量化改进光流估计算法

摘要

针对现有光流估计方法实时性不够的问题,提出轻量化的深度可分离卷积的PWC-Net改进模型(depth separable pyramid,warping and cost volume,DS-PWC)。其改进是将常规二维卷积网络层解耦为深度可分离卷积层,并且DS-PWC在金字塔层增加基于层数的权重系数,从而使得网络结构在不损失精度的情况下大幅减少模型参数量。在训练过程中,使用图像及对象感知数据随机擦除(image and object-aware random erasing,I+ORE)等数据增强技术,进一步提升估计预测结果泛化能力。实验结果表明,在数据集测试DS-PWC模型,在保持质量的同时运行效率达到约58 fps(frame per second)。同时为了验证算法有效性,进行了模型结构和数据增强的消融实验。结果证明了DS-PWC模型的有效性。