基于事件相机辅助的卷帘门效应矫正方法及装置

摘要

本发明公开了一种基于事件相机辅助的卷帘门效应矫正方法及装置。搭建了事件相机加卷帘快门传统相机的混合相机系统，对同一场景同时进行拍摄得到匹配的卷帘快门图像和事件信号。设计了一个神经网络模型，仅利用一张卷帘快门图像和对应的事件信号，实现卷帘快门矫正并会恢复出高帧率的全局快门图像序列。网络模型包含两个模块分支，从事件信号中提取出运动信息和场景亮度变化信息，分别用于解决卷帘快门效应中的扭曲和遮挡问题。两个模块中间结果通过一个特殊设计的融合优化网络融合在一起得到最后的矫正结果。相比于现有卷帘门矫正方法，本发明的方法矫正结果大幅提升，解决高速运动下运动估计不准的问题，对场景和运动不加限制，应用场景更广。