一种基于深度学习的亲密矩阵视点合成方法、应用及系统

摘要

本发明公开了一种基于深度学习的亲密矩阵视点合成方法、应用及系统，涉及深度学习领域。本发明包括以下步骤：获取相邻两帧的数据对，将相邻两帧的数据对向参考帧对齐，得到边缘图像，并根据有效区域生成掩膜；利用双向光流网络相邻两帧的数据对的光流结果，根据光流结果推断帧间的遮挡区域；将边缘图像、掩膜以及光流结果归一化，输入到亲密矩阵网络；利用亲密矩阵网络和微调光流多次迭代结合合成全帧视点在RGB颜色空间图像。本发明吸取并融合传统算法和深度学习的优势，在日常视差，跑步，快速旋转和人群场景中可以提供优秀的视频稳像效果，并尽最大可能去保持高稳定性，降低截屏比和低扭曲变形的高质量视频。