基于多模态深度学习的无人机视频标签获取方法

摘要

本发明提供了一种基于多模态深度学习的无人机视频美学质量评价方法，建立无人机视频美学评价数据集，通过多模态神经网络对无人机视频进行分析并提取高维特征，然后融合，从而实现无人机视频美学质量的评价。主要包括四大步骤，步骤一：建立无人机视频美学评价数据集，根据视频拍摄质量分为正样本和负样本；步骤二：利用SLAM技术，恢复无人机的飞行轨迹并重建出稀疏的场景三维结构；步骤三：通过多模态神经网络对输入无人机视频分别在图像分支、运动分支、结构分支上提取特征；步骤四：对多个分支上的特征进行融合，得到最终的视频美学标签和视频场景类型。本发明实验验证，具有可行性、准确性和通用性，可用于无人机视频的美学评价、拍摄轨迹推荐等。