基于R(2+1)D三元孪生网络的短视频指纹提取

摘要

随着自媒体时代的兴起,网民自制的短视频数据在网络上广泛传播,视频版权保护已成为重中之重。视频指纹技术将数字视频内容映射为唯一的身份描述符,用于视频数据的智能化审核。如何充分挖掘短视频的时空信息和视频间的关联性形成有效的视觉特征表达,是决定短视频指纹质量的关键因素。因此,基于R(2+1)D三元孪生网络模型,提出一种短视频指纹提取方法。首先,使用R(2+1)D卷积神经网络模型提取短视频的时空特征;然后构建权重参数共享的三元组网络学习成组视频的关联性,映射为紧凑的哈希特征表示;最后通过哈希层编码为视频指纹。在CC_Web_Video和VCDB数据集进行了实验,结果表明该方法可以在保证短视频指纹紧凑性的前提下,取得优于其他算法的性能指标。