基于跨域学习和双链融合网络的开放域动作识别算法研究

摘要

近年来，人体动作识别在计算机视觉和机器学习领域已经受到了越来越多的关注。尽管现在已经提出了许多相关的动作识别算法，但是这些方法常常假设数据来源于同一个域，在相同场景中提取动作特征，并且在训练样本充足的情况下才能训练出一个可靠的模型。然而，在真实的应用场景中，有标签的训练数据是很少的，并且由于摄像机位置和角度的变化，相同动作的人体姿势和运动范围都会发生明显的变化，所在的特征空间和相对应的数据分布也会发生显著的改变。因此，在多个域中进行跨域的动作识别是一个具有挑战性的课题。基于上述动作识别领域的发展趋势，本文的研究工作主要包括了以下三个部分：1)构建了多视角多模态的人体动作数据集(简称为MMA)；2)探讨了基于特征学习和跨域学习的开放域动作识别；3)提出了双链融合网络的开放域动作识别算法。具体工作为： 1)构建了多视角多模态的人体动作数据集(简称为MMA)。现存的大多数动作数据集的动作类别、样本数量、相机视角和拍摄场景的数目往往是有限的，此外，这些数据集仅能够用于某个学习任务，例如，单视角学习、跨视角学习和多任务学习，这不利于后续的动作识别研究。因此，构建了多视角多模态的人体动作数据集，该数据集总共包含7080个动作样本，它们分别来自于两个场景，每个场景包括三个视角，此外，这些样本包含25个动作类别，分为15个单人动作和10个双人动作。为了充分地评估该数据集，通过不同的任务对其进行了实验。实验结果表明，由于显著的类内变化、遮挡问题、视角和场景的变化以及多个动作类别的相似性，MMA数据集对这三个学习问题都具有挑战性。 2)探讨了基于特征学习和跨域学习的开放域动作识别。采用了三种不同的方法探讨了开放域的动作识别问题：1)特征学习：分别对视频提取手工设计特征和深度学习特征，然后评估和讨论它们在可控的和不受控制环境中的性能；2)无监督的跨域学习：因为很难在目标域中获得有标签的样本，因此，可以借用无监督的跨域学习算法来进行动作识别；3)有监督的跨域学习：如果目标域中有一些有标签的样本，但是它们的数量非常有限，那么有监督跨域学习方法将会是不错的选择，因此，六种有监督的跨域学习算法也在相同的数据集上进行了评估。此外还进一步探索了MMA数据集上的跨域学习问题。 3)提出了双链融合网络的开放域动作识别算法(PFN，Pairwise Fusion Network)。在这个算法中提出了一种端到端的双链网络结构，它可以从视频中共同融合不同的时空特征，学习源域和目标域的域不变特征并构建分类模型。为了模拟从源域到目标域的转变，要求PFN的相应层中的参数是相关的，但不完全相同。由于现有的动作数据样本数目较少，导致网络的训练不够充分，所以为了增加训练样本的数目，构建了源域和目标域的成对样本，从而直接增加了网络的训练样本数目。通过在两个不同的动作数据集MMA和ODAR上进行的大量实验表明，PFN算法在跨域动作识别任务上有较好的性能。

目录

第一个书签之前