基于时空二进制特征的动作识别算法研究

摘要

基于计算机视觉的动作识别在视频监控、视频检索、人机交互等领域有着广阔的应用前景，是近年来计算机视觉领域的研究热点之一。虽然近年来该领域取得了长足的发展，但是由于非理想的成像条件和较大的类内差异，人体动作识别仍有许多难题亟待解决。如何能够同时实现性能高、速度快和占用内存低这三个要求的实时动作识别是需要解决的难题之一，而且非常具有挑战性。 本论文针对基于视频的动作识别在实际应用中涉及的实时性和计算资源等问题，开展基于时空二进制特征的动作识别算法研究。论文主要研究工作和创新成果如下: 1.提出了两种新的二进制运动描述子（BPPEM和PPSM）及其在3个连续帧之间进行计算形成扩展描述子(eBPPEM和ePPSM)。所提出的描述子在Weizmann和KTH公开数据集进行评测，并利用精度、混淆矩阵、识别速度和描述子大小等多个性能指标对结果进行了分析。实验结果表明所提出的描述子实现了准确度、速度和内存消耗之间的良好折衷。 2.评估了融合FREAK、BinBoost和LATCH等二进制外观描述子对运动二进制描述子（BPPEM+PPSM和eBPPEM+ePPSM）性能的影响，同时也在Weizmann和KTH公开数据集上对所提的融合描述子进行了实验。实验表明，二进制运动描述子(BPPEM和eBPPEM)在获取运动特征的同时也能捕捉到一定的外观特征。 3.提出了一种3D时空二进制卷积网络3D ST-BCNN，通过扩展传统2D二进制CNN上的时间维度得到新的3D网络。在UCF101数据集上将视频的XCSLBP格式作为网络的输入和二进制权值(XNOR)作为网络的参数，提高了构建动作识别模型的计算速度。实验结果表明，提出的3D ST-BCNN网络不容易过拟合。关键词:动作识别;邻近块模式;二进制邻近块整体运动;邻近块相似运动;3D时空二进制卷积网络.

目录

声明

摘要

ABSTRACT

Contents

List of Figures

List of Tables

List of Algorithms

Chapter 1 Introduction

1．1 Research Background and Significance

1．2 Research Content

1．3 Organization

Chapter 2 Literature Review

2．1 Introduction

2．2 Datasets

2．2．1．The Weizmann Human Action Dataset

2．2．2．The KTH Human Action Dataset

2．2．3．The UCF-101 Action Recognition Dataset

2．2．4．The HMDB-51 Dataset

2．3 Global Features Representation

2．4 Local Features Representation

2．5 Binary Motion Feature Extraction(Dynamic Texture)

2．5．3．Combination of Binary Descriptors with Floating-Point Descriptors

2．6 Deep Learning Architectures

2．6．1． 3D CNN Networks

2．6．2．Two-Stream Networks

2．6．3．Temporal Dynamic Modeling with Temporal Pooling

2．6．4．Temporal Evolution Captured with RNN

2．7 Summary

Chapter 3 Binary Motion Description for Action Recognition in Videos

3．1 Introduction

3．2 The Proximity Patches Pattern

3．3 BPPEM Descriptor

3．3．1．Overview

3．3．2．Computation of BPPEM

3．4 Proximity Patches Similarity Motion Descriptor

3．4．1． Introduction to PPSM

3．4．2．Computation of PPSM

3．5 Experiment Setup

3．5．1．Framework，Hardware and Software Specifications

3．5．2． Evaluation Metrics

3．6 Results and Analysis

3．6．1．Number of Surrounding Patches

3．6．2． SSD vs FND

3．6．3．Temporal Distance Between two Consecutive Frames

3．6．4． BPPEM

3．6．5． eBPPEM

3．6．6．PPSM

3．6．7． ePPSM

3．6．8． BPPEM-PPSM，and eBPPEM-ePPSM Fusions

3．6．9． Comparision with the State-of-the-art

3．7 Summary

Chapter 4 Spatial Binary Descriptors for Human Action Recognition

4．1 Introduction

4．2 FREAK，BinBoost，LATCH

4．3 Action Recognition with FREAK，BinBoost，LATCH Appearance Descriptors

4．4 Binary Spatio-Temporal Descriptors with FREAK 8，BinBoost 16 and LATCH 8 as Appearance Descriptors

4．4．1．Analysis

4．5 Summary

Chapter 5 3D Spatio-Temporal Binary CNNs

5．1 Introduction

5．2 Related Works

5．2．1． 3D Convolutional Networks

5．3 Proposed Model：3D Spatio-Temporal Binary Convolutional Network

5．3．1． Binarized ConvNets

5．4 3D Spatio-Temporal Binary CNNs(3D ST-BCNN)

5．4．1．Basic Components of the 3D Spatio-Temporal Binary CNNs

5．4．2．Binary Operations

5．4．3．Proposed Framework

5．5 Experimental Results and Analysis

5．5．1． Evaluation with Train and Validation Sets

5．5．2 Evaluation with Train，Validation and Test Sets

5．6 Summary

Chapter 6 Conclusion and Future Works

6．1 Summary

6．2 Future Works

Bibliography

Acknowledgements

Publications