基于层次动态深度投影差值图像表示的视频行为识别方法及系统

摘要

本发明公开了一种基于层次动态深度投影差值图像(HDDPDI)表示的视频行为识别方法及系统，首先把深度视频序列分别投影在三个正交的笛卡尔平面内生成对应的深度投影图序列，来捕捉人体行为的3D轮廓和运动特征，每个投影平面中基于深度投影图序列来构建对应的HDDPDI。HDDPDI能够同时编码视频中行为的时空运动动态。CNN可以自动学习图像中的差异特征。为了验证所提出HDDPDI视频表示的有效性，构造了一个基于CNN的行为识别框架，其中设计了三种行为分类方案。三个投影平面内的HDDPDI分别单独输入三个相同的预训练CNN进行网络参数的微调，不同的分类方案使用CNN不同的网络层以比较它们对行为识别的影响，每一种分类方案中融合三个投影平面的信息以获取更加丰富全面的行为特征表示。