一种基于三维残差神经网络和视频序列的动态手语识别方法

摘要

本发明提供了一种基于三维残差神经网络和视频序列的动态手语识别方法，所述方法提出了基于三维残差神经网络的新模型B3D ResNet，包括以下步骤：步骤1，在视频帧中，采用Faster R‑CNN模型检测手的位置，并从背景中分割出手；步骤2，利用B3D ResNet模型对输入的视频序列进行手势的时空特征提取和特征序列分析；步骤3，通过对输入的视频序列进行分类，可以识别手势，有效地实现动态手语识别。本发明通过分析视频序列的时空特征，可以提取有效的动态手势时空特征序列，从而达到识别不同手势的目的，并且在复杂或类似的手语识别上也获得了良好的性能。通过测试数据集的实验结果表明，本发明可以准确有效地区分不同的手语，以及相似的手势对。