服务机器人服务环境下深度理解人体行为的方法及系统

摘要

本发明公开了一种服务机器人服务环境下深度理解人体行为的方法及系统，包括：通过三维卷积神经网络对输入的视频文件进行特征提取；根据提取的特征信息，通过分类器进行动作识别；获取服务机器人服务环境下的视觉图像，对图像帧中的目标进行检测定位，获取目标的边界框的信息；提取目标的视觉特征，预测人与目标的视觉谓词，输出视觉关系三元组；对动作识别结果和视觉关系三元组预测结果进行结合，得到最终的人体行为。本发明可直接输入视频数据，利用3DCNN同时提取时间和空间特征，实现人体行为识别。3DCNN可以提取到时间维度特征，避免了传统手工特征提取的复杂环节，且具有更高的表征性，识别准确率更高。