一种融合多种视觉信息的唇语识别方法

摘要

本发明公开了一种融合多种视觉信息的唇语识别方法，包含如下步骤：利用头戴式摄像采集设备对唇语图像进行采集；对采集到的视频数据根据采集对象、采集批次进行分类存放；把每个视频样本逐帧分解，对图像去噪处理，处理后的图像再做裁剪，只保存特定大小的唇部图像；搭建自监督光流生成网络，把采集的数据输入生成网络中；把真实图像、光流数据和深度图像分别输入到搭建好的三流融合训练网络中进行识别任务训练，并输出最终的唇语识别结果。本发明所拍摄的数据更多关注在人脸的唇部区域，在使用神经网络训练之前也减少了对唇部区域进行识别裁剪的步骤，因此识别效率得到了很大提升。