基于嵌入式视觉的婴儿情绪识别方法

摘要

本发明公开了一种基于嵌入式视觉的婴儿情绪识别方法，步骤如下：1)捕获婴儿图像，调用OPENCV人脸分类器剪裁图像，使图像上下左右各留出20个像素，再对图像进行旋转，使婴儿双眼连线与水平线平行；2)对旋转后的图像进行灰度处理；3)使用LBP算子处理灰度图像；4)选取100*200大小的图像块；5)记录图像块主方向上的梯度数，转换为HOG表达形式；6)将图像块调整成64*128大小；7)dlib 65个特征点提取关键值，采用CNN训练，生成该图像的特征参数文件，并与情绪特征参数文件库的文件进行比对，最相近的一个文件的标签即为当前图像的情绪标签。本发明利用嵌入式视觉实时识别婴儿的情绪，实现对婴儿状态的远程化、自动化监测，解决部分家庭家长看护孩子困难问题。

说明书

技术领域

本发明涉及情绪识别研究领域，具体涉及一种基于嵌入式视觉的婴儿情绪识别方法。

背景技术

在“互联网+”的时代背景下，结合计算机领域的前沿技术解决生活中的实际问题的模式成为了创新的主流。而近年来，我国新生儿数量明显增加，母婴市场的相关需求也随之提高。在现实生活中，父母为孩子创造更好的生活条件，在外工作不能时时刻刻关注和陪伴婴儿的情况。婴幼儿专家的研究成果表明，婴儿的情绪表达不仅是与外界交流的主要方式，而且是反映其生理和心理需求、心身健康状态乃至智力发育水平的重要信息来源。近年来，婴儿情绪信息的研究已经引起了人们极大的兴趣并成为相关领域正在探索之中的新兴前沿研究热点。面部表情识别的目标是希望机器能自动地识别出人的表情，最终使得人机交互更友好及更智能，为人类提供更全面的服务。

21世纪以来，随着科学技术的突飞猛进，计算机和网络的应用越来越广泛，与人类感知密切相关的图像视频信息在社会领域扮演着越来越重要的角色。在现有的情绪检测技术中，针对婴儿的产品一般通过分析其声音和姿态来判定婴儿的情绪，现有的婴儿情绪检测技术由于使用传统视觉技术和环境数据，检测结果准确度不够，且容易受环境因素的影响。针对成人的情绪检测则大部分基于人脸表情识别，从静态或动态的人脸图像序列中，利用人脸表情数据库和识别算法确定表情，输出情绪标签。但成人脸部特征与婴儿脸部特征存在较大差别，特征点的选取及定位完全不同，因此成人情绪检测方法并不能直接用于婴儿情绪检测。

发明内容

为了更好地改进婴儿情绪识别，便于利用情绪监测技术，实现远程化、自动化监测，本发明提供了一种基于嵌入式视觉的婴儿情绪识别方法，其成本较低且易于维护，准确记录并反馈婴儿情绪信息。

一种基于嵌入式视觉的婴儿情绪识别方法，包括：

1)捕获婴儿图像，调用OPENCV人脸分类器剪裁图像，使图像上下左右各留出

20个像素，再对图像进行旋转，使图像中的婴儿双眼连线与水平线平行；

2)对旋转后的图像进行灰度处理；

3)使用LBP算子处理灰度图像；

4)选取100*200大小的图像块；

5)记录图像块主方向上的梯度数，转换为HOG表达形式；

6)将图像块调整成64*128大小；

7)去掉婴儿鼻梁上的28、29、30号三个特征点，dlib 65个特征点提取关键值，采用CNN进行训练，生成该图像的特征参数文件，并与情绪特征参数文件库的文件进行比对，最为相近的一个文件的标签即为当前图像的情绪标签。

上述技术方案中，进一步地，所述的步骤7)中情绪特征参数文件库的建立包括如下步骤：

7-1)捕获婴儿各种情绪图片数据，根据婴儿情绪将图片分类到各情绪标签文件夹；

7-2)选取第一个情绪标签文件夹，提取文件夹中的第一张图像；

7-3)对图像进行步骤1)至步骤6)操作；

7-4)采用CNN进行训练，生成特征参数文件；

7-5)提取第一个情绪标签文件夹中的下一张图片并重复步骤7-2)至步骤7-4)操作，直至该情绪标签文件夹的所有图片都已被处理，生成该情绪的特征参数文件库；同理，对其他所有的情绪标签文件夹进行处理，即可得到所有情绪的特征参数文件库。

本发明具有如下有益效果：

一种基于嵌入式视觉的婴儿情绪识别方法先后两次对婴儿图片进行了裁剪，减少了预处理图片的计算量，加快了算法的运行速度，同时得到的64*128大小的图片会在婴儿周围产生大约16个像素的空白边缘，这将有利于检测上下文信息，提高算法精度。由于婴儿鼻梁塌、短，28、29、30号特征点存在重合，标识不准确等问题，因此在婴儿面部特征点的提取上，本发明只选择了65个特征点，去掉了婴儿鼻梁上的28、29、30号三个特征点，经检验算法可以降低数据冗余，显著提高运算效率，在训练集样本较少的情况下也能取得良好的效果。本发明提出的基于嵌入式视觉的婴儿情绪识别方法能实时反映婴儿情绪状态，及时发现婴儿伤心、难受等状态，解决部分家长的看护问题。

附图说明

图1是本发明提供的基于嵌入式视觉的婴儿情绪识别方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明实施方式作进一步地详细描述。

一种基于嵌入式视觉的婴儿情绪识别方法，包括：

1)捕获婴儿录像画面的一帧图像A1，调用OPENCV人脸分类器剪裁图像A1，使图像上下左右各留出20个像素，得到图像A2，再对图像A2进行旋转，使图像中的婴儿双眼连线与水平线平行，得到图像A3；

2)对图像A3进行灰度处理，记为A4；

3)使用LBP算子处理灰度图像A4，记为A5；

4)从A5中选取100*200大小的图像块，记为A6；

5)记录图像块A6主方向上的梯度数，转换为HOG表达形式，记为A7；

6)将图像块A7调整成64*128大小，记为A8；

7)去掉婴儿鼻梁上的28、29、30号三个特征点，对A8 dlib 65个特征点提取关键值，采用CNN进行训练，生成该图像的特征参数文件A9，并与情绪特征参数文件库的文件进行比对，最为相近的一个文件的标签即为当前图像的情绪标签。其中，步骤7)中情绪特征参数文件库的建立包括如下步骤：

7-1)捕获婴儿各种情绪图片数据，根据婴儿情绪将图片分类到各情绪标签文件夹；

7-2)选取第一个情绪标签文件夹，提取文件夹中的第一张图像；

7-3)对图像进行步骤1)至步骤6)操作；

7-4)采用CNN进行训练，生成特征参数文件；

7-5)提取第一个情绪标签文件夹中的下一张图片并重复步骤7-2)至步骤7-4)操作，直至该情绪标签文件夹的所有图片都已被处理，生成该情绪的特征参数文件库；同理，对其他所有的情绪标签文件夹进行处理，即可得到所有情绪的特征参数文件库。