基于人物性格与人际关系识别的人机交互系统及工作方法

摘要

本发明属于计算机视觉领域和人机交互领域，提供了一种基于人物性格与人际关系识别的人机交互系统及工作方法，包括：检测模块：对图片或视频进行检测，得到人脸人体图像的真实区域；信息特征提取模块：提取人脸人体图像特征，分析人脸属性和人体行为；信息特征整合模块：将前一模块输出的人脸和人体信息合并，组成每个人的特征向量；性格喜好判别模块：根据输入的特征向量分析人物性格喜好；关系判别模块：判断图中或视频中人物关系；人机对话模块：根据人物性格喜好和人物关系，选择话题与用户沟通。本发明分析图中或视频中人物性格喜好和人物之间的关系，选择合适话题主动与用户沟通，让人机交互方式更加智能，更加亲切自然，更加人性化。

说明书

技术领域

本发明属于计算机视觉领域和人机交互领域，具体涉及基于人物性格与人际关系识别的人机交互系统及工作方法。

背景技术

随着科技的发展，现代几乎各种技术的发展都涉及到了人工智能技术，可以说人工智能已经广泛应用到许多领域。它是计算机科学、控制论、信息论、神经生理学、心理学、语言学等多种学科互相渗透而发展起来的一门综合性学科。从计算机应用系统的角度出发，人工智能是研究如何制造智能机器或智能系统，来模拟人类智能活动的能力，以延伸人们智能的科学。

目前人工智能里的聊天机器人或情感机器人和人的交互方式：首先用户主动发起话题，输入一段文字、一段语音、一张图像或者一个段视频，然后机器人根据用户输入的内容做出相应的反馈。对于文字和语音，现有的机器人能够给出相当不错答复，但是对于图片或视频内容，现有的机器人仅能识别画面中的人和物，但无法识别人与人之间的关系，也很难把他们联系起来与用户做更好的互动交流，提供更加人性化的交流体验。

发明内容

针对以上问题的不足，本发明提供了一种基于人物性格与人际关系识别的人机交互系统及工作方法，本发明对输入的图像或视频中的人员进行性格喜好分析，并对其中的人员之间关系的进行分析判别，选择合适的话题主动与用户进行沟通，更易激发用户聊天的兴趣，让这种人机交互方式更加智能，更加亲切自然，更加人性化，解决了现有的机器人只能识别图片和视频中的人物，而无法很好的融入到聊天的话题当中的问题。

为实现上述目的，基于人物性格与人际关系识别的人机交互系统，包括：

检测模块：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；

信息特征提取模块：对检测模块得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为；

信息特征整合模块：将信息特征提取模块输出的每个人的人脸和人体信息合并到一起，组合成一个固定维度的特征向量；

性格喜好判别模块：将信息特征整合模块整合后的每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；

关系判别模块：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，判别每俩人之间的关系；

人机对话模块：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好，然后根据关系判别模块输出的人物关系，选择合适的话题与用户交流沟通。

进一步地，所述检测模块包括人脸检测模块和人体检测模块；所述人脸检测模块用于得到人脸区域图像，所述人体检测模块用于得到人体区域图像。

进一步地，所述信息特征整合模块包括人脸图像特征提取模块、人脸属性分析模块、人体图像特征提取模块、人体关键点和行为分析模块；所述人脸图像特征提取模块输出人脸图像特征向量，人脸属性分析模块输出人脸属性向量，人体图像提取模块输出人体图像特征向量，人体关键点和行为分析模块输出人体行为向量。

进一步地，所述人脸图像特征提取模块和人体图像特征提取模块采用HOG特征、SIFT特征和LBP特征这三种算法中的一种或几种的组合。

进一步地，所述人脸属性分析模块将人脸图像输入到深层卷积网络模型，提取高度抽象化的轮廓特征和纹理特征，然后分别传递给性别分类器、年龄分类器和表情分类器；所述性别分类器输出男性、女性的概率，所述年龄分类器输出1至100的某一值，所述表情分类器输出五种表情的概率，所述五种表情为开心、生气、悲伤、惊恐和发呆。

进一步地，所述人体关键点和行为分析模块将人体图像输入到深层卷积网络模型分步提取特征，第一阶段提取到关键点的初略特征，然后从第一阶段到第T阶段按照从粗到精的思路逐步提取更加细微的特征，最后对这些特征进行回归分析，得到人体各部位的关键点坐标，根据这些人体关键点分析图中每个人彼此之间的行为，所述行为包括牵手、拥抱、搭肩和分离。

进一步把地，所述检测模块的具体工作方法如下：

步骤a1：输入待测图片或视频；

步骤a2：通过深层卷积神经网络模型提取图像特征并生成特征图；

步骤a3：将图像对应的特征图分解成若干个可能含有待测物体的矩形框；

步骤a4：对每个矩形框包含的特征输入回归器中判别待测物的概率，通过非极大值抑制和设定阈值的方法，合并重叠的矩形框和去除概率较小的矩形框；

步骤a5：对剩下的矩形框的边界进行微调，微调后的矩形框位置即为待测物体即人脸图像和人体图像的真实区域。

基于人物性格与人际关系识别的人机交互系统的工作方法，包括以下步骤：

步骤S1：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；

步骤S2：利用第一步得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为，并输出人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量；

步骤S3：将从上一步得到的每个人的人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量合并到一起，组合成一个固定维度的特征向量；

步骤S4：将每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；

步骤S5：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，输出每种关系的概率，设定关系阈值，在所有的关系概率中如果都小于阈值则不做判别，如果有某种关系的概率大于阈值即可判别此俩人属于这种关系；

步骤S6：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好；然后根据关系判别模块输出的人物关系，选择合适的话题与用户交流沟通。

由上述方案可知，本发明提供的基于人物性格与人际关系识别的人机交互系统及工作方法，本发明对输入的图像或视频中的人员进行性格喜好分析，并对其中的人员之间关系的进行分析判别，选择合适的话题主动与用户进行沟通，更易激发用户聊天的兴趣，让这种人机交互方式更加智能，更加亲切自然，更加人性化，解决了现有的机器人只能识别图片和视频中的人物，而无法很好的融入到聊天的话题当中的问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本实施例基于人物性格与人际关系识别的人机交互系统的结构框图；

图2为本实施例中检测模块的工作方法流程图；

图3为本实施例基于人物性格与人际关系识别的人机交互系统的工作方法流程图；

图4为本实施例中人脸属性分析模块的工作示意图；

图5为本实施例中人体关键点和行为分析模块的工作示意图；

图6为本实施例中信息整合模块的工作示意图。

具体实施方式

下面将结合附图对本发明的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的产品，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例：

本实施例提供一种基于人物性格与人际关系识别的人机交互系统，如图1～图6所示，包括：

检测模块：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；

信息特征提取模块：对检测模块得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为；

信息特征整合模块：将信息特征提取模块输出的每个人的人脸和人体信息合并到一起，组合成一个固定维度的特征向量；

性格喜好判别模块：将信息特征整合模块整合后的每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；

关系判别模块：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，判别每俩人之间的关系；

人机对话模块：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好，然后根据关系判别模块输出的人物关系，选择合适的话题与用户交流沟通。

如图1所示，所述检测模块包括人脸检测模块和人体检测模块；所述人脸检测模块用于得到人脸区域图像，所述人体检测模块用于得到人体区域图像。

如图2所示，所述检测模块的具体工作方法如下：

步骤a1：输入待测图片或视频；

步骤a2：通过深层卷积神经网络模型提取图像特征并生成特征图；

步骤a3：将图像对应的特征图分解成若干个可能含有待测物体的矩形框；

步骤a4：对每个矩形框包含的特征输入回归器中判别待测物的概率，通过非极大值抑制和设定阈值的方法，合并重叠的矩形框和去除概率较小的矩形框；

步骤a5：对剩下的矩形框的边界进行微调，微调后的矩形框位置即为待测物体即人脸图像和人体图像的真实区域。

如图1和图6所示，所述信息特征整合模块包括人脸图像特征提取模块、人脸属性分析模块、人体图像特征提取模块、人体关键点和行为分析模块；所述人脸图像特征提取模块输出人脸图像特征向量，人脸属性分析模块输出人脸属性向量，人体图像提取模块输出人体图像特征向量，人体关键点和行为分析模块输出人体行为向量。

所述人脸图像特征提取模块和人体图像特征提取模块采用HOG特征、SIFT特征和LBP特征这三种算法中的一种或几种的组合。

如图4所示，所述人脸属性分析模块将人脸图像输入到深层卷积网络模型，提取高度抽象化的轮廓特征和纹理特征，然后分别传递给性别分类器、年龄分类器和表情分类器；所述性别分类器输出男性、女性的概率，所述年龄分类器输出1至100的某一值，所述表情分类器输出五种表情的概率，所述五种表情为开心、生气、悲伤、惊恐和发呆。

如图5所示，所述人体关键点和行为分析模块将人体图像输入到深层卷积网络模型分步提取特征，第一阶段(Stage1)提取到关键点的初略特征，然后从第一阶段(Stage1)到第T阶段(StageN)按照从粗到精的思路逐步提取更加细微的特征，最后对这些特征进行回归分析，得到人体各部位的关键点坐标，根据这些人体关键点分析图中每个人彼此之间的行为，所述行为包括牵手、拥抱、搭肩和分离。

上述第一阶段，首先将人体关键点按照人体结构放置在人体区域中，以关键点为中心，以R1为半径，利用深度卷积网络模型提取关键点附近图像区域的特征，根据提取到的特征调整每个关键点的位置,并保存当前人体关键点位置；第二到第T阶段，利用上一阶段所得到的人体关键点重新放置在人体区域中，以关键点为中心，以R2为半径(R1>R2>...>Rt)，利用深度卷积网络模型提取关键点附近图像区域的特征，然后根据提取到的特征调整每个关键点的位置,并保存当前人体关键点位置；经过T个阶段的迭代，最后一次的关键点的位置即为最终的结果。

基于人物性格与人际关系识别的人机交互系统的工作方法，如图3所示，包括以下步骤：

步骤S1：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；

步骤S2：利用第一步得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为，并输出人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量；

步骤S3：将从上一步得到的每个人的人脸图像特征向量、人脸属性向量、人体图像特征向量和人体行为向量合并到一起，组合成一个固定维度的特征向量；

步骤S4：将每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；

步骤S5：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，输出每种关系的概率，设定关系阈值，在所有的关系概率中如果都小于阈值则不做判别，如果有某种关系的概率大于阈值即可判别此俩人属于这种关系；

步骤S6：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好；然后根据关系判别模块输出的人物关系，选择合适的话题与用户交流沟通。

本实施例结合当前的各种技术，判断图像或视频中每个人的性格喜好和彼此之间的关系，性格如：坚定果断自负的力量型、热情活泼多变的活泼型、随和友善寡言的和平型和细致敏感悲观的完美型；关系如：情侣、夫妻、父子、母女、朋友、同事和陌生人等。结合以前资料库的人员性格与行为习惯推测可能的喜好，然后主动发起话题，聊起他的爱人、孩子、家人和朋友等，可以显得更加亲切友善，更容易激发用户聊天的兴趣，让这种人机交互方式更加智能，更加亲切自然，更加人性化。解决现有的机器人只能识别图片和视频中的人物，而无法很好的融入到聊天的话题当中。

实例一：一个男生跟机器人聊天时，输入了一张自拍照，首先进行人脸和人体检测，发现只有一个人，然后，将这个人进行人脸属性分析、人体关键点定位和行为分析，并提取人脸和人体的图像特征，将这些信息整合在一起，输入到性格喜好判别模块，分析他是属于坚定果断自负的力量型、热情活泼多变的活泼型、随和友善寡言的和平型还是细致敏感悲观的完美型，根据这一性格信息，匹配以前的资料库中每类性格的喜好和聊天方式，聊天机器人选择合适的话题和方式，与其进行交流沟通。

实例二：一个女生跟聊天机器人聊天时，上传了一张她和她男朋友手挽手的自拍照，本系统就会对这张照片进行人脸和人体检测，得到人脸和人体区域的位置和人数，其次，分别分析每个人人脸的年龄、性别、表情和颜值等属性，还有身体关键点和拥抱、牵手、靠近和远离等行为，结合提取到的人脸和人体的图像特征，进行信息整合，整合成一个固定长度的特征向量，然后输入到关系判别模块中，经判别图中两个之间的关系是情侣。最后，聊天机器人根据这一关系，主动发话问候用户，如：“你身边的那位男生是你男朋友吗？好帅哦”。

实例三：应用在酒店或餐厅的迎宾机器人，根据机器人头部摄像头实时获取到的图像，分析前来入住的客人有几位，以及他们的关系，然后主动问候，有针对性的提供服务，可以有效避免机械式的一问一答模式。如：一对夫妻带着一个5岁的孩子，来到酒店大堂办理入住，迎宾机器人可以主动上前问候：“先生，您好，请问您有3位要办理入住，对吗？”，“您身边的这两位是您太太和孩子吗，我们特意为您和您家人准备了家庭房，里面配备有还有儿童床，欢迎您入住”。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。