一种基于表情识别系统生成艺术图像的方法

摘要

本发明公开了一种基于表情识别系统生成艺术图像的方法，包括以下步骤：（1）采集用户的表情图像；（2）对表情图像分析计算，得到情绪值；（3）以情绪值为变量通过算法生成，绘制出艺术化的图像。本发明以表情识别系统为基础，将表情识别得到的情绪值通过算法生成艺术化的图像，实现以人的面部表情转化的情绪值为指标，根据不同的情绪生成相应的艺术化图像的目的，使相互交互界面的色彩和图像变化贴近到用户心理，满足用户需求。

说明书

技术领域

本发明涉及反馈系统有关的图像生成技术，特别涉及一种基于表情识别系统生成艺术图像的方法。

背景技术

近年来，在信息化和情感化的设计趋势下，“人”与“物”的交互形式正逐渐由“实物”转向“屏幕”等虚拟界面，例如电脑、手机、平板及其他具有屏幕的设备。并且人们对于产品的需求也不再仅仅是实用性，更多地是产品的情感化交互的需求，情感化交互在交互设计中，运用情感化的色彩、形状、质感、动作，使交互界面反映并贴合用户情绪，从而满足用户从行为水平到反思水平的心理需求，这也是情感化交互设计的核心所在。

情感化交互最先是要取得用户的情感信息，根据此创造出贴合用户情绪的产品，情绪，即喜怒哀乐，是最基本的情感表现，情绪的变化会带来面部表情的变化，相对的可以通过测试用户的面部表情来判断用户的情绪，使情绪信息化。

人脸表情识别是人脸识别的一个分支，近年来得到相关领域科研人员和工业界的广泛关注。人脸识别是指通过摄像头捕捉画面，基于人类面部的生物特征，经过计算机算法分析图像，检测人脸及人脸定位、身份识别、图像采集、表情识别等一系列相关技术。人脸识别技术起源于20世纪60年代，并从20世纪80年代开始逐渐发展，现已达到较为成熟的水平。目前人脸识别的算法可以分类为：基于人脸特征点的识别算法，基于整幅人脸图像的识别算法，基于模板的识别算法和利用神经网络进行识别的算法。表情识别是在人脸识别的基础上，将面部影像所传递的信息进一步识别为带有感情的喜怒哀乐等表情。

随着表情识别技术的发展，市面上也出现了利用和改善表情识别技术的设备和方法，例如公告号CN1320806C的专利文献公开了基于情绪的虚拟相册的方法和系统，该相册基于观看者的被识别的情绪提供照片；该方法包括以下步骤：用照相机捕捉观看者面部表情的第一图像，将该图像提供给处理器的模式识别模块，通过将该面部表情与多个以前存储的面部表情的图像相比较确定观看者的情绪，所述多个以前存储的图像都具有相关的情绪标识符来表示多个以前存储的图像中的每一个图像的情绪，基于与已经确定的情绪相关的情绪标识符从存储器中检索出用于传送给观看者的一个照片集，以及将该照片集以电子相册的形式传送。系统包括照相机，用于传送以该照相机捕捉的观看者面部表情的第一图像的用户界面，用于接收通过用户界面传送来的图像的处理器，该处理器还包括模式识别模块，该模块用于将由处理器接收的图像与来自存储区的多个面部表情的图像相比较，从而确定观看者的情绪。检索单元检索对应于观看者情绪的一个电子照片集，并且传送该电子照片集作为虚拟相册用于展示。上述方法是通过图像对比判断出用户情绪，然后通过检索出对应情绪的照片向用户展示，体现了人与设备的情感化交互。但是反馈的信息是较具体的图像，并不是设备本身与用户的情感化交互。

目前人们所接触到的多数可视化产品，无论是网站、游戏、手机应用、智能系统，绝大多数都采取固定的设计样式。即使有少数信息产品可以提供个性化定制，但复杂的操作、极少的选择，都没有做到真正的符合用户心理，满足用户需求。

发明内容

本发明提供了一种基于表情识别系统生成艺术图像的方法，以解决现有技术的可视化界面大多采用固定的设计式样，无法照顾到用户心理，满足用户需求的问题。

一种基于表情识别系统生成艺术图像的方法，包括以下步骤：

（1）采集用户的表情图像；

（2）对表情图像分析计算，得到情绪值；

（3）以情绪值为变量通过算法生成，绘制出艺术化的图像。

上述的艺术化的图像指全部或部分由自主系统产生的艺术形式。在这里，自主系统是指非人控制的并能独立决定艺术作品特征的系统，而非由人（艺术家）所决定。此类图像的生成经常特指由计算机算法生成的艺术作品，但也可以由化学、生物、机械、智能材料、人工随机化、数学、数据映射等系统所产生。本发明中的艺术化的图像特指通过计算机算法生成的图像，其体现了自然与人工的结合、随机性与计划性的统一。在这一过程中，设计人员只要设定生成艺术算法公式，然后计算机进行处理和计算就能得到艺术化的图像。所以，本发明中的艺术化的图像更直观的，是一种算法设计。

生成艺术化的图像的算法很多，本发明主要针对分形处理进行详细说明，优选的，在步骤（3）中所述的算法生成的步骤包括：

a、通过计算得到以情绪值为变量的具有形状，颜色以及大小的色块；

b、对色块的线条进行分形处理，将色块绘制成具有艺术效果的分形图案。

为了使生成的艺术化的图像更贴合人的情绪，优选的，步骤a中生成的色块为矩形色块，色块的参数包括：

色块的红、绿和蓝三个色相值，分别用字母r，g，b表示；

色块的透明度，用字母a表示；

色块的宽度和高度，分别用字母w和h表示；

在显示装置内建立x，y轴坐标系，色块的位置坐标，用（x，y）表示；

重叠的色块数，用字母n表示；

此处定义情绪值与人的愉悦度成正比，根据人感官的生理特性，设定色块的参数与情绪值关系如下：

r与情绪值成正比，b与情绪值成反比，g随机生成；

a与情绪值偏离中间值的程度成正比；

w和h由在确定的最大值和和与情绪值成反比的最小值之间的数值范围内随机生成；

（x，y）随机生成；

n与情绪值成反比。

步骤（2）中的表情识别系统可采用市面上现有的表情识别软件，优选的，步骤（2）中通过图像识别软件Orbeus对表情图像分析计算，得到的情绪值为代表愉悦程度的数字，数字在0～1之间。

进一步优选的，定义情绪值为theEmotion，displayWidth为显示装置的显示区的宽度，displayHeight为显示区的高度；

色块的参数与情绪值的关系式如下：

r=Math.floor(theEmotion*255);

g=Math.floor(Math.random()*255);

b=Math.floor((1-theEmotion)*255);

a=0.4+Math.abs(theEmotion-0.5)*0.75;

w=minWidth+Math.random()*(maxWidth-minWidth)；

h=minHeight+Math.random()*(maxHeight-minHeight)；

x=6+Math.random()*(displayWidth-w-6);

y=6+Math.random()*(displayHeight-w-6);

n=25-(theEmotion-0.5)*20；

其中，Math.random()为生成随机数的函数，返回0和1之间的伪随机数，可能为0，但总是小于1，[0,1)，定义最小宽度minWidth=80-(theEmotion-0.5)*100，最大宽度maxWidth=280，最小高度minHeight=minWidth，最大高度maxHeight=maxWidth。

由上述公式可知，w受到最大宽度和最小宽度的约束，h受到最大高度和最小高度的约束，在其范围内随机产生。这里，最小宽度和最小高度是随情绪值变化而变化的，情绪越愉悦，即（theEmotion–0.5）的值越大，最小宽度和最小高度就越小，而最大宽度和最大高度保持不变化，这意味着，情绪越愉快，所产生的色块的大小变化越大，会有更跳跃更活泼的效果。

情绪值较低，即情绪低落时，色块的数量越多，情绪所对应的画面更为浓重；而情绪愉悦度高，即情绪值较大时，色块的数量较少，情绪所对应的画面清浅，从而使由色块生成的图像更贴合人的情绪。

上述的分形处理主要有迭代函数系统、逃逸时间分形、奇异吸引子、随机分形四种方法。这里将使用迭代函数系统构造分形。对色块的的线条进行进一步处理，使其生成具有“手绘而成”效果的艺术化的图像。

优选的，步骤b中分形处理的方法是迭代函数系统。

进一步优选的，步骤b中形成分形图案的具体方法是对色块的每一条边进行相同的操作，操作步骤如下：

A、每条边的两个端点通过线段连接，定义每条线段的起始点和终止点为point和nextPoint；

B、在point和nextPoint之间插入一个newpoint，所述newpoint在x和y方向都做微量的偏移；

C、newpoint与point和nextPoint分别形成新的线段连接边的两个端点；

D、重复A～C5～7次，形成具有艺术效果的分形图案。

所述插入的点newpoint以及微小的偏移的值都通过公式计算确定，优选的，在所述的x，y轴坐标系内，定义所述point的坐标为

（point.x,point.y）,nextPoint的坐标为（point.x+L,point.y+H）,newpoint的坐标为（newX,newY），newpoint与point和nextPoint的关系式如下：

newX＝point.x+ratio*L；

newY＝point.y+ratio*H*ratio*L*randommm1,11；

其中，L为point和nextPoint在x方向上的距离，H为point和nextPoint在y方向上的距离；randommm1,11为生成随机数的函数，返回-1和1之间的伪随机数，可能为-1，但总是小于1，[-1,1)；ratio为在一定范围内随机生成的偏移比率，公式为ratio=minRatio+Math.random()*(1-2*minRatio)，minRatio=0.33。

为了使艺术化的图像随人的表情连续变化，优选的，步骤（1）～（3）周期性循环。

进一步优选的，周期的频率为0.1～10秒。

本发明的有益效果：

本发明以表情识别系统为基础，将表情识别得到的情绪值通过算法生成艺术化的图像，实现以人的面部表情转化的情绪值为指标，根据不同的情绪生成相应的艺术化的图像的目的，使相互交互界面的色彩和图像变化贴近到用户心理，满足用户需求。

附图说明

图1为本发明中情绪值与色块的关系图。

图2为本发明方法的操作流程图。

图3为本发明中步骤A的示意图。

图4为本发明中步骤B和C的示意图。

具体实施方式

本实施例的步骤包括：

（1）采集用户的表情图像：HTML5上追加了本地数据库等Web应用的功能，支持Web端的Audio、Video等多媒体功能，用户通过网络摄像头和麦克风等设备进行多媒体交互，在获得了摄像头流媒体之后，将动态的视频进行“截图”，从而获得用户的表情图像。

（2）对表情图像分析计算，得到情绪值：通过图像识别软件Orbeus对表情图像分析计算得到情绪值，情绪值为代表愉悦程度的数字，数字在0～1之间。

（3）以情绪值为变量通过算法生成，绘制出艺术化的图像：

a、设置以情绪值为变量的具有形状，颜色以及大小的色块，色块的参数包括：

色块的红、绿和蓝三个色相值，分别用字母r，g，b表示；

色块的透明度，用字母a表示；

色块的宽度和高度，分别用字母w和h表示；

在显示装置内建立x，y轴坐标系，色块的位置坐标，用（x，y）表示；

重叠的色块数，用字母n表示；

此处定义情绪值与人的愉悦度成正比，根据人感官的生理特性，图1展示了情绪与色块的关系，设定色块的参数与情绪值关系如下：

r与情绪值成正比，b与情绪值成反比，g随机生成；

a与情绪值偏离中间值的程度成正比；

w和h由在确定的最大值和和与情绪值成反比的最小值之间的数值范围内随机生成；

（x，y）随机生成；

n与情绪值成反比。

从而确定出色块的参数与情绪值关系如下：

定义情绪值为theEmotion，displayWidth为显示装置的显示区的宽度，displayHeight为显示区的高度；

色块的参数与情绪值的关系式如下：

r=Math.floor(theEmotion*255);

g=Math.floor(Math.random()*255);

b=Math.floor((1-theEmotion)*255);

a=0.4+Math.abs(theEmotion-0.5)*0.75;

w=minWidth+Math.random()*(maxWidth-minWidth)；

h=minHeight+Math.random()*(maxHeight-minHeight)；

x=6+Math.random()*(displayWidth-w-6);

y=6+Math.random()*(displayHeight-w-6);

n=25-(theEmotion-0.5)*20；

其中，Math.random()为生成随机数的函数，返回0和1之间的伪随机数，可能为0，但总是小于1，[0,1)，定义最小宽度minWidth=80-(theEmotion-0.5)*100，最大宽度maxWidth=280，最小高度minHeight=minWidth，最大高度maxHeight=maxWidth。

将步骤（2）中的情绪值输入上述公式，得到具有一定形状，颜色以及大小的色块。

b、对色块的每一条边进行相同的操作，操作步骤如下：

A、每条边的两个端点通过线段连接，定义每条线段的起始点和终止点为point和nextPoint，在所述的x，y轴坐标系内，定义所述point的坐标为（point.x,point.y）,nextPoint的坐标为（point.x+L,point.y+H）,如图3所示；

B、在point和nextPoint之间插入一个newpoint，newpoint的坐标为（newX,newY），如图4所示，newpoint与point和nextPoint的关系式如下：

newX＝point.x+Δx；

newY＝point.y+Δy1+Δy2；

其中，L为point和nextPoint在x方向上的距离，H为point和nextPoint在y方向上的距离；Δx=ratio*L，Δy1＝ratio*H，Δy2＝Δx*randommm1,11；randommm1,11为生成随机数的函数，返回-1和1之间的伪随机数，可能为-1，但总是小于1，[-1,1)；ratio为在一定范围内随机生成的偏移比率，公式为ratio=minRatio+Math.random()*(1-2*minRatio)，minRatio=0.33；。

C、newpoint与point和nextPoint分别形成新的线段连接边的两个端点；

D、重复步骤A～C6次，形成具有艺术效果的分形图案。

通过上述步骤（1）～（3），实现以情绪值为变量通过算法生成，绘制出艺术化的图像。