融合眼动信号追踪与心跳检测技术的产品偏好识别系统

摘要

本发明公开了融合眼动信号追踪与心跳检测技术的产品偏好识别系统，属于眼动信号监测领域，包括用户端、人体生物信息检测设备、数据中转站和后台系统，所述用户端采用The Eye Tribe眼动仪，所述人体生物信息检测设备部分集成于The Eye Tribe眼动仪上，所述The Eye Tribe眼动仪通过数据传输器与数据中转站相通信连接，所述数据中转站包括数据接收模块、数据处理模块，数据存储模块，数据传输模块，所述数据接收模块与The EyeTribe眼动仪的数据传输器相通信连接，所述数据中转站的数据传输模块与后台系统相传输连接，对消费者在选购商品的过程中收集消费的信息，从而获取消费者对产品的喜好程度。

说明书

技术领域

本发明属于眼动信号监测技术领域，具体涉及融合眼动信号追踪与心跳检测技术的产品偏好识别系统。

背景技术

以非侵入式身体生理信号检测技术为依托，开展具体的产品情感设计系统研究。目前国内外多为非侵入式生理信号检测技术的方向，其研究涉猎很多领域，例如情感智能与普适计算、虚拟现实、情感化设计、用户体验、交互设计、情感机器人、在线教育、情境学习、多媒体检测、游戏设计、驾驶员情感分析、康复医疗等等。以眼动为代表的基于生理信号的产品设计研究以及评估，是在认知科学、计算机科学、以及当下发展迅猛的人工智能的角度去理解的。人体自主神经的活动，比如一个情感，都会有几种生理特征的变化随之产生改变，而有一些自主神经，一般情况下不会受到人的思想的主观控制。因此，对这一系列的生理信号进行情感分析，是具有比较明显的客观性和准确性。相比较而言，眼动这类的生理信号对于面部表情的识别、姿态的识别，更具有相应的客观性与准确性，通过这类客观反映来评估人们的情感、状态更准确。

目前，不同人群对产品特征的偏好是不同的。实现对不同人群对产品偏好的识别，从而驱动企业产品的营销策略。但是，快消产品的更新迭代速度快，每次产品更新的库存投资高，更新效果的数据通常只能通过销售数据和用户访谈等方法获得，数据的获取周期长，且不具时效性。

发明内容

本发明的目的在于提供融合眼动信号追踪与心跳检测技术的产品偏好识别系统，通过给消费者佩戴The Eye Tribe眼动仪和智能手环的方式，捕捉消费者的面部表情、眼动信号、心跳信号，通过后台系统综合分析，得到消费者选购时的情绪，对消费者在选购商品的过程中收集消费的信息，从而获取消费者对产品的喜好程度，以此来调整产品营销策略，驱动企业产品的不同群体的营销策略，以解决上述背景技术中提出的问题。

为实现上述目的，本发明采用了如下技术方案：

融合眼动信号追踪与心跳检测技术的产品偏好识别系统，包括用户端、人体生物信息检测设备、数据中转站和后台系统，所述用户端采用The Eye Tribe眼动仪，所述人体生物信息检测设备部分集成于The Eye Tribe眼动仪上，所述The Eye Tribe眼动仪通过数据传输器与数据中转站相通信连接，所述数据中转站包括数据接收模块、数据处理模块，数据存储模块，数据传输模块，所述数据接收模块与The Eye Tribe眼动仪的数据传输器相通信连接，所述数据中转站的数据传输模块与后台系统相传输连接。

优选的，所述人体信号检测设备包括智能手环、AdHawk微型眼动仪传感器和生理传感器，所述AdHawk微型眼动仪传感器、生理传感器和AdHawk微型眼动仪传感器均安装于The Eye Tribe眼动仪上，所述智能手环穿戴于手腕上。

优选的，所述The Eye Tribe眼动仪包括镜片组件、鼻托组件、微型摄像头托架、嵌入式微型摄像头和柔性线路板，所述镜片组件安装于微型摄像头托架的底端，所述镜片组件的周边侧壁嵌入式安装有柔性线路板和AdHawk微型眼动仪传感器，所述AdHawk微型眼动仪传感器与柔性线路板相电性连接，所述微型摄像头托架的居中处嵌入安装有嵌入式微型摄像头，所述微型摄像头托架的两侧分别通过铰接有镜框耳架。

优选的，所述微型摄像头托架的内侧居中处固定连接有鼻托组件，所述鼻托组件包括鼻托架和鼻垫，所述鼻托架的一端与微型摄像头托架的内侧居中处相固定连接，所述鼻托架的另一端安装有鼻垫。

优选的，所述镜框耳架包括镜框耳架、数据传输器、连接杆和生理传感器，所述镜框耳架的内部安装有数据传输器，所述镜框耳架的侧壁通过连接杆与生理传感器相安装，所述镜框耳架远离微型摄像头托架的一端安装有镜框耳钩。

优选的，所述数据传输器与嵌入式微型摄像头相电性连接，所述数据传输器与柔性线路板相电性连接，所述数据传输器与生理传感器相电性连接。

优选的，所述后台系统包括数据存储库，数据对比库和云端，所述云端通过互联网对数据存储库进行对比数据下载，所述数据对比库与数据中转站的数据传输模块相传输连接。

优选的，所述AdHawk微型眼动仪传感器用于收集眼动数据，所述生理传感器用于收集面部表情图像数据，所述嵌入式微型摄像头用于收集环境图像数据。

本发明的技术效果和优点：本发明提出的融合眼动信号追踪与心跳检测技术的产品偏好识别系统，与现有技术相比，本发明的有益效果是：

通过本发明，品牌方营销人员可在各线下门店卖场分别投放一定数量的The EyeTribe眼动仪、智能手环以及一个数据中转站，引导消费者在进入卖场后取戴眼动仪再进行购物活动，结账后再归还眼动仪。消费者在购物的过程中，产生的眼动数据和人体生理指标数据，通过数据中转站上传到云端，品牌方营销人员(分析者)通过后台系统设定新品数据(实验目标)，进行对比分析，得出消费者对新品的用户情绪数据，基于眼动信息的有效采集，收集到卖场目标区域用户群体的生理数据，用来研究产品迭代目标以及优化。不同的用户群体可以有相应需求的情绪数据，当这些数据达到一定的数量，即可进行消费者行为的大数据分析，为产品的更新迭代、高效的库存周转、以及产品优化决策提供充分有效的信息数据支持。

本发明提供融合眼动信号追踪与心跳检测技术的产品偏好识别系统，通过给消费者佩戴The Eye Tribe眼动仪和智能手环以对消费者的面部和心跳进行监测，并通过AdHawk微型眼动仪传感器用于收集眼动数据，AdHawk微型眼动仪传感器收集眼动数据，生理传感器用于收集面部表情图像数据，嵌入式微型摄像头用于收集环境图像数据，以获取消费者在选购产品本能产生信息，具有客观性，并通过将获取信息与后台系统的云端预设信息进行对比分析，以获取消费者对产品的喜好程度,代替人工询问和问卷调查的方式，获取信息更为准确。

附图说明

图1为本发明的系统框图；

图2为本发明The Eye Tribe眼动仪的结构示意图；

图3为本发明的镜框耳架的爆炸结构示意图；

图4为本发明实施例的系统工作流程图。

图中标号：1、镜片组件；2、鼻托组件；21、鼻托架；22、鼻垫；3、镜框耳架；4、镜框耳钩；5、微型摄像头托架；6、嵌入式微型摄像头；7、AdHawk微型眼动仪传感器；8、柔性线路板；9、生理传感器；10、数据传输器；11、连接杆。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1-4所示的融合眼动信号追踪与心跳检测技术的产品偏好识别系统包括用户端、人体生物信息检测设备、数据中转站和后台系统，用户端采用The EyeTribe眼动仪，通过The Eye Tribe眼动仪这一个情感平台，来捕捉使用者的眼动信息，并根据获取的视线位置与持续时间来判别购物者的注意力与兴趣，最后，根据情感平台所得出的情绪类别，进行响应决策，根据事先已决定好的对应特征回馈内容，将情感的种类依据所对应的决策回传到系统之中，呈现给品牌方营销人员(分析者)，人体生物信息检测设备部分集成于The Eye Tribe眼动仪上，The Eye Tribe眼动仪通过数据传输器10与数据中转站相通信连接，数据中转站包括数据接收模块、数据处理模块，数据存储模块，数据传输模块，数据接收模块与The Eye Tribe眼动仪的数据传输器10相通信连接，数据中转站的数据传输模块与后台系统相传输连接，后台系统包括数据存储库，数据对比库和云端。

云端通过互联网对数据存储库进行对比数据下载，数据对比库与数据中转站的数据传输模块相传输连接，该数据中转站在接受数据的同时对数据进行初步的处理、存储，并上传到后台系统，后台系统指用于分析者对数据进行分析的系统，分析者通过后台系统的云端下载云端数据，并通过数据对比库社会设定对比算法，进行对比分析，与数据存储库形成可视化的分析结果。设定对比算法：针对不同的实验目的和实验目标，设定目标实验物体的图像数据，设定不同的算法模型，当嵌入式微型摄像头6识别到使用者视野环境中出现该图像数据时，将抓取各类人体生理指标，通过算法模型进行计算、对比分析，其具体的对比分析方法包括：AdHawk微型眼动仪传感器7收集的眼动数据包含眼动时间，注视点轨迹图，眼跳方向的平均速度、时间和距离，眨眼和瞳孔大小面积或直径描述，单位象，这些眼动数据与使用者视野环境图像数据进行对比，可知用户对视野环境中的目标实验物体的关注度和其他感受。同理，面部表情图像数据及其他人体生物信息检测设备测量的人体生理指标，与使用者视野环境图像数据进行对比，可知用户对视野环境中的目标实验物体的其他感受。

因此本实施例将持续时间区分为三种，并以此来辨别不同的注意力情绪：

注意力：以持续停留注视600ms表示使用者注意力集中在某事物上，并显示对应的回馈内容，包括显示操作指令、显示环境地图和显示资讯简介。

感兴趣：以持续停留注视3000ms以上表示使用者不仅注意力集中在某事物上，并对此感兴趣，因此进一步回馈更详细的内容信息。

不感兴趣：以停留注视小于600ms表示使用者的视线仅是扫过或忽略，因此不做任何回馈。

人体信号检测设备包括智手环、AdHawk微型眼动仪传感器7和生理传感器9，生理传感器9用于识别面部表情，AdHawk微型眼动仪传感器7、生理传感器9和AdHawk微型眼动仪传感器7均安装于The Eye Tribe眼动仪上，智能手环穿戴于手腕上，感应器收集的数据通过数据传输器10传输给数据中转站，为了测量与The Eye Tribe眼动仪同时的人体生理指标。

The Eye Tribe眼动仪包括镜片组件1、鼻托组件2、微型摄像头托架5、嵌入式微型摄像头6和柔性线路板8，镜片组件1安装于微型摄像头托架5的底端，镜片组件1的周边侧壁嵌入式安装有柔性线路板8和AdHawk微型眼动仪传感器7，AdHawk微型眼动仪传感器7与柔性线路板8相电性连接，微型摄像头托架5的居中处嵌入安装有嵌入式微型摄像头6，微型摄像头托架5的两侧分别通过铰接有镜框耳架3，微型摄像头托架5的内侧居中处固定连接有鼻托组件2。

鼻托组件2包括鼻托架21和鼻垫22，鼻托架21的一端与微型摄像头托架5的内侧居中处相固定连接，鼻托架21的另一端安装有鼻垫22，数据传输器10与嵌入式微型摄像头6相电性连接，数据传输器10与柔性线路板8相电性连接，数据传输器10与生理传感器9相电性连接，AdHawk微型眼动仪传感器7用于收集眼动数据，AdHawk微型眼动仪传感器7收集眼动数据，应用技术是瞳孔角膜反射技术，该技术的基本理念是使用一种光源对眼睛进行照射使其产生明显的反射，并使用一种摄像机采集带有这些反射效果的眼睛的图像。然后使用摄像机采集到的这些图像来识别光源在角膜(闪烁)和瞳孔上的反射。这样我们就能够通过角膜与瞳孔反射之间的角度来计算出眼动的向量，然后将此向量的方向与其他反射的几何特征结合计算出视线的方向。

生理传感器9用于收集面部表情图像数据，嵌入式微型摄像头6用于收集环境图像数据，再通过数据传输器10传输给数据中转站，镜框耳架3包括镜框耳架3、数据传输器10、连接杆11和生理传感器9，镜框耳架3的内部安装有数据传输器10，镜框耳架3的侧壁通过连接杆11与生理传感器9相安装，镜框耳架3远离微型摄像头托架5的一端安装有镜框耳钩4。

实施例1

使用者在进入卖场后通过引导者正确佩戴智能手环和The Eye Tribe眼动仪，进入卖场的使用者在浏览选购商品的过程中，通过The Eye Tribe眼动仪上的AdHawk微型眼动仪传感器7获取使用者眼动信息，通过The Eye Tribe眼动仪上的生理传感器9获取使用者的面部表情信息，通过嵌入式微型摄像头6获取使用者的视野，将各种传感器获取的信息通过数据传输器10传送给数据中转站，并通过数据中转站将获取的数据进行处理，最终将数据传输至后台系统中，后台系统的云端通过互联网对数据存储库进行对比数据下载，该数据中转站在接受数据的同时对数据进行初步的处理、存储，并上传到后台系统，后台系统指用于分析者对数据进行分析的系统，分析者通过后台系统的云端下载云端数据，并通过数据对比库社会设定对比算法，进行对比分析，与数据存储库形成可视化的分析结果，分析使用者视域范围内引起情绪波动的产品对象及其细节区域和分析使用者情绪波动的频率及对应的面部情绪反馈，通过数据分析得出结论，用于指导开发者有效观测使用者对于产品的喜好、关注点、情绪变化等多种因素，进而完善产品以及有效开展新—轮产品开发,使用结束后，结账后再归还眼动仪，通过后台系统的云端预设数据和获取数据对比，进行对比分析，得出消费者对新品的用户情绪数据。

本发明通过眼动追踪技术，将情感运算结合到产品情感分析应用之中，分析使用者在选购商品时，视线的注视过程与持续时间，依据环境中设定的感兴趣区域，显示对应区域与情绪的回馈内容，透过最直接的注视分析，减少操作上的负荷，改善使用者的购物体验，达到直觉、人性化的自然感受。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。