一种基于眼球追踪实现眼球控制智能终端的设备及方法

摘要

本发明公开了一种基于眼球追踪实现眼球控制智能终端的设备及方法，用于一种穿戴设备，以实现该穿戴设备与智能终端的无线数据传输，达到控制智能终端和获得智能终端上信息的目的，用于解决现有技术中对智能终端的操控效果不理想、可实现眼球追踪控制的电子终端功能模块多，造价和普及难度高，不利于其市场推广的问题，发明提供的方法和设备便于普及运用，开发和推广更为简单，利于提高现有智能终端操作的便捷性，利于现有智能终端的待机续航能力。

说明书

技术领域

本发明涉及智能终端控制及设备领域，具体的为一种基于眼球追踪实现眼球控制智能终端的设备及方法。

背景技术

当今智能终端普及率较高，已经成为了人们日常生活中获取信息的重要工具，如手机、平板电脑、笔记本，特别是智能终端，无论在候车厅、候车站，甚至公交、地铁上，智能终端用户都高频率的使用智能终端，智能终端需要手持触控进行阅读和使用，在某些使用者不便于握持智能终端的情况下，即使已经实现了人机语音控制功能，但在嘈杂或者需要安静的环境下，上述控制技术也不能达到理想的控制效果，现有技术中设定的对智能终端的操作方式对用户来说在某些情况下极为不方便。

申请号为CN201410093097的发明专利公开了一种在屏幕上显示信息的方法和装置，该装置为设置有眼球追踪传感器和屏幕的电子终端，由于该终端的功能模块较多，使得该终端结构复杂，造价和普及难度高，不利于其市场推广。

发明内容

针对上述现有技术中对智能终端的操控效果不理想、可实现眼球追踪控制的电子终端功能模块多，造价和普及难度高，不利于其市场推广的问题，本发明提供了一种基于眼球追踪实现眼球控制智能终端的设备及方法。

针对上述问题，本发明提供的一种基于眼球追踪实现眼球控制智能终端的设备及方法通过以下技术要点来解决问题：一种基于眼球追踪实现眼球控制智能终端的方法，用于一种穿戴设备，以实现该穿戴设备与智能终端的无线数据传输，达到控制智能终端和获得智能终端上信息的目的，包括以下步骤：

A、与智能终端建立无线数据连接，从智能终端的处理器上读取到屏幕显示数据输出；

B、将以上屏幕显示数据输出实时显示到穿戴设备上；

C、使用者以穿戴设备上的图像显示为眼睛的被测对象，穿戴设备识别使用者的眼球动作或直视到的穿戴设备显示屏幕上的区域，并将眼球的动作或作用的区域信号无线传输给智能终端；

D、智能终端根据以上眼球动作信号或作用的区域信号为参考量，实现智能终端的功能操作和屏幕显示切换。

本发明还提供了一种用于实现上述方法的设备：一种基于眼球追踪实现眼球控制智能终端的设备，该设备为佩戴在使用者眼前的一种穿戴设备，所述穿戴设备包括穿戴设备本体，所述穿戴设备本体上固定有显示屏、无线通讯模块、眼球追踪传感器、供电模块和处理模块，所述显示屏、无线通讯模块、眼球追踪传感器和处理模块的电能输入端均连接在供电模块的输出端上，所述无线通讯模块为无线收发模块，且无线通讯模块、眼球追踪传感器和显示屏的信号端均连接在处理模块的信号端上。

更进一步的技术方案为：

所述步骤C中还包括用于眼球状态捕捉校准的眼球追踪校准步骤。

所述眼球追踪校准步骤为在穿戴设备屏幕上的不同位置显示多个校准点，所述校准点以不同的形状、颜色或状态显示，当操作者的眼球直视某个点超过第一时间阀值t后，对应的校准点的形状、颜色或状态发生改变。

当每个校准点的形状、颜色或状态发生改变后，完成眼球追踪校准。

穿戴设备屏幕的边缘和中央均分布有校准点，且所述第一时间阀值t不大于1.5秒。

所述无线数据连接为Wi-Fi数据连接或蓝牙数据连接。

在步骤C中，所述穿戴设备的屏幕上还显示有与眼球动作对应的光标；所述光标根据眼球直视点的位置改变而在穿戴设备的屏幕上移动，当光标在某个位置停留时间超过第二时间阀值t1后，光标完成单击操作。

所述无线通讯模块为Wi-Fi通讯模块或蓝牙通讯模块。

所述供电模块包括太阳能电池板和蓄电池，所述太阳能电池板和蓄电池电连接。

本发明具有以下有益效果：

本发明提供了一种基于眼球追踪实现眼球控制智能终端的设备及方法，该方法利用现有人们普遍使用的智能终端，将智能终端内置的无线数据传输模块与穿戴设备相连，实现穿戴设备与智能终端的双向数据连接，该数据连接包括智能终端屏幕显示信号输出连接和控制信号数据连接，并通过穿戴设备上的眼球动作识别，实现眼球动作控制智能终端，以优化智能终端控制的便捷性和获取智能终端上信息的便捷性。

以上方法实现发明目的所需要的硬件简单，同时将眼球动作识别部件设置在穿戴设备上，在眼球动作时，眼球相对于识别点的角速度大、距离近，便于减少采用此方法实现智能终端控制和信息采集时发生误操作的可能性。

本发明提供方法中，智能终端屏幕可以是一种广义的屏幕，该屏幕可以是打开点亮的屏幕，也可以是一种隐性的屏幕，对于隐性的屏幕，智能终端不打开屏幕，即在屏幕不点亮的情况下，穿戴设备通过无线通讯获取智能终端的屏幕显示数据，直接通过数据连接进行操控，即智能终端屏幕在本方法的作用过程中不点亮甚至可以在智能终端上不设置屏幕，这样，可大大提高现有智能终端的续航能力；本方法中，通过无线传输数据的方式即可进行智能终端控制，这样，只要智能终端能与穿戴设备取得无线数据连接，无论智能终端是否随身携带，均可完成智能终端控制和信息读取。

以上设备在用于实现发明目的时，智能终端为现有广泛使用的电子设备，这样，实现眼球进行智能终端控制时，本发明中所需要的穿戴设备上的处理模块只需要完成驱动无线通讯、显示屏及部分操控，不需要进行现有智能终端一般均具有的其他功能模块或程序运行，如手机的2G/3G/4G/5G/GPS无线通信功能运行，其功能、性能、成本远远低于智能终端所使用的CPU和其他功能模块，比市场现有的穿戴设备相比成本更低和开发实现更简单。

作为本领域的技术人员，可以轻易的得出以上智能终端可以是智能手机、平板电脑、笔记本电脑、智能电视等智能终端，以上穿戴设备可以是眼镜、面罩、头盔、手表甚至是饰件。

附图说明

图1为本发明所述的一种基于眼球追踪实现眼球控制智能终端的方法一个具体实施例的操控流程图；

图2为本发明所述的一种基于眼球追踪实现眼球控制智能终端的方法一个具体实施例的操控步骤流程图；

图3为本发明所述的一种基于眼球追踪实现眼球控制智能终端的设备一个具体实施例的模块逻辑框图；

图4为本发明所述的一种基于眼球追踪实现眼球控制智能终端的方法一个具体实施例的眼球控制流程图；

图5为本发明所述的一种基于眼球追踪实现眼球控制智能终端的方法一个具体实施例中，实现眼球追踪校准的示意图；

图6为本发明所述的一种基于眼球追踪实现眼球控制智能终端的方法一个具体实施例中，实现眼球动作控制光标运动或操作的演示图。

具体实施方式

本发明提供了一种基于眼球追踪实现眼球控制智能终端的设备及方法，用于解决：现有技术中对智能终端的操控效果不理想、可实现眼球追踪控制的电子终端功能模块多，造价和普及难度高，不利于其市场推广的问题。下面结合实施例对本发明作进一步的详细说明，但是本发明不仅限于以下实施例：

实施例1：

如图1至图4所示，一种基于眼球追踪实现眼球控制智能终端的设备及方法，该方法用于一种穿戴设备，以实现该穿戴设备与智能终端的无线数据传输，达到控制智能终端和获得智能终端上信息的目的，包括以下步骤：

A、与智能终端建立无线数据连接，从智能终端的处理器上读取到屏幕显示数据输出；

B、将以上屏幕显示数据输出实时显示到穿戴设备上；

C、使用者以穿戴设备上的图像显示为眼睛的被测对象，穿戴设备识别使用者的眼球动作或直视到的穿戴设备显示屏幕上的区域，并将眼球的动作或作用的区域信号无线传输给智能终端；

D、智能终端根据以上眼球动作信号或作用的区域信号为参考量，实现智能终端的功能操作和屏幕显示切换。

根据上述方法，本发明还提供了一种对应的设备：一种基于眼球追踪实现眼球控制智能终端的设备，该设备为佩戴在使用者眼前的一种穿戴设备，所述穿戴设备包括穿戴设备本体，所述穿戴设备本体上固定有显示屏、无线通讯模块、眼球追踪传感器、供电模块和处理模块，所述显示屏、无线通讯模块、眼球追踪传感器和处理模块的电能输入端均连接在供电模块的输出端上，所述无线通讯模块为无线收发模块，且无线通讯模块、眼球追踪传感器和显示屏的信号端均连接在处理模块的信号端上。

本实施例中提供了一种基于眼球追踪实现眼球控制智能终端的设备及方法，该方法利用现有人们普遍使用的智能终端，将智能终端内置的无线数据传输模块与穿戴设备相连，实现穿戴设备与智能终端的双向数据连接，该数据连接包括智能终端屏幕显示信号输出连接和控制信号数据连接，并通过穿戴设备上的眼球动作识别，实现眼球动作控制智能终端，以优化智能终端控制的便捷性和获取智能终端上信息的便捷性。

以上方法实现发明目的所需要的硬件简单，同时将眼球动作识别部件设置在穿戴设备上，在眼球动作时，眼球相对于识别点的角速度大、距离近，利于眼球动作的识别精度，便于减少采用此方法实现智能终端控制和信息采集时发生误操作的可能性。

本发明提供方法中，智能终端屏幕可以是一种广义的屏幕，该屏幕可以是打开点亮的屏幕，也可以是一种隐性的屏幕，可以是实体显示屏，可以是虚拟显示屏，如投影屏幕。对于隐性的屏幕，智能终端不打开屏幕，即在屏幕不点亮的情况下，穿戴设备通过无线通讯获取智能终端的屏幕显示数据，直接通过数据连接进行操控，即智能终端屏幕在本方法的作用过程中不点亮甚至可以在智能终端上不设置屏幕，这样，可大大提高现有智能终端的续航能力；本方法中，通过无线传输数据的方式即可进行智能终端控制，这样，只要智能终端能与穿戴设备取得无线数据连接，无论智能终端是否随身携带，均可完成智能终端控制和信息读取。

以上设备在用于实现发明目的时，无线通讯模块用于与智能终端进行通讯，显示屏用于同步智能终端显示信号输出，处理模块用于信息和控制信号处理，供电模块用于用电模块的供电。智能终端为现有广泛使用的电子设备，这样，实现眼球进行智能终端控制时，本发明中所需要的穿戴设备上的处理模块只需要完成驱动无线通讯、显示屏及部分操控，不需要进行现有智能终端一般均具有的其他功能模块或程序运行，如手机的2G/3G/4G/5G/GPS无线通信功能运行，其功能、性能、成本远远低于智能终端所使用的CPU和其他功能模块，比市场现有的穿戴设备相比成本更低和开发实现更简单。

作为本领域的技术人员，可以轻易的得出以上智能终端可以是智能手机、平板电脑、笔记本电脑、智能电视等智能终端，以上穿戴设备可以是眼镜、面罩、头盔、手表甚至是饰件。

实施例2：

本实施例在实施例1的基础上作进一步限定，如图1至图6所示，其中，图5为一个屏幕显示，其中，所示箭头为光标，图片下方为并列的三个功能键图标，其余的6个图标为校准点图标；图6为一个屏幕显示，其中，所示箭头为光标，图片下方为并列的三个功能键图标，虚线表示光标轨迹。

在眼球动作用于穿戴设备屏幕时，为提高眼球动作追踪识别的精度，利于眼球控制智能终端操作的准确性，所述步骤C中还包括用于眼球状态捕捉校准的眼球追踪校准步骤。

作为一种易于实现且校准效果直观的校准步骤实现方案，所述眼球追踪校准步骤为在穿戴设备屏幕上的不同位置显示多个校准点，所述校准点以不同的形状、颜色或状态显示，当操作者的眼球直视某个点超过第一时间阀值t后，对应的校准点的形状、颜色或状态发生改变。如图5所示，在本实施例中，所述校准点沿着穿戴设备显示屏的边沿分布，校准点分别以不同颜色显示以引导使用者完成各个点的位置校准。

以上校准点的来源可来源于智能终端的处理器或者穿戴设备的处理模块，本实施例中以上校准点由穿戴设备的处理模块输出，以实现眼球动作作用于穿戴设备，穿戴设备再根据以上眼球动作向智能终端输出数字控制信号，利于提高智能终端控制精度。

为便于实现穿戴设备上屏幕的多点操控校准，当每个校准点的形状、颜色或状态发生改变后，完成眼球追踪校准。

为便于实现穿戴设备上屏幕的全屏幕操控校准和提高校准效率，穿戴设备屏幕的边缘和中央均分布有校准点，且所述第一时间阀值t不大于1.5秒。

本实施例中，进一步的，以上校准步骤可在穿戴设备单次运行的起初运行一次或者在整个周期内间断运行。

为匹配现有智能终端中广泛内嵌的Wi-Fi通讯模块或蓝牙通讯模块，所述无线数据连接为Wi-Fi数据连接或蓝牙数据连接。

为便于使用者判定穿戴设备或智能终端上根据眼球动作响应的受控位置区域，在步骤C中，所述穿戴设备的屏幕上还显示有与眼球动作对应的光标；所述光标根据眼球直视点的位置改变而在穿戴设备的屏幕上移动，当光标在某个位置停留时间超过第二时间阀值t1后，光标完成单击操作。在图6所示，作为本实施例的具体一种实现方法，所述a1代表：眼球直视超过2秒，启动光标单击打开动作。a2代表：眼球自下而上移动，屏幕页面向上翻滚，反之，向相反方向翻屏；眼球自左向右移动，屏幕页面向上翻滚，反之，向相反方向翻屏；a3代表：眼球直视超过2秒，光标当前位置不动，控制功能按键。

以上光标可来源于智能终端，也可来源于穿戴设备，本实施例中，以上光标来源于穿戴设备的处理模块，根据使用者的操作习惯，所述第二时间阀值t1为可调变量。

所述无线通讯模块为Wi-Fi通讯模块或蓝牙通讯模块。

作为一种具有电能自补给和具有较长续航能力的穿戴设备供电方案，所述供电模块包括太阳能电池板和蓄电池，所述太阳能电池板和蓄电池电连接。本实施例中，所述穿戴设备为眼镜，所述眼镜的框架部分的表面为太阳能电池板的载体。

作为一种本发明的具体功能实现方式，穿戴设备在启动以后，首先打开无线连接功能，搜索无线信号并进行连接，在连接成功后，与智能终端同步，将智能终端的屏幕显示信息显示在穿戴设备的显示屏上，此时判定穿戴设备是否为近期首次使用，若是，进行屏幕校准，若不是，跳过屏幕校准，在屏幕校准完成后，使用者便可操作智能终端。

在操作智能终端的过程中，首先穿戴设备实现眼球追踪，判定眼球是否移动，若眼球移动，穿戴设备和智能终端同步显示或按照眼球移动方向滚动屏幕，在眼球停止后，判定眼球停留在某一位置的时间是否超过第二时间阀值t1，若超过，判定当前屏幕显示位置是否有应用程序或功能键，若有，进行相应功能操作。同时在以上过程中，眼球不移动、判定眼球停留在某一位置的时间没有超过第二时间阀值t1、当前屏幕显示位置没有应用程序或功能键时，返回到眼球追踪，在眼球未停止运动时，返回到穿戴设备和智能终端同步显示或按照眼球移动方向滚动屏幕步骤。

以上内容是结合具体的优选实施方式对本发明作的进一步详细说明，不能认定本发明的具体实施方式只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的技术方案下得出的其他实施方式，均应包含在本发明的保护范围内。