一种用于儿童弱视康复的虚拟现实射击游戏治疗系统

摘要

本发明提供一种用于儿童弱视康复的虚拟现实射击游戏治疗系统，包括：射击游戏关卡模块、眼动追踪模块、玩家模块、数据库模块；所述射击游戏关卡模块用于实现如下功能：训练参数的显示与选项的设定、子弹的生成与相关计算、射击目标对象的生成、游戏场景的生成和游戏角色的显示；所述眼动追踪模块用于追踪患者在游戏训练过程中的眼动数据，并进行记录；所述玩家模块用于处理患者玩家、其他相关用户的输入交互操作；所述数据库模块用于负责记录与写出训练数据。本发明采用虚拟现实射击游戏的方式，形成一种人性化、高依从的儿童弱视康复训练系统，可以提升儿童的训练动机，进而提升医疗康复依从度。

说明书

技术领域

本发明涉及儿童视功能训练与弱视康复，尤其是涉及一种用于儿童弱视康复的虚拟现实射击游戏治疗系统。

背景技术

1、双眼分视

弱视是一种视觉信息处理障碍的疾病，也是儿童视觉发育的敏感期常见的眼科疾病，是儿童单眼视力丧失的最常见原因，导致无法判断深度、位置等立体空间信息。

双眼分视指的是通过对媒介的运用，独立地控制呈现给人的左眼和右眼的图像。在弱视康复治疗中，通过给予患者的优势眼、弱视眼以不同程度的图像刺激，形成双眼分视的效果，这种治疗方法始于2010年Xu等提出的推拉式双眼弱视训练方法[1](此处数字为引用的参考文献序号，详见背景技术最后的参考文献列表)，并由此逐步发展出了不同的双眼分视技术。

双眼分视的核心思想是，在加强患者弱视眼对图像感知的同时，对患者的优势眼进行抑制，以平衡患者双眼对视觉中枢的信号输入。

2、虚拟现实技术

虚拟现实技术是一种高端的人机接口技术。它使用计算机生成一种虚拟的立体环境，为用户构造沉浸式、交互式、多感官、以观察者为中心的虚拟环境，目标是提供一种身临其境的真实体验。用户能够沉浸在模拟世界中，通过视觉、听觉或触觉的多感官渠道进行交互[2]。

虚拟现实是近年来最具视觉认知刺激潜力的媒介。此外，虚拟现实的头戴显示器为双屏显示，可以利用这一成像原理对图像进行双眼分离的处理。

3、知觉学习

知觉学习指的是通过训练的累积，使人的知觉任务得到改变或提高的变化过程。与视觉相关的能力在儿童整体的知觉学习中占据重要位置[3]，而弱视康复包括视功能的恢复，也包括视觉与其他知觉协同能力的恢复。Chung等人的研究表明，知觉学习可以显著提高弱视患者观察物体的能力，加快视力恢复[4]。

基于游戏的治疗是一种知觉学习现象，游戏可以在认知、感知等多维度吸引弱视患者，为弱视康复过程中的强化和重复训练提供技术方法。

4、射击游戏

射击游戏是动作类游戏的一种，强调利用射击途径来完成目标。在射击游戏中，玩家需要持续监控环境中分布广泛、不可预测的事件，对事件作出快速、准确的响应。据Cohen等人的研究，需要精确快速的视觉分析来指导准确瞄准动作的游戏，是提高视觉注意力的最有效方法[5]。此外，射击游戏中包含了相对位置判断、深度感知、遮挡识别等多项视觉任务，可以有效地帮助儿童患者训练视觉感知能力。

遵循心流理论的游戏设计具备一定的挑战性、沉浸感，也具有良好的交互性和反馈循环，对儿童患者具有较大的吸引力，可以提高儿童患者接受治疗的意愿。

弱视是儿童视觉发育到达敏感期时常见的眼科疾病，而弱视属于无器质性眼病，患者视觉的功能缺陷可以通过科学康复手段进行重建。儿童时期，人的视觉能力的可塑性强，处于弱视康复治疗的最佳时期。目前，影响弱视康复治疗成效的因素主要有两项，一是不同患者的生理差异，二是患者对治疗方案的依从性差异。传统的眼罩遮盖疗法需要儿童在日常生活中使用贴布、眼罩等材料遮盖眼睛，可能会使儿童患者产生羞耻和逆反心理；由于遮盖材料本身的物理性质，患者在使用过程中可能会出现不适感，从而导致儿童弱视患者的治疗依从性较差；遮盖本身完全抑制了优势眼的使用，不利于训练双眼的视觉融合。

5、参考文献

[1]Xu J P,He Z J,Ooi T L.Effectively reducing sensory eye dominancewith a push-pull perceptual learningprotocol[J].CurrentBiology,2010,20(20):1864-1868.

[2]Ying-Chun L,Chwen-Liang C.The application ofvirtual realitytechnology in arttherapy:Acase of tilt brush[C]//20181st IEEE InternationalConference on Knowledge Innovation and Invention(ICKII).IEEE,2018:47-50.

[3]Trott M C,Laurel M K,Windeck S L.SenseAbilities:Understandingsensory integration[M].Communication Skill Builders,1993.

[4]Chung S T L,Li R W,Levi D M.Learning to identify near-acuityletters,either with or without flankers,results in improved letter size andspacing limits in adults with amblyopia[J].Plos one,2012,7(4):e35829.

[5]Cohen J E,Green C S,Bavelier D.Training visual attention withvideo games:Not all games are createdequal[J].Computer games andteamandindividual learning,2008:205-227.

需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

发明内容

本发明的目的在于克服上述背景技术的缺点，提供一种用于儿童弱视康复的虚拟现实射击游戏治疗系统，以解决儿童弱视患者治疗依从度不高的问题。

为实现上述目的，本发明采用以下技术方案：

一种用于儿童弱视康复的虚拟现实射击游戏治疗系统，包括：射击游戏关卡模块、眼动追踪模块、玩家模块、数据库模块；所述射击游戏关卡模块用于实现如下功能：训练参数的显示与选项的设定、子弹的生成与相关计算、射击目标对象的生成、游戏场景的生成和游戏角色的显示；所述眼动追踪模块用于追踪患者在游戏训练过程中的眼动数据，并进行记录；所述玩家模块用于处理患者玩家、其他相关用户的输入交互操作；所述数据库模块用于负责记录与写出训练数据。

在一些实施例中，还包括如下技术特征：

所述训练参数的显示与选项的设定具体为：虚拟现实设备左右眼视野的亮度、饱和度、对比度，三项具体参数依据患者自身情况进行定制化的设置。

所述子弹的生成与相关计算包括：子弹的速度与大小、子弹与目标间的碰撞检测算法。

射击目标对象的生成包括：以账号作为标识的对象三维模型、目标的相对移动速度、目标的生成位置。

所述眼动追踪模块应用硬件的眼动追踪算法记录患者的游戏训练情况。

所述玩家、其他相关用户的输入交互操作包括子弹的发出、初始化参数的设定。

所述数据库模块链接了数据库，所述训练数据包括射击分数、游戏过程中的目标生成等具体事件、玩家的交互操作日志、玩家的眼动。

还包括系统训练难度的动态调整与自适应模块，用于对子弹的速度、射击目标的生成位置依据训练情况在游戏过程中进行动态调节。

所述动态调节包括：当眼动数据可被调用时，系统将弱视患者的眼动数据与正常视力情况下的眼动数据进行对比分析，进而确认需要调整的游戏参数。

还包括游戏参数动态调节模块，用于在训练过程中，实时分析训练数据，将数据输入到数据中台，并根据分析结果动态调节游戏参数。

本发明具有如下有益效果：

本发明采用虚拟现实射击游戏的方式并融入眼动追踪等模块，形成一种人性化、高依从的儿童弱视康复训练系统，可以提升儿童的训练动机，进而提升医疗康复依从度。

此外，在一些实施例中，还具有如下有益效果：

同时，本发明的设计流程具备参考性与扩展性，为儿童康复领域的未来研究方向提供了一种新的思路。

附图说明

图1为本发明实施例中的系统架构图；

图2为本发明实施例中的系统工作流程图；

图3为本发明实施例中的系统游戏界面示意图；

图4为本发明实施例中的系统各模块间处理的流程图。

具体实施方式

以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本发明结合了医疗康复理论、虚拟现实技术、人机交互、游戏设计理论等先进技术与理论研究，提出了以患者为中心的儿童康复训练全流程游戏化设计框架，为弱视儿童患者、弱视儿童家长、主治医师提供了一种高效、协作、具备可控性与趣味性的辅助治疗手段。

在介绍本发明的具体实施方式之前，先对本发明的思路介绍如下：

本发明结合了双眼分视、虚拟现实技术、知觉学习、射击游戏设计等多种技术原理，充分利用了虚拟现实技术中双屏独立渲染与多模态刺激的优势，结合射击游戏的游戏化治疗方法，形成了一套个性化、人性化、科学化、高依从的治疗体系，为当前儿童弱视康复治疗面临的困境提供了一种全新的、高效的解决方案。

本发明综合应用了眼动追踪、多种输入交互、数据分析与训练参数自适应调节等技术方法，形成一种可用于儿童弱视康复训练的虚拟现实系统，具备扩展性与应用潜力。从设计上，针对儿童在传统康复训练过程中依从性低的问题，本发明采用一种射击游戏的训练方式以提升儿童的训练动机，提升医疗康复依从度；从技术上，本发明综合应用了眼动追踪、多种输入交互、数据分析与训练参数自适应调节等技术方法，形成一种可用于儿童弱视康复训练的虚拟现实系统，具备扩展性与应用潜力。

本发明实施例提供了一种方法，利用虚拟现实的双屏显示技术，为儿童弱视患者的弱视眼、优势眼提供不同的视觉刺激，并通过射击游戏来帮助儿童患者锻炼视觉感知，恢复视觉能力。为了营造个性化、人性化的训练环境，本发明的系统中应用了眼动追踪模块，并应用了游戏难度、参数自适应调节技术，以实时地对游戏难度进行动态调节。为了更好地追踪治疗效果，本发明的系统将每次训练的场景与用户行为写出为日志，以供后续的数据分析。此外，考虑到使用对象，本发明结合了多种输入交互与判定方法，提高系统的易用性，以避免儿童患者误触。

射击游戏设计：

在射击游戏的设计上，系统首先采用第一人称视角进行搭建，以减少儿童患者的认知负担，并降低儿童患者眩晕的风险。然后，系统对相对位置判断、深度感知、遮挡识别等多项视觉任务进行游戏化设计，并最终整合为第一人称跑酷射击游戏。游戏界面如图3所示，包括系统用户界面(系统界面11)、视觉中心区域(中央视觉区域5)与八大周边视觉区域，其中八大周边视觉区域包括左上方周边视觉区域1、上方周边视觉区域2、右上方周边视觉区域3、左方周边视觉区域4、右方周边视觉区域6、左下方周边视觉区域7、下方周边视觉区域8、右下方周边视觉区域9，在游戏中，患者玩家在场景内平缓向前移动，视线前方的不同位置会出现射击目标。不同的射击目标之间存在前后遮挡，并且相对患者玩家向后方运动。患者需要使用虚拟现实手柄105作为输入，判断移动中的射击目标，当射击目标从远处101移动到近处102时，向目标发出子弹，子弹将沿着子弹射击轨迹104移动。击中的目标越多，则患者得分越高。

人机交互技术：

系统的人机交互模块主要应用了虚拟现实手柄输入与眼动追踪。

首先，系统将虚拟现实手柄作为使用者与游戏场景交互的主要输入。考虑到儿童的认知特性和不同的操作情景，系统采取了多种输入方式相结合的方法。在射击游戏过程中，为了方便儿童患者操作，采取扳机作为输入方式。而游戏参数的设定、游戏UI(UserInterface，使用者界面)的选择等，主要由医院方进行操作，因此，系统采用旋钮按压作为输入方式。按压需要较大的力气，可以有效避免儿童患者误触，保证治疗过程有序进行。

其次，系统应用了眼动追踪与游戏难度、参数自适应调节技术，以营造个性化、动态化的训练环境。眼动追踪的数据输出到数据库，用于训练后的复盘。实时分析使用的数据为患者的实时训练表现相关数据(包括击中率等)。通过改变训练中的游戏参数、调整游戏难度，儿童患者能够始终处于最佳的心理区间，提升治疗效果。系统中，儿童患者的游戏视野被划分为九个分区，对应需要训练的中心视野区域和边缘视野区域，以总得分、命中率、射击任务完成率作为评价的三大指标。系统以十秒为一个切片单位，检测儿童患者的命中率和完成率，根据儿童患者的表现进行动态的阶段性难度调节。

数据收集技术：

系统将每次训练中的场景信息与用户行为写出为可供数据分析的日志，包括：射击目标的生成、销毁时间；子弹的运动速度、大小；左右眼对应显示屏幕的亮度、对比度、饱和度；该次训练所用的时长。同时，该次训练中患者的表现也被逐帧记录，包括：患者对射击任务目标的完成率；患者的子弹命中率，代表了射击任务的完成质量。这些数据有助于医护人员了解患者的具体情况，优化训练内容。

实施例：

本发明实施例提供一种用于儿童弱视康复的虚拟现实射击游戏治疗系统，该系统采用Pico Neo EYE(一种眼动追踪VR一体机)为应用硬件，使用Unity3D(Unity三维引擎)引擎搭建，使用C#语言进行编写，配合PicoSDK(Pico Technology Software DevelopmentKit，比克科技软件开发包)和Tobii XR SDK(拓比扩展现实软件开发包)进行开发，最终形成可以直接安装在虚拟现实设备中使用的应用产品。系统搭建上，如附图1所示，以游戏管理器为核心，分为四大处理模块：射击游戏关卡模块、眼动追踪模块、玩家模块、数据库模块。其中，射击游戏关卡模块为重点模块，负责处理的任务包括以下四部分。一，训练参数的显示与选项的设定(显示操控选项)，具体为虚拟现实设备左右眼视野的亮度、饱和度、对比度，射击子弹的速度、大小，具体参数将依据患者自身情况，由医护人员进行定制化的设置。二，射击子弹的生成与相关计算，主要为射击子弹与目标间的碰撞检测算法。三，射击目标对象的生成，包括以目标ID(Identity document，账号)作为标识的对象三维模型、目标的相对移动速度、目标的生成位置，生成位置被划分为视觉中心区域与八大周边视觉区域，每个射击目标的生成位置将从九个区域中随机抽取，以覆盖患者全方位的视觉区域。四，游戏场景的生成和游戏角色的显示，在射击游戏部分的场景设计上，系统以儿童喜爱的元素为基础进行场景构造，并考虑到不同波长的光对儿童的视功能发育作用，采取以较高饱和度的红、黄、绿、蓝为主、灰色为辅的场景用色。眼动追踪模块应用了硬件的眼动追踪算法，追踪患者在游戏训练过程中的眼动数据，并进行记录。玩家模块负责处理患者玩家、其他相关用户的输入交互操作，包括子弹的发出(射击操作)、初始化参数的设定(参数调整)等。数据库模块链接了SQL数据库(Structured Query Language server database，结构化查询语言数据库)，负责记录与写出训练数据，包括射击分数、游戏过程中的目标生成等具体事件、玩家的交互操作日志、玩家的眼动等具体行为。系统各模块间的处理流程如附图4所示，系统的游戏管理器控制射击游戏关卡模块设置操控选项，呈现游戏场景；患者在游戏场景中执行游戏训练任务，SQL数据库对游戏训练任务中射击子弹、射击目标的相关的训练数据进行记录；眼动追踪模块将游戏训练任务中弱视患者的眼动数据传输到SQL数据库(SQL数据库用于记录训练数据、训练后的复盘分析)；同时，患者的实时训练情况被传输到系统的数据中台，数据中台对游戏训练任务中弱视患者的训练情况进行动态分析，依据训练情况在游戏过程中进行动态调节射击目标的生成，同时将动态调节数据传输到系统的游戏管理器(参数的动态调整由游戏管理器后台的数据中台实时生成和判断)。训练结束后，SQL数据库将对游戏训练任务中弱视患者的眼动数据等进行分析，以便医护人员对患者的后续训练进行干预和调整。

系统训练难度的动态调整与自适应表现为：射击目标的相对移动速度、生成速率(单位时间内出现的目标数量)，将依据训练情况在游戏过程中进行动态调节。当眼动数据可被调用时，系统会将弱视患者的眼动数据与正常视力情况下的眼动数据进行对比分析，进而确认需要调整的游戏参数。例如，当前患者在执行游戏训练任务的前10秒中命中率和完成率均大于90％时，系统将判定当前任务对与患者而言较为简单，可能需要适当增加难度来提升挑战性，保证患者的心流状态，具体调整为：在接下来的后10秒中，射击目标相对移速提升一定程度，单位时间内出现的目标数量提升一定数量，以此增加一个级别的难度。同理，当后续的10秒内命中率和完成率均小于75％时，系统将判定当前难度对与患者而言过高，接下来的后10秒中射击任务目标相对移速和单位时间内出现的目标数量降低一级。

系统的工作流程如附图2所示，在使用该系统进行射击游戏训练时，首先，在系统的开始界面，由医院方通过按压虚拟现实手柄的旋钮进行游戏初始训练参数的设定。然后，儿童患者按照指引佩戴好虚拟现实设备，完成系统中指定的游戏训练任务，包括：判断游戏环境中射击目标的方位及其相对位置关系；预估射出子弹的轨迹，通过扣动虚拟现实手柄的扳机键射出子弹；通过手眼协调，完成射击任务。在训练过程中，系统会通过眼动追踪追踪训练数据(写出训练日志、分析训练数据)，将数据输入到数据中台；同时在数据中台实时分析训练数据，并根据分析结果动态调节游戏参数(游戏难度调整)。在儿童患者训练的过程中，可以通过投屏设备将虚拟现实显示器的画面投射到屏幕上，方便医院方与患者的家长实时观察训练情况。

本发明实施例提供的虚拟现实射击游戏治疗系统与普通的虚拟现实射击游戏相比有以下区别：

1、该系统不仅仅是射击游戏，是一套包含游戏、人机交互、医疗数据收集分析的个性化治疗系统。

2、该系统中游戏的场景可以针对弱视患者进行特殊设计。

3、该系统的游戏参数可以根据患者情况、游戏情况进行个性化调整。

针对系统的训练效果开展实验，采用随机分组的方式将弱视儿童患者分为对照组和观察组。对照组采用传统的弱视训练方法，观察组在对照组的基础上，采用虚拟现实训练系统进行在线动态治疗。观察比较两组的临床疗效，结果为：观察组临床治疗总有效率高于对照组；两组治疗前P100潜伏期和P100波幅比较差异均无统计学意义，观察组治疗1、3、6个月后的视力均高于对照组。实验证明，本发明系统能够有效辅助弱视儿童患者进行视功能训练与康复，提高临床治疗效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。