采用视觉反馈的定点凝视运动训练系统及相关方法

摘要

本文的实施例涉及听力辅助设备以及用于向正在接受定点凝视运动训练的受试者提供视觉反馈的相关系统和方法。在实施例中，包括一种向受试者提供前庭治疗的方法。该方法可以包括提示该受试者执行练习，该练习包括在保持固定的眼睛凝视点的同时的预定运动；使用摄像头来跟踪该受试者眼睛的凝视点；以及生成表示该固定的眼睛凝视点与被跟踪的凝视点之间的测得偏差的数据。本文中包括其他实施例。

说明书

本申请于2019年11月7日以所有国家的指定申请人美国国营公司斯塔基实验室有限公司(Starkey Laboratories,Inc.)以及所有国家的指定发明人美国公民David AlanFabry、美国公民Achintya Kumar Bhowmik、美国公民Justin R.Burwinkel、加拿大公民Jeffery Lee Crukley和以色列公民Amit Shahar的名义提交为PCT国际申请，并要求于2018年11月7日提交的美国临时专利申请号62/756,886的优先权，该临时申请的内容通过援引以其全文并入本文。

技术领域

本文的实施例涉及听力辅助设备以及用于向正在接受定点凝视运动训练的受试者提供视觉反馈的相关系统和方法。

背景技术

每年，有成千上万的患者因头晕(dizziness)症而去看医生。虽然头晕症最常见于75岁以上的患者患病，但它可能发生在任何年龄的患者身上。头晕是一个通用术语，可以用于描述以下更具体的感觉：失稳、昏昏欲睡(脑内摇晃的感觉)、头昏、昏倒的感觉、移动的感觉、眩晕(vertigo)(旋转的感觉)、漂浮、摇摆、倾斜和转圈。头晕可能是由于内耳疾病、药物副作用、颈部功能障碍的迹象引起的，或者可能是由于比如神经或心血管问题等更严重的问题引起的。

与头晕相关的病症和症状可以包括失衡、眩晕、美尼尔氏综合征、良性阵发性位置性眩晕(BPPV)、前庭神经炎、颈部相关头晕和偏头痛。

治疗头晕、失衡、眩晕、美尼尔氏综合征、良性阵发性位置性眩晕(BPPV)、颈部相关头晕和偏头痛的一种方法是让患者进行可以包括前庭康复练习的练习。前庭康复练习是为改善平衡并减少与头晕相关的问题而设计的。除了头晕和上述相关病症，前庭康复还可以用于对中风或脑损伤或有昏倒倾向的患者进行治疗。

发明内容

本文的实施例涉及听力辅助设备以及用于向正在接受定点凝视运动训练的受试者提供视觉反馈的相关系统和方法。在实施例中，包括一种向受试者提供前庭治疗的方法。该方法可以包括提示该受试者执行练习，该练习包括在保持固定的眼睛凝视点的同时的预定运动；使用摄像头来跟踪该受试者眼睛的凝视点；以及生成表示该固定的眼睛凝视点与被跟踪的凝视点之间的测得偏差的数据。

在实施例中，包括听力辅助设备。该听力辅助设备可以包括控制电路和与该控制电路电通信的IMU。该IMU可以设置在相对于佩戴该听力辅助设备的受试者的头部的固定位置处。该听力辅助设备可以包括与该控制电路电通信的麦克风、与该控制电路电通信的用于生成声音的电声换能器、以及与该控制电路电通信的电源电路。该控制电路可以被配置为向该受试者发起执行练习的提示，该练习包括在保持固定的眼睛凝视点的同时的预定运动；以及使用从该IMU导出的数据来检测该练习的执行。

在实施例中，包括一种用于向受试者提供前庭训练的系统。该系统可以包括听力辅助设备，该听力辅助设备包括控制电路和与该控制电路电通信的IMU。该IMU可以设置在相对于佩戴该听力辅助设备的受试者的头部的固定位置处。该听力辅助设备可以进一步包括与该控制电路电通信的麦克风、与该控制电路电通信的用于生成声音的电声换能器、与该控制电路电通信的电源电路，以及与该听力辅助设备进行无线数据通信的外部视觉显示设备。该外部视觉显示设备可以包括视频显示屏和摄像头。该系统可以被配置为提示该受试者执行练习，该练习包括在保持固定的眼睛凝视点的同时的预定运动。该系统可以进一步被配置为使用来自该摄像头的数据来跟踪该受试者眼睛的凝视点，并生成表示该固定的眼睛凝视点与被跟踪的凝视点之间的测得偏差的数据。

本发明内容是对本申请的一些传授内容的综述并且并不旨在是对本发明主题的排他性或穷尽性处理。进一步细节存在于详细描述和所附权利要求中。通过阅读并理解以下详细描述并且查看形成该详细描述的一部分的附图(其中的每一者均不应被认为具有限制意义)，其他方面对于本领域普通技术人员而言将是显而易见的。本文中的范围由所附权利要求及其法律等效物来限定。

附图说明

结合以下附图(图)可以更完全地理解各方面，在附图中：

图1是耳朵解剖结构的局部截面视图。

图2是根据本文的各种实施例的听力辅助设备的示意图。

图3是根据本文的各种实施例的听力辅助设备的各种部件的示意图。

图4是根据本文的各种实施例的设置在受试者的耳朵内的听力辅助设备的示意图。

图5是根据本文的各种实施例的作为系统的一部分的数据流的示意图。

图6是根据本文的各种实施例的佩戴听力辅助设备的受试者的示意性侧视图。

图7是根据本文的各种实施例的佩戴听力辅助设备并执行定点凝视练习的受试者的示意性侧视图。

图8是根据本文的各种实施例的佩戴听力辅助设备的受试者的示意性俯视图。

图9是根据本文的各种实施例的佩戴听力辅助设备并执行定点凝视练习的受试者的示意性俯视图。

图10是根据本文的各种实施例的佩戴听力辅助设备并从外部视觉显示设备接收视觉反馈的受试者的示意图。

图11是根据本文的各种实施例的佩戴听力辅助设备的受试者的示意性前视图。

图12是外部视觉显示设备及其视觉显示器的元件的示意图。

图13是外部视觉显示设备及其视觉显示器的元件的示意图。

图14是根据本文的各种实施例的系统的示意图。

虽然实施例易于经历各种修改和替代形式，但是已经通过示例和附图的方式示出了其细节并且将对其进行详细描述。然而，应理解，本文中的范围不限于所描述的具体方面。与此相反，本发明将覆盖落入本文中的精神和范围内的修改、等效物、以及替代方案。

具体实施方式

比如前庭康复练习等练习可能对经历头晕、失衡、眩晕、美尼尔氏综合征、良性阵发性位置性眩晕(BPPV)、颈部相关头晕和偏头痛等的患者是有用的。在这样的练习期间、并且特别是在定点凝视(fixed-gaze)练习期间跟踪受试者的眼睛可以提供有用的信息。例如，此类信息可以用于向受试者提供反馈和/或指导。此类信息还可以用于将健康状态或患者及其相关趋势告知护理提供者。此类信息还可以用于识别急性前庭失代偿事件。

本文的实施例包括听力辅助设备及相关系统和方法，用于指导患者进行比如定点凝视训练练习等前庭运动训练练习。在一些实施例中，设备或系统可以在练习期间跟踪受试者的眼睛及其视线的方向。在一些实施例中，还可以提供视觉反馈以辅助受试者正确地执行练习并向他们提供关于他们保持定点凝视的程度的反馈。此外，本文的实施例可以包括在练习运动期间评估眼睛运动，比如识别显著的眼睛运动(比如眼球震颤)。应当理解，眼球震颤有多种分类。在个体中观察到的眼球震颤可以是典型的或非典型的给定情况和个体的活动。在一些实施例中，眼球震颤可以包括水平凝视眼球震颤。此外，本文的实施例可以包括以下方面：发起练习或提示受试者做练习。此外，本文的实施例可以包括用于远程护理提供者或练习指导者向多个受试者提供指导的系统。

本文使用的术语“听力辅助设备”应指可以帮助听力受损的人的设备。术语“听力辅助设备”还应指可以为听力正常的人产生优化或处理过的声音的设备。例如，本文的听力辅助设备可以包括可听戴设备(例如，可穿戴耳机、头戴式耳机、耳塞、虚拟现实耳机)、助听器(例如，助听仪器)、人工耳蜗和骨传导设备。听力辅助设备包括但不限于耳后(BTE)式、耳内(ITE)式、耳道内(ITC)式、耳道内隐形(IIC)式、耳道内接收器(RIC)式、耳内接收器(RITE)式或完全耳道内(CIC)式听力辅助设备或上述的某种组合。

现在参照图1，示出了耳朵解剖结构100的局部截面视图。耳朵解剖结构100的三个部分为外耳102、中耳104和内耳106。外耳102包括耳廓110、耳道112和鼓膜114(或耳鼓)。中耳104包括鼓室115和听骨116(锤骨、砧骨、镫骨)。内耳106包括耳蜗108、前庭117、半规管118和听神经120。“Cochlea(耳蜗)”在拉丁语中的意思是“蜗牛”；耳蜗因其独特的盘绕形状而得名。咽鼓管122与耳咽管流体连通并且有助于控制中耳内的压力，通常使其与环境气压相等。

声波进入耳道112并使鼓膜114振动。该动作移动中耳104中的听骨116(听小骨——锤骨、砧骨、镫骨)的微小链。该链中的最后一块骨头接触耳蜗108的膜窗(membranewindow)并使耳蜗108中的流体移动。然后，流体运动触发听神经120中的反应。

比如助听器和可听戴设备(例如，可穿戴耳机)等听力辅助设备可以包括比如壳体(housing)或外壳(shell)等机壳(enclosure)，其内设置有内部部件。本文的听力辅助设备的部件可以包括控制电路、数字信号处理器(DSP)、存储器(比如非易失性存储器)、电源管理电路系统、数据通信总线、一个或多个通信设备(例如，无线电、近场磁感应设备)、一个或多个天线、一个或多个麦克风、接收器/扬声器、以及各种传感器，如下文更详细地描述的。更高级的听力辅助设备可以包含远程通信设备，比如

现在参照图2，示出了根据本文的各种实施例的听力辅助设备200的示意图。听力辅助设备200可以包括听力设备壳体202。听力设备壳体202可以限定电池室210，电池可以设置在该电池室中以向设备提供电力。听力辅助设备200还可以包括与耳塞208相邻的接收器206。接收器206a包括将电脉冲转换成声音的部件，比如电声换能器、扬声器(speaker)或扩音器(loud speaker)。电缆204或连接线可以包括一个或多个电导体并提供听力设备壳体202内部的部件与接收器206内部的部件之间的电通信。

图2所示的听力辅助设备200是耳道内接收器式设备，并且因此接收器被设计为放置在耳道内。然而，应当理解，本文设想了针对听力辅助设备的不同形状因素。因此，本文的听力辅助设备可以包括但不限于耳后(BTE)式、耳内(ITE)式、耳道内(ITC)式、耳道内隐形(IIC)式、耳道内接收器(RIC)式、耳内接收器(RITE)式以及完全耳道内(CIC)式听力辅助设备。

本披露的听力辅助设备可以包含耦接到高频无线电(比如2.4GHz无线电)的天线装置。例如，无线电可以符合IEEE 802.11(例如，

现在参照图3，示出了根据各种实施例的听力辅助设备的各种部件的示意框图。出于说明的目的，图3的框图表示通用听力辅助设备。图3所示的听力辅助设备200包括电连接到设置在壳体300内的柔性母电路318(例如，柔性母板)的几个部件。电源电路304可以包括电池并可以电连接到柔性母电路318，并且向听力辅助设备200的各种部件提供电力。一个或多个麦克风306电连接到柔性母电路318，以提供麦克风306与数字信号处理器(DSP)312之间的电通信。在其他部件中，DSP 312包含或耦接到音频信号处理电路系统，该音频信号处理电路系统被配置为实现本文描述的各种功能。传感器包314可以经由柔性母电路318耦接到DSP 312。传感器包314可以包括一种或多种不同特定类型的传感器，比如下面更详细地描述的那些。一个或多个用户开关310(例如，开/关、音量、麦克风方向设置)经由柔性母电路318电耦接到DSP 312。

音频输出设备316经由柔性母电路318电连接到DSP 312。在一些实施例中，音频输出设备316包括扬声器(耦接到放大器)。在其他实施例中，音频输出设备316包括耦接到外部接收器320的放大器，该外部接收器被适配成定位在佩戴者的耳朵内。外部接收器320可以包括电声换能器、扬声器或扩音器。听力辅助设备200可以包含通信设备308，该通信设备耦接到柔性母电路318并且经由柔性母电路318直接或间接耦接到天线302。通信设备308可以是

在各种实施例中，听力辅助设备200还可以包括控制电路322和存储器存储设备324。控制电路322可以与设备的其他部件电通信。控制电路322可以执行各种操作，比如本文描述的那些操作。控制电路322可以包括各种部件，包括但不限于微处理器、微控制器、FPGA(现场可编程门阵列)处理设备、ASIC(专用集成电路)等。存储器存储设备324可以包括易失性存储器和非易失性存储器二者。存储器存储设备324可以包括ROM、RAM、闪存、EEPROM、SSD设备、NAND芯片等。存储器存储设备324可以用于存储来自如本文所述的传感器的数据和/或使用来自如本文所述的传感器的数据生成的处理后的数据，包括但不限于关于练习方案的信息、练习方案的执行、关于练习的视觉反馈等。

如关于图2提到的，图2所示的听力辅助设备200是耳道内接收器式设备，并且因此接收器被设计为放置在耳道内。现在参照图4，示出了根据本文的各种实施例的设置在受试者的耳朵内的听力辅助设备的示意图。在该视图中，接收器206和耳塞208都在耳道112内，但不直接接触鼓膜114。在该视图中，听力设备壳体大部分被遮蔽在耳廓110后面，但可以看到电缆204越过耳廓110的顶部并向下到达耳道112的入口。

应当理解，根据本文的实施例，数据和/或信号可以在许多不同的部件之间交换。现在参照图5，示出了根据本文的各种实施例的作为系统一部分的数据和/或信号流的示意图。在第一位置502处，用户(未示出)可以具有第一听力辅助设备200和第二听力辅助设备201。听力辅助设备200、201中的每一个可以包括如本文所述的传感器包，包括例如IMU。听力辅助设备200、201和其中的传感器可以设置在受试者头部的相反侧向侧面上。听力辅助设备200、201和其中的传感器可以设置在相对于受试者头部的固定位置处。听力辅助设备200、201和其中的传感器可以设置在受试者的相反耳道内。听力辅助设备200、201和其中的传感器可以设置在受试者的相反耳朵上或其中。听力辅助设备200、201和其中的传感器可以彼此间隔开至少3、4、5、6、8、10、12、14或16厘米且小于40、30、28、26、24、22、20或18厘米的距离，或间隔开落入上述任何一项之间的范围内的距离。

在各种实施例中，数据和/或信号可以在第一听力辅助设备200与第二听力辅助设备201之间直接进行交换。具有视频显示屏的外部视觉显示设备504，比如智能电话，也可以设置在第一位置502内。外部视觉显示设备504可以与第一听力辅助设备200和第二听力辅助设备201中的一个或两个和/或听力辅助设备的附件(例如，远程麦克风、遥控器、电话流化传输器等)交换数据和/或信号。外部视觉显示设备504还可以比如通过与本地网关设备(比如网络路由器506)连接的无线信号或通过与蜂窝塔508或类似通信塔连接的无线信号跨数据网络与云510交换数据。在一些实施例中，外部视觉显示设备还可以连接到数据网络以通过直接有线连接向云510提供通信。

在一些实施例中，护理提供者516(比如听力学家、理疗师、医师或不同类型的临床医生、专家、或护理提供者、或体能教练)可以通过比如由云510表示的数据通信网络从在远离第二位置512的第一位置502处的设备接收信息。护理提供者516可以使用计算设备514来查看接收到的信息并与其交互。接收到的信息可以包括但不限于关于受试者的练习执行的信息，包括但不限于是否进行了练习、练习执行的准确度、进行练习所花费的时间、运动范围、以及与IMU和/或加速度计数据相关的空间位置信息、与练习执行(一致性、准确度等)相关的趋势等。在一些实施例中，接收到的信息可以实时提供给护理提供者516。在一些实施例中，接收到的信息可以在受试者进行练习之后的时间点进行存储并提供给护理提供者516。

在一些实施例中，护理提供者516(比如听力学家、理疗师、医师或不同类型的临床医生、专家、或护理提供者、或体能教练)可以通过比如由云510表示的数据通信网络从第二位置512将信息远程发送到第一位置502处的设备。例如，护理提供者516可以将信息输入到计算设备514中，可以使用连接到计算设备514的摄像头和/或可以对着外部计算设备说话。所发送的信息可以包括但不限于反馈信息、指导信息、未来练习方向/方案等。在一些实施例中，来自护理提供者516的反馈信息可以实时提供给受试者。

在一些实施例中，接收到的信息可以在受试者进行练习之后的时间点或在受试者进行的下一次练习课期间进行存储并提供给受试者。

因此，本文的实施例可以包括下列操作：将反馈数据发送到远程站点处的远程系统用户、接收来自远程系统用户的反馈(比如听觉反馈)、以及将反馈呈现给受试者。将听觉反馈呈现给受试者的操作可以通过(多个)听力辅助设备来进行。在各种实施例中，将听觉反馈呈现给受试者的操作可以是通过(多个)听力辅助设备来进行的，并且听觉反馈可以被配置为向受试者呈现(比如使用下文描述的虚拟音频接口)为在空间上起源于第一预定运动的终点方向。

本文的听力辅助设备可以包括用于检测佩戴听力辅助设备的受试者的运动的传感器(比如传感器包314的一部分)。现在参照图6，示出了根据本文的各种实施例的佩戴听力辅助设备200的受试者600的示意性侧视图。例如，检测到的运动可以包括竖直平面中的向前/向后运动606、向上/向下运动608和旋转运动604。这样的传感器可以检测受试者的运动，尤其是定点凝视练习期间受试者的运动。现在参照图7，示出了根据本文的各种实施例的佩戴听力辅助设备200并执行定点凝视练习的受试者602的示意性侧视图。在该示例中，受试者602正将其视线对准固定目标702(或固定点)。作为定点凝视练习的特定运动或片段的一部分，受试者602已向后倾斜(或旋转)其头部，导致其面部的前部沿着线704指向上方。因此，在此示例中，其面部方向和视线方向相差角度θ

现在参照图8，示出了根据本文的各种实施例的佩戴听力辅助设备200、201的受试者600的示意性俯视图。检测到的运动还可以包括水平平面中的左右运动804和旋转运动802。现在参照图9，示出了根据本文的各种实施例的佩戴听力辅助设备200、201并执行定点凝视练习的受试者602的示意性俯视图。在该示例中，受试者602正将其视线对准固定目标702(或固定点)。作为定点凝视练习的特定运动或片段的一部分，受试者602已将其头部旋转到其左侧，导致其面部的前部沿着线904指向左侧。因此，在此示例中，其面部方向和视线方向相差角度θ

在一些实施例中，系统和/或其设备可以评估来自传感器和/或摄像头的数据，以便当练习包括使头部前部旋转离开固定的眼睛凝视点大于阈值量时(例如，当角度θ

根据本文的各种实施例，听力辅助设备和/或系统可以提示受试者执行练习。该练习可以包括一个或多个预定运动，同时保持固定的眼睛凝视点。听力辅助设备和/或系统可以使用摄像头、EOG(眼电图)传感器或其他设备中的一个或多个来跟踪受试者眼睛的凝视点。听力辅助设备和/或系统可以生成表示固定的眼睛凝视点与实际被跟踪的凝视点之间的测得偏差的数据(角度偏差的度数——竖直和/或水平的、偏差距离、扭转等方面的数据)。测得偏差可以用于各种目的，包括但不限于对运动/练习的准确度进行评分、向受试者提供反馈、向护理提供者或练习指导者提供反馈、随时间推移对受试者的状况进行趋势分析、在游戏中得分、为游戏提供控制输入、影响或设置练习重复的频率/时间表等。

现在参照图10，示出了根据本文的各种实施例的佩戴听力辅助设备200并从外部视觉显示设备504接收视觉反馈的受试者602的示意图。外部视觉显示设备504可以包括显示屏1006和一个或多个摄像头1008。在一些实施例中，显示屏1006可以是触摸屏。显示屏1006可以向受试者602显示多条信息，包括但不限于练习指令、关于受试者602正在进行练习的精确度的视觉反馈、受试者将其视线聚焦于其上的目标或图标、关于受试者602在整个特定一组练习中的进展的信息、完成特定一组练习的剩余时间、来自护理提供者(远程或本地)的当前反馈等。

第一摄像头1008可以被定位成背对显示屏1006并背对受试者602(在一些实施例中，摄像头也可以面向显示器，受试者在摄像头与显示屏之间——使用显示器本身作为空间参考，或者摄像头可以位于显示器的背面并跟踪显示器相对于环境中视觉对象的移动)。摄像头1008可以用于捕获受试者602的面部的一个或多个图像，并且在一些情况下，捕获受试者602的眼睛的一个或多个图像。在一些实施例中，摄像头1008可以用于捕获(一个或多个)图像，包括受试者602的面部、瞳孔、虹膜和/或巩膜的定位。此类信息可以用于计算受试者602面部和/或视线的方向。在一些实施例中，此类信息还可以用于计算眼球震颤的角度、速度和方向。共同拥有的美国公开专利申请号2018/0228404中描述了眼球震颤检测和表征的多个方面，该申请的内容通过援引并入本文。在一些实施例中，此类信息可以具体用于计算受试者602的面部和/或视线相对于摄像头1008的方向。美国公开申请号2012/0219180和2014/0002586中描述了关于这样的计算的多个方面；这些申请的内容通过援引并入本文。在一些实施例中，来自摄像头的信息还可以用于计算眼球震颤的角度、速度和方向。在一些实施例中，来自其他传感器(比如EOG传感器)的信息可以与来自摄像头的数据结合使用以更准确地计算受试者的面部、视线或本文所述的另一方面的方向。

虽然不旨在被理论束缚，但认为，如果摄像头1008被定位成使在连接摄像头1008和受试者的瞳孔的第一条线与连接显示屏1006(或其上的特定点，比如中点或视觉焦点)和受试者的瞳孔的第二条线之间形成的竖直平面中的角度(θ

在本文的各种实施例中，系统和/或设备可以被配置为通过评估来自摄像头、IMU和另一种类型的传感器中的至少一个的数据来检测练习的执行或其运动。在一些实施例中，可以检测受试者的多个方面以监测关注的问题。例如，在某些情况下，瞳孔可能会在晕厥或另一种类型的意识丧失事件之前扩张。在一些实施例中，如果检测到比如瞳孔扩张或眼球震颤等警告信号，则系统可以提示受试者停止执行练习。在一些实施例中，在首次检测(使用加速度计数据、摄像头数据和/或另一种类型的传感器数据)到练习的执行之后，可以使用摄像头数据来评估摄像头数据是否有瞳孔放大或眼球震颤的证据，并提示受试者停止执行练习。

现在参照图11，示出了根据本文的各种实施例的佩戴听力辅助设备200、201的受试者602的示意性前视图。受试者602的眼睛1102包括瞳孔1104、虹膜1106和巩膜1108(或白色部分)。识别这些及其他眼睛组成部分和面部组成部分的位置可以用于确定视线方向和/或面部指向的方向，如上所述。在一些实施例中，可以使用摄像头数据来监测瞳孔1104的大小以检测在练习期间发生的任何变化。

现在参照图12，示出了外部视觉显示设备504及其显示屏1006的元件的示意图。外部视觉显示设备504可以包括扬声器1202。外部视觉显示设备504可以使用摄像头数据来生成和/或显示目标图像、指令和/或反馈图像或元素以确定视线方向。

外部视觉显示设备504可以在显示屏1006上显示目标702(或焦点)。目标702可以采用许多不同的特定形式，包括但不限于标线、形状(多边形或非多边形)、用户可选择的图形对象等。在一些实施例中，显示设备504可以在显示屏1006上显示图形元素1220、1222。图形元素1220、1222可以在方向上相关联(在该视图中在左侧和右侧，但也可以在顶部和/或底部)。在一些实施例中，图形元素1220、1222可以在视觉上改变以用信号向受试者602发送方向信息。例如，如果练习中的下一个运动涉及向右旋转头部，则右侧的图形元素1222(从受试者的角度判断)可以闪烁、改变颜色或亮度，或以其他方式在视觉上改变以向受试者指示旋转其头部的方式。

在一些实施例中，目标702可以在墙壁上或在其他结构上，并且可以使用设备一侧的摄像头监测目标，而设备另一侧的摄像头可以用于监测受试者的眼睛。

在一些实施例中，外部视觉显示设备504可以显示方向图标1208，比如指示患者应该移动他们的头部的方向的箭头。方向图标可以作为镜像提供，以便可以直接遵循箭头以引起患者头部的适当运动(例如，如果患者当前需要向右旋转他们的头部以遵循所确定的练习运动，则从背对受试者的外部视觉显示设备的角度判断，外部视觉显示设备504上的箭头可能指向屏幕的左侧)。

在各种实施例中，外部视觉显示设备504可以显示文本指令1210，该文本指令指导受试者执行所确定的练习运动，比如“转动头部”或“向右转动头部90°”。

在一些实施例中，外部视觉显示设备504可以显示一个或多个书写词，目的是为了让用户在即使运动(比如头部移动和/或显示屏移动)的情况下也能阅读这些词语。在此情况下，用户的目标是提高用户移动显示器和/或他们的头部同时仍能阅读词语的速度。在一些实施例中，系统可以呈现词语，然后监测来自用户的口头响应(比如用户大声说出这个词语)，识别用户说过什么词语，然后针对显示的词语的准确度进行评分从而确定用户是否能够以给定的焦点移动速度(无论是由于头部移动还是显示屏移动)阅读文本。识别口述词可以通过多种方式来执行。在一些实施例中，可以利用语音识别API来识别口述词。在一些实施例中，可以使用隐马尔可夫模型(Hidden Markov Model)来识别口述词。在一些实施例中，可以使用动态时间弯曲方法来识别口述词。在一些实施例中，可以使用神经网络来识别口述词。练习期间头部运动的速度可以以多种方式测量，比如使用如本文所述的运动传感器、IMU或加速度计。如果对于给定的速度或速度范围实现阈值量的准确度，则系统可以提示用户尝试提高速度。相反，如果对于给定的速度或速度范围没有实现阈值量的准确度，则系统可以提示用户尝试放慢速度。

可以在外部视觉显示设备504上和/或经由听力辅助设备200在听觉上显示关于练习或其运动的各种其他数据。例如，可以在外部视觉显示设备504上显示关于练习的完成状态1212的信息。这样的完成状态1212信息可以以练习课的当前完成百分比、到目前为止练习课经过的时间、练习课的剩余时间等形式显示。

还可以在外部视觉显示设备504上显示关于患者的练习执行的准确度1214的信息。在一些实施例中，可以显示患者的练习执行的准确度1214并将其反映为计算的评分。可以使用许多不同的用于计算评分的技术。举例来说，在定点凝视练习的上下文中，可以基于在练习期间其视线与固定焦点的偏差来计算评分。如果受试者的视线的偏差小于阈值量，比如小于5％，则其可以获得该运动的全部可能分数(point)。如果练习包含十个独特的运动(仅作为一个示例)并且可能的总分是100，那么执行运动的9/10且偏差小于5％可以得到90/100的评分。作为另一个示例，可以使用练习中所有运动的平均偏差来计算评分。例如，如果练习中所有运动期间的平均偏差为5％，则可以确定评分为95/100。许多不同的评分方法可以用于本文的实施例。在外部视觉显示设备504上示出的患者的练习执行的评分1214可以反映在当前练习课期间迄今为止所进行的每个运动的准确度评分的平均值。在各种实施例中，在外部视觉显示设备504上示出的患者的练习执行的准确度1214可以基于当前的准确度在视觉上进行改变。例如，90以上的当前评分或平均评分可以显示为蓝色或绿色，而低于50的评分可以显示为红色。本文设想了许多视觉显示选项。

在本文的各种实施例中，系统和/或设备可以被配置为使用测得偏差或评分来计算趋势(比如基于测得偏差或练习执行准确度的其他决定因素的那些)。例如，系统可以计算最近完成的练习课的练习执行准确度的平均偏差或其他决定因素，并将其与前几天的偏差、评分或结果进行比较。在一些实施例中，可以基于前几天的偏差、评分或结果或相对于之前的执行的其他统计数据将最近完成的练习的信息与统计计算的移动平均值或乘积(比如标准偏差)进行比较。在一些实施例中，可以将趋势报告给远程护理提供者或指导者。在一些实施例中，如果趋势指示受试者的状况恶化或下降超过阈值，则可以向远程护理提供者、指导者或指定的紧急联系人发出和/或发送警告通知。在一些实施例中，在幅度和/或时间长度(例如，超阈值执行持续的时间段内)方面超过阈值的练习执行准确度的恶化可以被系统和/或设备解释为前庭失代偿事件或过程的标记。在一些实施例中，系统和/或设备在确定是否在发生失代偿事件或过程时还可以考虑生理标记、眼睛运动、健康传感器数据等。

在一些实施例中，可以基于受试者的练习执行和/或其执行的准确度向受试者授予激励。在本文的一些实施例中，系统和/或设备可以被配置为通过评估来自摄像头和IMU中的至少一个的数据来检测练习的执行，并且如果满足练习执行的阈值，则向受试者授予电子激励。奖励可以是真实的或虚拟的(电子积分、货币等)。在一些实施例中，本文的系统和/或设备可以被配置为如果固定的眼睛凝视点与被跟踪的凝视点之间的测得偏差超过阈值量，则向受试者授予电子激励。

在一些实施例中，练习可以变成游戏，其中，游戏的控制元素/输入可以与在执行练习时感测到的受试者的运动/动作相关联，这些练习包括但不限于头部的运动或旋转、眼睛的方向性凝视等。控制元素可以包括但不限于虚拟按钮按压/输入、方向性输入等。例如，在本文的各种实施例中，可以玩目标型游戏(例如，向板投掷飞镖、向目标射箭等)，其中，将定点凝视练习的元素用作游戏输入控制。在特定示例中，如果练习涉及在保持定点凝视的同时旋转头部，则当系统或设备感测到受试者在特定运动所需的方向上将其头部旋转或倾斜至少预定量时，可以触发投掷或以其他方式射击游戏中的物体，并且当触发投掷或以其他方式射击物体时，游戏中物体在目标板上的着陆点是基于受试者视线的方向的。

现在参照图13，示出了根据本文的各种实施例的外部视觉显示设备504及其显示屏1006的元件的示意图。外部视觉显示设备504可以使用摄像头数据来生成和/或显示目标图像、指令和/或反馈图像或元素以确定视线方向和/或检测眼球震颤。可以显示目标图像1302。目标图像1302可以包括对应于其中心附近的更多点1304的区域和对应于远离目标图像1302中心的更少点1306的区域。在一些实施例中，可以使用来自本文描述的各种传感器(包括但不限于IMU或加速度计)的数据来检测与练习的特定运动相关联的受试者头部的旋转或运动。同时，可以如本文别处所述跟踪受试者视线的方向。当系统或设备感测到受试者至少已将其头部旋转或倾斜与受试者将要进行的特定运动一致的预定阈值量时，则可以将受试者当前视线的方向与目标板上的特定点进行匹配，并且可以采取各种动作，比如将点分配给用户和/或在目标图像1302上在受试者运动或旋转触发了游戏中的动作时与受试者的视线所指向的位置相匹配的点上视觉上叠加标记或物体。本文设想了许多不同的游戏玩法选项，包括通过练习的执行的离散元素来触发游戏控制动作。

在本文的各种实施例中，包括用于远程护理提供者或练习指导者向多个受试者提供方向或指导的系统。在一些实施例中，远程护理提供者可以从其远程位置向受试者提供执行练习或其运动的提示。这样的提示可以实时提供或可以被延迟，使得提示在第一时间发起并在比第一时间晚几分钟、几小时或几天的第二时间发送给(多个)受试者。在一些实施例中，远程位置处的指导者或护理提供者同时提示多个受试者执行练习。

现在参照图14，示出了根据本文的各种实施例的系统1400的示意图。系统1400可以包括远程位置1412处的指导者(或护理提供者，比如听力学家、物理治疗师、医师或不同类型的临床医生、专家、或护理提供者、或体能教练)1416。指导者1416可以使用计算设备514(或能够接收输入的其他设备)来输入信息，包括关于练习或其离散运动的提示、指引和/或指导。这些输入可以被处理，然后通过数据通信网络(比如由云510表示的网络)传送(以各种形式)。然后可以将提示、指引和/或指导传送到受试者602所在的多个位置1402。受试者602可以经由听力辅助设备200和/或外部视觉显示设备504从指导者1416接收信息。在一些实施例中，指导者1416可以使用计算设备514来查看受试者602并与其交互。来自位置1402的信息可以被传输给指导者，该信息包括但不限于关于受试者的练习执行的信息，包括但不限于是否进行了练习、练习执行的准确度、进行练习所花费的时间、运动范围、与IMU和/或加速度计数据相关的空间位置信息、与练习执行(一致性、准确度等)相关的趋势等。

本文包括各种方法。在一些实施例中，本文包括向受试者提供前庭治疗和/或练习的方法。在一些实施例中，所描述的方法步骤可以作为一系列操作由本文描述的设备来执行。

在实施例中，包括一种向受试者提供前庭治疗的方法。该方法可以包括提示该受试者执行练习，该练习包括在保持固定的眼睛凝视点的同时的预定运动。该方法可以进一步包括使用摄像头来跟踪受试者眼睛的凝视点。该方法可以进一步包括生成表示目标固定的眼睛凝视点与实际被跟踪的凝视点之间的测得偏差的数据。在一些实施例中，预定运动可以包括头部的运动和/或旋转。

在一些实施例中，本文的方法可以包括基于测得偏差向受试者提供反馈。在一些实施例中，本文的方法可以包括基于目标固定的眼睛凝视点与实际被跟踪的凝视点之间的测得偏差(和/或与其相关的统计数据)来生成评分。在一些实施例中，该方法可以包括向比如护理提供者等远程系统用户发送有关测得偏差的信息。

在一些实施例中，该方法可以包括存储测得偏差并将其与前几天执行的练习的测得偏差进行比较。在一些实施例中，本文的方法可以包括使用测得偏差和前几天执行的练习的先前测得偏差来计算趋势。在一些实施例中，本文的方法可以包括向远程护理提供者报告趋势。在一些实施例中，本文的方法可以包括如果趋势指示受试者的状况恶化，则发出警告通知。

在一些实施例中，本文的方法可以包括部分基于目标固定的眼睛凝视点与实际被跟踪的凝视点之间的测得偏差来设置用于重复练习的频率。

在一些实施例中，本文的方法可以包括使用设置在相对于受试者头部的固定位置处的IMU来跟踪他们的运动。在一些实施例中，本文的方法可以包括使用摄像头来跟踪受试者的运动。在一些实施例中，本文的方法可以包括通过反映目标固定的眼睛凝视点与实际被跟踪的凝视点之间的测得偏差的外部视频输出设备向受试者提供视觉反馈。在一些实施例中，本文的方法可以包括如果测得偏差超过阈值，则通过外部视频输出设备向受试者提供视觉反馈。在一些实施例中，本文的方法可以包括在练习期间向受试者提供听觉指导。在一些实施例中，本文的方法可以包括通过评估来自摄像头和IMU中的至少一个的数据来检测练习的执行。

在一些实施例中，本文的方法可以包括在首次检测到练习的执行之后评估外部摄像头数据是否有瞳孔放大的证据并提示受试者停止执行练习。

在一些实施例中，本文的方法可以包括当练习包括使头部前部旋转离开固定的眼睛凝视点大于阈值量时检测不规则的眼睛运动。在一些实施例中，本文的方法可以包括当练习包括使头部前部旋转离开固定的眼睛凝视点大于阈值量时检测快速的眼睛运动和/或眼球震颤。在一些实施例中，本文的方法可以包括当练习包括使头部前部旋转离开固定的眼睛凝视点大于阈值量时检测眼球震颤。在一些实施例中，本文的方法可以包括当练习包括使头部前部旋转离开固定的眼睛凝视点大于阈值量时检测水平凝视眼球震颤。

在一些实施例中，本文的方法可以包括当练习包括在保持定点凝视的同时旋转头部前部时跟踪双眼的运动并将双眼的运动相互比较。在一些实施例中，本文的方法可以包括当练习包括在保持定点凝视的同时旋转头部前部时跟踪至少一只眼睛的运动的平滑度。

在一些实施例中，本文的方法可以包括提示受试者根据护理提供者输入的预定时间表执行练习。在一些实施例中，本文的方法可以包括基于练习执行的准确度、练习执行的频率、健康状态的变化、先前练习课的其他指标等中的至少一个来改变预定时间表。在一些实施例中，本文的方法可以包括将有关时间表变化的信息和/或练习执行的准确度和练习执行的频率中的至少一个发送回护理提供者。

在一些实施例中，本文的方法可以包括根据预定时间表对提示进行排队以及在检测到受试者的久坐行为之后触发提示。在一些实施例中，本文的方法可以包括通过根据预定时间表对提示进行排队来执行提示受试者，以及如果在预定义的时间窗口期间检测到久坐行为，则在检测到受试者的久坐行为之后触发提示。在一些实施例中，本文的方法可以包括如果在受试者身上检测到眼球震颤，则提示受试者和/或远程护理提供者。

在一些实施例中，本文的方法可以包括提示受试者执行练习，包括从远程位置接收提示。在一些实施例中，本文的方法可以包括提示受试者执行练习，包括从远程位置处的指导者接收提示，可以是实时的或非实时的。在一些实施例中，本文的方法可以进一步包括通过评估来自摄像头和IMU中的至少一个的数据来检测练习的执行，并且如果满足练习执行的阈值，则向受试者授予电子激励。

根据本文的各种实施例，系统和/或其设备可以提示受试者执行练习。在一种情况下，护理提供者可以设置用于执行练习(比如每天三次)的时间表(作为输入来提供)并且该时间表可以存储在系统和/或其设备内。然后，该设备可以提示受试者执行与预定时间表一致的练习。在一些实施例中，系统和/或其设备可以存储有关正常清醒时段(例如，受试者在24小时周期期间正常清醒的时间)的信息，然后在整个清醒时段发布提示。清醒时段可以作为输入提供给设备和/或系统并且可以存储在其存储器中。然而，在一些实施例中，系统和/或设备可以通过评估来自本文描述的传感器的数据(包括但不限于加速度计数据)来计算受试者的正常清醒时段。在计算正常清醒时段之后，系统和/或其设备然后可以在整个清醒时段发布提示。

在一些实施例中，预定时间表可以由系统改变(增加频率、减小频率、省略练习课、添加练习课等)。例如，在一些实施例中，系统和/或其设备可以被配置为基于练习执行的准确度、练习执行的频率、或其他指标(例如健康相关指标)、或其他可能指示状况或状态改善或恶化的标记中的至少一个来改变预定时间表。在一些实施例中，系统和/或其设备可以在系统和/或设备检测到眼球震颤的发生的情况下改变预定时间表。

在一些实施例中，提示可以根据时间表进行排队，但在检测到一个或多个特定事件或检测到一个或多个事件的特定缺失之前并不被实际传递给受试者(经由视觉和/或听觉通知)。举例来说，在一些实施例中，系统和/或其设备可以首先根据预定时间表对提示进行排队，然后在检测到受试者的久坐行为之后触发提示的传递。在一些实施例中，系统和/或其设备可以首先根据预定时间表对提示进行排队，然后如果在预定义的时间窗口(比如正常清醒时段)内检测到久坐行为，则在检测到受试者的久坐行为后触发提示的传递。可以以各种方式检测久坐行为，包括但不限于超过阈值的加速度计数据、超过阈值的心率数据、超过阈值的血压数据等。在一些实施例中，如果在受试者身上检测到眼球震颤，则可以执行受试者提示。

根据各种实施例，本文中的听力辅助设备可以包括传感器包或装置，其被配置为感测各种方面，比如在实施预定的矫正或治疗操作、物理治疗或练习程序所需的每个身体动作期间佩戴者的运动。传感器包可以包括一个或多个传感器，比如惯性测量单元(IMU)、加速度计、陀螺仪、气压计、磁力计、麦克风、光学传感器、摄像头、脑电图(EEG)和眼运动传感器(例如，眼电图(EOG)传感器)中的一个或多个。在一些实施例中，传感器包可以包括在听力辅助设备外部的一个或多个附加传感器。一个或多个附加传感器可以包括IMU、加速度计、陀螺仪、气压计、磁力计、声学传感器、眼运动跟踪器、EEG或肌电势电极(myographicpotential electrode)(例如，EMG)、心率监测仪和脉搏血氧计中的一个或多个。例如，一个或多个附加传感器可以包括腕戴式或脚踝戴式传感器包，或由胸带支撑的传感器包。在一些实施例中，附加传感器可以包括摄像头，比如嵌入在比如眼镜框等设备内的摄像头。

听力辅助设备的传感器包被配置为感测佩戴者在执行预定的矫正或治疗操作、物理治疗或练习程序的每个动作时的运动。由传感器包产生的数据由听力辅助设备的处理器操作，以确定佩戴者是否成功执行了指定的动作。

根据各种实施例，传感器包可以包括IMU、加速度计(3轴、6轴或9轴)、陀螺仪、气压计、磁力计、眼运动传感器、压力传感器、声学传感器、心率传感器、电信号传感器(比如EEG、EMG或ECG传感器)、温度传感器、血压传感器、氧饱和度传感器、光学传感器等中的一个或多个。如本文所使用的，术语“惯性测量单元”或“IMU”应指可以生成与身体的特定力和/或角速率相关的信号的电子设备。本文中的IMU可以包括用于检测线性加速度的加速度计(3轴、6轴或9轴)和用于检测旋转速率的陀螺仪中的一个或多个。在一些实施例中，IMU还可以包括用于检测磁场的磁力计。眼运动传感器可以是例如眼电(EOG)传感器，比如共同拥有的美国专利号9,167,356中披露的EOG传感器，该专利通过援引并入本文。压力传感器可以是例如基于MEMS的压力传感器、压阻式压力传感器、屈曲传感器、应变传感器、膜片式传感器等。温度传感器可以是例如热敏电阻(热敏电阻器)、电阻温度检测器、热电偶、基于半导体的传感器、红外传感器等。血压传感器可以是例如压力传感器。心率传感器可以是例如电信号传感器、声学传感器、压力传感器、红外传感器、光学传感器等。氧饱和度传感器可以是例如光学传感器、红外传感器等。电信号传感器可以包括两个或更多个电极，并且可以包括用于感测和记录电信号(包括感测的电势及其幅度(根据欧姆定律，其中，V＝IR))以及测量来自施加的电势的阻抗的电路系统。

传感器包可以包括在听力辅助设备外部的一个或多个传感器。除了上文讨论的外部传感器之外，传感器包可以包括感测多个身体部位(例如，手臂、腿、躯干)的运动的身体传感器(比如上面列出的那些)的网络。

在一些实施例中，除了如本文在别处描述的视觉反馈之外，虚拟音频接口还可以用于向受试者提供听觉反馈。虚拟音频接口可以被配置为合成指导佩戴者执行预定的矫正或治疗操作、物理治疗或练习程序的特定肢体运动的三维(3-D)音频。

根据一些实施例，虚拟音频接口可以生成音频线索以用于指导佩戴者运动，这些音频线索包括从用作目标的虚拟空间位置发出的空间化3-D虚拟声音。佩戴者可以在由一系列虚拟声音5目标指示的方向和/或范围内执行一系列身体运动。在虚拟空间位置处生成的声音可以是任何宽带声音，比如复杂的音调、突发噪声、人类语音、音乐等，或者这些声音与其他类型声音的组合。在各种实施例中，虚拟音频接口被配置为单独地或与空间化的3-D虚拟声音结合生成双耳或单耳声音。双耳和单耳声音可以是上面列出的那些声音中的任何一种，包括单频音调。

在其他实施例中，虚拟音频接口被配置为生成人类语音，该人类语音指导佩戴者执行预定的矫正或治疗操作、物理治疗或练习程序的特定肢体运动。语音可以是合成的语音，也可以是真实语音的先期录音。例如，在采用单个听力辅助设备(用于一只耳朵)的实施例中，虚拟音频接口生成语音形式的单耳声音，该声音可以伴随其他声音，比如单频或多频音调、突发噪声或音乐。在采用两个听力辅助设备(每只耳朵一个设备)的实施例中，虚拟音频接口可以生成语音形式的单耳或双耳声音，该声音可以伴随其他声音，比如单频或多频音调、突发噪声或音乐。虚拟音频接口可以显示(回放)口头指令，以指导佩戴者进行预定的矫正或治疗操作、物理治疗或练习程序的特定肢体运动。虚拟音频接口的进一步方面在标题为“包含用于治疗指导的虚拟音频接口的听力辅助设备(Hearing Assistance DeviceIncorporating Virtual Audio Interface for Therapy Guidance)”、共同拥有的美国专利申请号15/589,298中进行描述，该申请的内容通过援引以其全文并入本文。

根据本文的各种实施例，听力辅助设备可以被配置为根据预定的矫正或治疗操作、物理治疗或练习程序，指导听力辅助设备的佩戴者进行规定的一系列身体运动或动作。操作、物理治疗或练习程序涉及规定的一系列身体运动或动作，这些运动或动作可以由听力辅助设备的佩戴者实施，以尝试纠正或治疗生理障碍或执行身体健康程序。练习(或本文的程序或操作)可以包括但不限于习惯练习、视线稳定练习和平衡训练练习。在一些实施例中，练习具体地为定点凝视练习。练习可以包括一系列动作，包括以下动作中的一个或多个：将他们的头部在指定方向上转动指定量、将他们的头部在指定方向上移动指定量、采取不同的姿势等。在各种实施例中，这些动作中的任何一个都可以在受试者试图将其视线固定在静止点或物体上的同时由受试者执行。视线稳定练习可以用于改善对眼睛运动的控制，因此在头部运动期间视力可以是清晰的。这些练习适用于因为其视觉世界似乎在弹跳或跳跃(比如在阅读或尝试识别环境中的物体时，尤其是在四处移动时)而报告看不清楚的问题的患者。

本文的指导和/或反馈可以包括听觉指导、视觉指导或听觉和视觉指导。音频指导可以包括以下不同声音中的任何一种或其组合，比如音调、突发噪声、人类语音、动物/自然声音、合成声音和音乐，以及其他声音。

例如，虚拟音频接口可以显示指示佩戴者采取特定位置的口述词，比如躺下、站立或坐起。可以显示要求佩戴者以特定方式移动特定身体部位的口头指令。例如，可以指示佩戴者将他或她的头部向右转大约45°(例如，“转动头部使鼻子指向右侧45°”)。可以在相对于佩戴者的当前头部位置的指定位置处生成合成的3-D虚拟音频目标。作为响应，佩戴者在音频目标所指示的指定方向上移动他或她的头部。

在一些实施例中，练习运动可以包括在保持定点凝视的同时头部的旋转或运动。例如，可以遵循表1中的步骤。

表1

这些练习可以每天重复多组，或者以其他方式如由护理提供者指定的进行重复。

应当注意的是，如在本说明书和所附权利要求中所使用的，除非内容另外明确指明，否则单数形式“一个(a)”、“一个(an)”以及“该(the)”均包括复数指示物。还应注意，术语“或者”总体上所使用的意义包括“和/或”，除非内容另外明确指明。

还应当注意的是，如在本说明书和所附权利要求中所使用的，短语“被配置”描述的是被构造或配置以便执行特定任务或采用特定配置的系统、装置或其他结构。短语“被配置”可以与其他类似短语比如“被布置且配置”、“被构造且布置”、“被构造”、“被制造且布置”等可互换地使用。

本说明书中的所有公开案和专利申请指示本发明所涉及的领域中的普通技术人员的水平。所有公开案和专利申请通过援引以其全文并入本文，如同每个单独的公开案或专利申请被明确且单独地通过援引指明。

本文中所描述的实施例不旨在是排他性的或将本发明限制为以下详细说明中所披露的精确形式。而是，这些实施例被选择和描述成使得本领域技术人员可以了解和明白这些原理和实践。因此，已经参考各个特定和优选的实施例和技术描述了各方面。然而，应理解的是，在保持在本文的精神和范围之内的同时可以进行许多变化和修改。