首页> 中国专利> 用于辅助患有导致暗点的视网膜病症的个人的视觉探索的方法

用于辅助患有导致暗点的视网膜病症的个人的视觉探索的方法

摘要

本发明涉及辅助患有导致暗点的视网膜病症的个人的视觉探索,并且更具体地说涉及一种用于辅助这样的个人对显示装置上的数字图像的视觉探索的方法S,该方法包括:-使用形状识别软件识别S10该数字图像的对象区ZO中包含的至少一个对象,-确定S30该图像中与查看该图像的该用户的视野内的该暗点的位置对应的盲区Z1,-如果检测到该盲区和该对象区彼此靠近,向该图像应用图像处理在于为该用户突出显示S70、S90该对象区。

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-07-02

    授权

    授权

  • 2019-03-22

    专利申请权的转移 IPC(主分类):G09B21/00 登记生效日:20190305 变更前: 变更后: 申请日:20140807

    专利申请权、专利权的转移

  • 2016-06-29

    实质审查的生效 IPC(主分类):G09B21/00 申请日:20140807

    实质审查的生效

  • 2016-06-01

    公开

    公开

说明书

本发明涉及用于辅助患有表现为暗点的视网膜病变(诸如年龄相关性 黄斑变性(DMLA)、斯塔加特氏病或黄斑病变)的个人的视觉探索的方 法的领域。

本发明更具体地涉及一种用于辅助患有表现为暗点的视网膜病变的个 人对显示装置上的数字图像的视觉探索的方法。

DMLA、斯塔加特氏病或黄斑病变会引起表现为以下内容的视觉缺陷: 中心视觉的进行性破坏以及称为“暗点”的盲点的发展,该盲点会删除到 达中心凹区的信息。这种信息对于执行某些日常任务诸如阅读或更一般地 识别图像中的对象而言是必要的。能够彻底消除这种疾患的治疗的缺失迫 使个人选择往往具有视力矫正性质的辅助方法。

因此,需要提供一种促进图像的视觉探索的方法(例如像文本内导航), 该方法能够适应个人的病理学并且使用视觉神经科学原理来最好地辅助个 人,或实际上提高他们的阅读性能。

已知的解决方案被描述于文件US2012/0200595。系统由配有眼睛测 量仪的智能眼镜组成。如果用户是患有DMLA的个人,则该系统将被他的 /她的黄斑暗点遮蔽的个人的视野区考虑在内。首先,眼镜捕获场景图像并 且将其投影到验眼透镜上。在此之后,植入在这些眼镜上的眼睛测量仪使 得有可能测量投影图像上的目光的位置。用户可以激活被他的/她的暗点遮 蔽的图像区的增强。这个图像区的增强可以增加它的尺寸,或增加和转移 它的线条,或使暗点周围它的线条移位和变形。

根据这个系统,目光的位置和暗点的大小用于限定暗点附近的增强信 息。该系统因此能够适应每个个人的暗点的特征。然而,虽然这个系统提 议的图像处理将个人的视网膜病变考虑在内,但所执行的增强并未将在黄 斑暗点存在下进行阅读的基本方面考虑在内。实际上,这个系统仅对图像 区的像素起作用,以便使被暗点遮蔽的信息移位。因此,不可能优化目光 的位置、暗点的大小与文本的实体“单词”和“字母”之间的相互作用。 另外,这个系统并未提出将中心视觉缺失下的动眼神经事件考虑在内的目 光役使行为(slavingtothegaze),然而为了优化患有视网膜病变的个人 的眼球运动,这是必需的。因此,这个系统就舒适性而言以及尤其是就阅 读性能而言冒着有效性缺乏的风险。

在此背景下,本发明旨在于缓解先前通过提出一种用于辅助患有表现 为暗点的视网膜病变的个人对显示装置上的数字图像的视觉探索的方法所 提及的一个或多个缺点,该数字图像由可分割成多个区的点矩阵构成。

为此,本发明的方法实质上是使得其包括以下步骤:

-借助于形状识别软件来识别数字图像的对象区内包含的至少一个对 象,

-确定图像中与查看图像的用户的视野内的暗点的位置对应的盲区,

-在盲区和对象区附近检测的情况下,应用图像处理,以用于为用户突 出显示对象区。

该方法因此有利地使得有可能不仅使用目光的位置和暗点的大小来限 定以增强方式有待重现的信息,而且检测该图像的不同对象,以确切地识 别个人正探索或希望视觉探索的对象,并且优化这个对象的增强显示,以 便于补偿限制该对象的视觉的因素。

诸如上文使用的单词“形状”和“对象”应视为具有非常一般的意义。 人们不是单独处理几何形状,而是数字图像的任何类型的全局、局部或半 局部可提取的视觉特征。有待识别的形状或图案可以具有非常多变的性质。 这些形状或图案同时可以由对象、面、字线、单词、字母等组成。

根据该方法的具体特征,该方法另外包括以下步骤:

-根据数字图像上盲区的定位标准来确定包括至少一个对象区的感兴 趣区,该盲区受指示装置的役使可定位在显示装置上,

-在显示装置上显示允许查看所确定的感兴趣区的标记,并且

突出显示对象区在于通过根据至少一个预先确定的处理来修改该对象 区并且在视区内重现该对象区来增强所确定的感兴趣区。

该方法因此有利地使得有可能视觉告知个人他/她可以增强通过对象 的自动标记识别的对象。

根据该方法的另一个具体特征,确定感兴趣区或将盲区定位在数字图 像上所依据的标准选自:

-感兴趣区被盲区重叠的标准,以及

-感兴趣区被针对每个个人确定的优先视网膜位点区重叠的标准,这个 优先视网膜位点区在显示装置上的定位与盲区在这同一装置上的定位相 关。

根据先前的具体特征,所述重叠标准在于确定:

-盲区或优先视网膜位点区的特定点在感兴趣区上的定位,或

-感兴趣区被盲区或优先视网膜位点区重叠的更大区域。

根据该方法的另一个具体特征,在感兴趣区位于显示装置的边缘附近, 这样使得视区根据所述预先确定的处理仅被部分地重现在显示装置时,感 兴趣区的增强另外在于使视区移位,其方式为使得该视区被完全重现在显 示装置上并且展现出与根据所述预先确定的处理仅被部分地重现在显示装 置上的视区实质上最大的重叠。

根据该方法的另一个具体特征,突出显示对象区由个人通过致动致动 器并且任选地使该致动器保持致动来控制,并且该方法另外包括在增强之 前返回数字图像的步骤,该返回由个人分别通过致动致动器并且任选地释 放该致动器来控制。

根据这个具体特征的方法因此有利地允许个人控制增强的持续时间。

根据该方法的另一个具体特征,盲区和视区中的至少一个区包括显示 装置上的可视标记。

根据这个具体特征的方法因此有利地使得有可能帮助个人了解他的/ 她的暗点的范围,以便于允许他/她优化他们的眼球运动。另外,在该方法 进一步是一种用于辅助显示装置上文本的阅读的方法的情况下,根据这个 具体特征的该方法另外有利地使得有可能帮助个人在竖直方向稳定在他/ 她在阅读过程中所处的行上。

根据该方法的第一实施例,该形状识别软件包括用于相对于背景分割 对象的算法,该算法是基于自动图像处理中所采用的图形-背景分离的原 理。

根据这个第一实施例的方法因此有利地针对对象、面或几何形状的局 部或半局部识别进行定制。

根据该方法的第一实施例的具体特征,感兴趣区的预先确定的处理由 以下内容组成:该感兴趣区的尺寸的逐步放大,以及任选地该感兴趣区在 数字图像中从其初始位置逐步转移直到该感兴趣区在显示装置上占据视区 为止,并且该方法另外包括在增强之前返回数字图像的步骤,该步骤由以 下内容组成:增强的感兴趣区的尺寸的逐步减小,以及任选地该增强的感 兴趣区的位置的逐步转移直到它返回到它增强之前的尺寸和位置为止。

根据第一实施例的这个具体特征的方法因此有利地允许个人保存感兴 趣区在数字图像中的初始位置的记忆,(尤其)以便于促进数字图像的其 余部分的后续视觉探索。增强的感兴趣区的位置的转移另外使得有可能有 利地使得视区与针对每个个人确定的优先视网膜位点区最一致。

根据该方法的第二实施例,用于辅助视觉探索的该方法是一种用于辅 助阅读的方法;数字图像包括意图被阅读的文本;形状识别软件包括字符 识别软件,从而使得有可能通过将至少一个文本部分分割成多个行区,并 且之后通过将每个行区分割成多个单词区来识别该至少一个文本部分;对 象区是单词区;视区位于盲区的外围。

根据其第二实施例的方法因此有利地使得有可能不仅使用目光的位置 和暗点的大小来限定以增强的方式有待重现的暗点附近的信息,而且检测 图像的不同单词,以便确切地识别个人希望阅读的一组单词,以便视觉告 知个人他/她可以通过该组单词的自动标记来增强这组单词,并且以便优化 这组单词的增强显示,从而补偿限制他的/她的阅读能力的因素。应另外注 意,将图像分割成多个单词区使得有可能在视区内重现完整的单词。

根据其第二实施例的具体特征,该方法另外包括在确定感兴趣区之前 的步骤,该步骤在于通过以下各项修改文本图像:重新设定该文本的大小 和/或根据字符的大小修改行距、行的长度和/或数目、显示装置的尺寸和/ 或盲区的尺寸。

该方法因此有利地使得有可能针对显示器保存有关文本的最大全局信 息,这样使得个人可以容易地获得他的/她的内容(bearings),而不需被 迫使图像永久地移位。

根据其第二实施例的另一个具体特征,所述至少一个文本部分的识别 另外包括将每个单词区分割成多个字母区。

根据其第二实施例的方法因此有利地允许更精确控制位于该感兴趣区 内的单词的修改和重现。

根据该方法的第二实施例的另一个具体特征,该感兴趣区除了所述至 少一个单词区之外还包括属于同一行区的至少两个其他单词区,该感兴趣 区的每个单词区与该感兴趣区的另一个单词区并置。

该方法因此有利地使得有可能针对他的/她的视觉跨度来定制提供给 个人的辅助。

根据该方法的第二实施例的另一个具体特征,该感兴趣区的所述至少 一个预先确定的处理由以下各项组成:

-将每个单词区分割成多个字符区,和/或

-根据盲区的尺寸来增加字符的大小,和/或

-改变字体,和/或

-将单词布置在若干行上,和/或

-拆分单词,和/或

-增加字符之间的间距,和/或

-修改对比度,和/或

-极性变换,和/或

-声音合成该感兴趣区内包含的单词。

根据其第二实施例的方法因此有利地使得有可能不同地修改该感兴趣 区中的每个单词。

根据先前具体特征的变型,将进一步增加字符的大小和/或字符之间的 间距,因为意图将这些字符重现在视区中距离盲区更远的行上。

该方法因此有利地使得有可能限制或实际上消除视觉拥挤的现象。

根据该方法的第二实施例的另一个具体特征,另外确定分别位于当前 感兴趣区的任一侧上的先前感兴趣区和/或后续感兴趣区,这些区中的至少 一个包括显示装置上的可视标记。

根据其第二实施例的方法因此有利地使得有可能防止同一组单词被多 次增强,和/或防止连续感兴趣区展现出有共同之处的单词区,或者至少使 得有可能向个人发出信号告知这些事件。另外,该方法因此可以有利地使 得有可能向个人发信号告知有待增强的下一组单词。

根据其第二实施例的另一个具体特征,该方法另外包括以下步骤:在 显示装置上,在位于包括该感兴趣区的行区的正下方的行区的左侧上显示 框架。

根据其第二实施例的方法因此有利地使得有可能在转到下一行时辅助 阅读者,这种转换当在偏心视觉下阅读时是特别困难的。

根据其第一实施例和第二实施例的具体特征,该方法包括在视区内重 现处理的感兴趣区之前或根据所述定位标准的选择确定感兴趣区之前的步 骤,该步骤在于相对于盲区将视区的周边位置确定为对应于针对每个个人 确定的优先视网膜位点区的位置。

该方法因此有利地使得有可能以针对每个个人定制的方式优化在黄斑 视觉缺失下目光役使行为的有效性。

根据先前具体特征,相对于盲区确定视区的周边位置包括以下校准步 骤:

-在显示装置上显示多个目标,

-针对每个目标,利用眼睛测量仪检测在个人注视目标时个人的暗点相 对于该目标的相对位置,并且

-将优先视网膜位点区的位置校准作为目标相对于暗点的位置的相对 位置,并且

-如果该暗点相对于该目标的位置的相对位置随着目标的变化而变化,

-根据先前检测执行的校准使显示装置上显示的形状轮廓的定位受眼 睛测量仪检测的暗点的定位役使,

-在显示装置上显示固定目标符号,

-当个人打算定位受役使的形状轮廓时,测量受役使的形状轮廓与目标 符号之间的偏移,以便于在其中包括目标符号,并且

-根据这个测量校正根据先前检测执行的校准。

根据该方法的第一实施例和第二实施例的另一个具体特征,该视区以 并置和居中的方式定位在盲区下方或上方。

根据其第一实施例和第二实施例的方法因此有利地允许个人单次注视 就识别最大数目的视觉特征诸如字符,并且因此增加他的/她的视觉跨度。 另外,根据这个其他具体特征的方法允许个人甚至是在显示视区的过程中 将他的/她的知觉广度保持完整。

根据该方法的第一实施例和第二实施例的另一个具体特征,役使盲区 的定位的指示装置选自计算机键盘、鼠标以及眼睛测量仪。

根据另一个方面,本发明涉及一种计算机程序,该计算机程序包括在 这个程序被处理器执行时用于实现如前述权利要求中任一项所述的方法的 指令。

由计算机程序(诸如上文简明阐述)提供的优点至少与上文结合根据 本发明的第一方面的该方法提及的那些相同。

本发明的其他特征和优点将清楚地体现在下文参考附图通过完全非限 制性说明给出的描述中,其中:

-图1示出了在中心视觉下和在周边视觉下随着所阅读的字符的大小 的变化而变化的最大阅读速度的演变,

-图2示出了视觉跨度(在左图上)以及视觉跨度的大小对阅读速度的 影响(在右图上),

-图3a和图3b分别示出了视觉拥挤现象以及根据本发明抑制这种现象 的模型,

-图4a、图4b、图4c和图4d示出了根据本发明的方法的第二实施例 的若干变型,

-图5示出了根据本发明的方法的第二实施例的具体特征,

-图6示出了根据本发明的方法的第二实施例的另一个具体特征,

-图7a和图7b示出了相对于盲区确定视区的周边位置的实施例,

-图8表示根据其第一实施例和第二实施例的方法的步骤的流程图,并 且

-图9a和图9b示出了根据本发明的方法在其第二实施例中的具体特 征,并且

-图10示出了根据本发明的方法的第一实施例。

在最广泛接受范围内,本发明涉及一种用于辅助患有表现为暗点的视 网膜病变的个人对显示装置D上的数字图像I的视觉探索的方法S。数字 图像I由可分割成多个区的点矩阵构成。

方法S包括以下步骤:

-借助于形状识别软件来识别S10数字图像的对象区ZO内包含的至少 一个对象,

-确定S30图像中与观察图像的用户的视野内的暗点的位置对应的盲 区Z1,

-在盲区和对象区附近检测的情况下,应用图像处理,以用于为用户突 出显示S70、S90对象区。

方法S因此允许有利地不仅使用目光的位置和暗点的大小来限定以增 强方式有待重现的信息,而且检测图像I的不同对象,以确切地识别个人 正探索或希望视觉探索的对象,并且优化这个对象的增强显示,以便补偿 限制该对象的视觉的因素。

方法S另外包括以下步骤:

-根据数字图像上盲区Z1的定位标准来确定S50包括至少一个对象区 ZO的感兴趣区Z2,

-在显示装置上显示S60允许查看所确定的感兴趣区Z2的标记MZ2。

另外,突出显示S70、S90对象区在于通过根据至少一个预先确定的 处理来修改该对象区S70并且在视区Z3内重现该对象区S90来增强所确 定的感兴趣区Z2。

以与个人目光扫过数字图像I相同的方式,盲区Z1必须能够被阅读者 自由地定位在显示装置D上并且更具体地说是数字图像I上。这通过使盲 区Z1的定位受指示装置诸如计算机键盘、鼠标或优选地眼睛测量仪役使 来执行。

该方法因此有利地使得有可能视觉告知个人他/她可以增强通过对象 的自动标记识别的对象。实际上,感兴趣区Z2的标记MZ2允许个人了解 他/她可以增强的识别对象。

无论什么区以及具体而言感兴趣区Z2的标记在于通过修改这个区的 视觉属性来强调构成该区的图形元素(或更具体地说,根据下文描述的第 二实施例为本文部分)的动作。通过举例,标记可以由该区的轮廓和/或重 叠行组成。

根据方法S的具体特征,确定感兴趣区Z2或将盲区Z1定位在数字图 像I上所依据的标准选自:

-感兴趣区Z2被盲区Z1重叠的标准,以及

-感兴趣区Z2被针对每个个人确定的优先视网膜位点区PRL重叠的标 准,这个优先视网膜位点区PRL在显示装置D上的定位与盲区Z1在这同 一装置上的定位相关。

根据先前的具体特征,所述重叠标准在于确定:

-盲区Z1或优先视网膜位点PRL区的特定点在感兴趣区Z2上的定位, 所述特定点例如是在所考虑的区的中心或右下角上,或

-感兴趣区Z2被盲区Z1或优先视网膜位点PRL区重叠的更大区域。

基于确定更大的重叠区域的重叠标准可能要求数次简单的几何计算, 这些几何计算例如是基于每个识别对象的坐标。假定这些计算处在本领域 技术人员的能力范围内。

如图9A和图9B(与该方法的第二实施例相关,但该图示出的具体特 征不限于这个实施例)中所示,可以提供的是,感兴趣区Z2位于显示装 置D的边缘附近,这样使得视区Z3根据所述预先确定的处理仅被部分地 重现在显示装置D上。之后,根据方法S的具体特征,感兴趣区Z2的增 强除了感兴趣区Z2的修改S70和重现S90之外还在于使视区Z3移位,其 方式为使得该视区被完全重现在显示装置D上。这个移位优选地被执行, 其方式为使得因此移位的视区Z3与根据所述预先确定的处理仅被部分地 重现在显示装置D上的视区Z3展现出实质上最大的重叠。这个偏好在以 下情况下格外明显:视区Z3相对于盲区Z1的位置被选择成对应于针对每 个个人例如根据下文描述的测试确定的优先视网膜位点区的位置。

根据方法S的另一个具体特征,突出显示对象区或增强所确定的感兴 趣区Z2由个人通过致动致动器来控制,并且该方法可以另外包括在增强 之前返回数字图像I的步骤,该返回也由个人通过致动致动器来控制。任 选地,致动器的致动可以由个人维持,并且任选地在增强之前返回数字图 像I的步骤通过致动器的释放控制。

根据这个具体特征的方法S因此有利地允许个人控制增强的触发和持 续时间。

根据方法S的另一个具体特征,除了感兴趣区Z2的要求标记MZ2之 外,盲区Z1和视区Z3中的至少一个区也包括显示装置上的可视标记。

该方法因此有利地使得有可能帮助个人不仅稳定在他/她希望增强的 识别对象上,而且了解他的/她的暗点的范围,以便于允许他/她优化他的/ 她的眼球运动。

根据图10中所示的其第一实施例的方法实质上是使得形状识别软件 包括用于相对于背景分割对象的算法,该算法是基于自动图像处理中所采 用的图形-背景分离的原理。

根据这个第一实施例的方法因此有利地针对对象、面或几何形状的局 部或半局部识别进行定制。

图10示出表示结合了表示个人的暗点的盲区Z1的三个人的同一张照 片的图。三人当中至少一个人的脸部已被识别为有待增强的对象。如图10 的中心处的照片中所示,根据上文描述的定位标准将盲区带到该脸部上的 个人看到了该脸部周围出现的(黑色)轮廓,这样使得他/她被告知提供给 他/她的例如以图10的右手侧图中所示的方式增强所识别的脸部的可能 性。

根据方法S的第一实施例的具体特征,感兴趣区Z2的预先确定的处 理如图10的右手侧照片所表示由感兴趣区Z2或等效地对象区ZO的尺寸 的放大组成,该感兴趣区或该对象区包括所识别的对象。另外,根据这个 实施例提出的是,这个放大是尺寸的逐步放大,直到该尺寸在显示装置D 上占据视区Z3为止。这个放大另外可以直接由个人例如经由他的/她的鼠 标的指轮来驱动。

任选地,对象区ZO在数字图像I中从其初始位置的逐步转移可以有 利地被执行,这样使得增强的对象位于视区的中心,尤其是在视区Z3相 对于盲区Z1的位置被选择成对应于优先视网膜位点PRL区的位置的情况 下。

根据其第一实施例的这个具体特征,方法S另外可以包括在增强之前 返回数字图像I的步骤,该步骤由以下内容组成:反向逐步减小增强的感 兴趣区Z2的尺寸,并且任选地反向逐步转移该感兴趣区的位置,直到该 感兴趣区返回到它在增强之前的尺寸和位置为止。

根据第一实施例的这个具体特征的方法因此有利地允许个人保存感兴 趣区在数字图像中的初始位置的记忆,(尤其)以便于促进数字图像的其 余部分的后续视觉探索。增强的感兴趣区Z2的位置的转移另外使得有可 能有利地使得视区Z3与针对每个个人确定的优先视网膜位点PRL区最一 致。

根据其第二实施例,下文参考图1至图9描述了方法S,该方法更具 体地涉及一种用于辅助显示装置上意图被患有表现为暗点的视网膜病变的 个人阅读的文本的阅读的方法。

数字图像I的文本形式部分由点矩阵构成。类似于任何点矩阵,构成 文本图像的点矩阵可分割成多个区。每个区优选地由单一片段组成。

为了使得根据本发明的方法有可能最佳地辅助阅读者,首先可能提出 在显示装置D上保存有关文本的最大全局信息,尤其使得个人可以容易地 获得他的/她的内容,而不需被迫例如借助于滚动条来使图像永久地移位。

为此,该方法包括在于修改文本图像的步骤。这个修改可以由数字图 像I的尺寸重设组成。例如,文本图像被重新设定尺寸,这样使得文本行 起始于显示装置D(上面显示文本图像)的边缘,并且在显示装置的相对 边缘之前终止,从而使得阅读者在文本图像阅读过程中不必在每行文本结 束和开始时利用相应的滚动条来使图像移位。

这种尺寸重设会自动地引起行距的修改,但还是建议后一个修改可以 独立地实施。

修改图像的这个步骤优选地通过将以下各项中的至少一个参数考虑在 内来执行:字符的大小、行的长度和/或数目、显示装置的尺寸和/或表示 显示装置上个人的暗点的所谓的盲区Z1的尺寸。例如,文本图像被重新 设定尺寸,这样使得盲区不与多于两个连续行部分重叠。

参考图8,根据本发明的方法包括以下步骤:借助于字符识别软件通 过将至少一个文本部分分割成多个行区ZL,并且之后通过将每个行区分割 成多个单词区ZM来识别S10该至少一个文本部分。识别软件诸如光学字 符识别(OCR)软件代表一种计算机方法,该计算机方法用于将印刷的或 打字的文本的图像翻译成文本文件。在执行图像的单词区分割时,检测每 个单词的坐标以便于能够被使用。

参考图8,根据本发明的方法另外包括在于确定S30盲区Z1的步骤。 这个盲区表示显示装置D上个人的暗点。优选地,这个盲区完全包含暗点。 这个区的形状可以例如针对个人的暗点的形状进行定制(通常近似是圆盘 的形状),或由默认值定义(例如作为矩形形状)。

根据其第二实施例的方法另外包括在于确定S50包括至少一个单词区 ZM的感兴趣区Z2的步骤。

根据该方法的第二实施例,定位和重叠标准诸如上文所述。因此,根 据个人采纳的策略,感兴趣区Z2中包括的单词可以例如位于盲区Z1的边 缘的下方或附近。

根据该方法的第二实施例,对于确定较大的重叠区域而言必要的数次 简单的几何计算是基于每个单词区以及任选地每个字母区的坐标的检测。 应注意到,如图4c和图4d的比较分析所示,连续行区和单词区不必并置, 例如其方式为使得所有区的总和完全涵盖文本图像,但相反可能被空白本 文区略微间隔开来。

正如根据该方法的第一实施例,根据前文描述的定位或重叠标准中的 一个确定的感兴趣区Z2经由允许查看的标记MZ2而显示S60在显示装置 上。

参考图8,根据本发明的方法另外包括在于根据至少一个预先确定的 处理来修改S70感兴趣区Z2的步骤,以及在于在位于盲区Z1的周边的视 区Z3内重现S90处理的感兴趣区Z2的步骤。修改S70和重现S90,或重 现S90单独例如由个人通过按压鼠标的按钮或键盘的按键来控制。

根据该方法的第二实施例,所述至少一个文本部分的识别S10另外包 括将每个单词区分割成字母区。该方法因此有利地允许例如通过以下方式 来更精确地控制位于感兴趣区内的单词的修改S70和重现S90:通过使有 待增强的单词组的字母转向来进行变形,或增加距离暗点中心最远的字母 的大小,这些字母的大小比距离暗点中心最近的字母的大小更为明显。在 执行图像到字母区的分割时,检测每个字母区的坐标以便于能够被使用。

根据该方法的第二实施例执行的增强有利地将在黄斑暗点存在下阅读 练习呈现出的基本方面考虑在内。实际上,这种增强并未设法使被暗点遮 蔽的信息移位(通过尺寸重设或文本图像的变形),但却识别了图像的单 词,使得有可能确切地识别个人希望阅读的单词并且优化这些单词的显示, 以便于补偿在暗点存在下限制阅读的因素。然而,在未将图像分割成单词 的情况下仍然不可获得的这些优点单独经由这个特征无法实现,该特征必 须与根据该方法的第二实施例的方法的步骤S50、S70和S90组合以便于 智能地且高效地辅助阅读者。

为了更好地了解这种情况,有必要解释视觉神经科学诸如优先视网膜 位点区(PRL)、视觉拥挤、敏锐度以及视觉跨度的某些概念。这些概念 使得有可能在知觉角度和动眼神经角度起作用。

参考图1,已确定的是,偏心视觉下的敏锐度受益于文本的字符的大 小增加时阅读速度方面的增益。然而,在高速呈现连续视觉对象或RSVP (快速序列视觉呈现)的条件下简单地增加健康个人的周边视觉(b)内的 字符的大小并不可能实现中央凹视觉(a)内获得的速度阈。图1的曲线(莱 格(Legge)等人,1985a;莱格等人,1985b)示出了随着所阅读的字符的 大小(绘制为横坐标)的变化而变化的阅读速度测量结果(绘制为纵坐标)。 图1因此示出了针对使用其正常视觉(a)的个人和使用其周边视觉(b) 的个人随着字符的大小的变化而变化的阅读性能。

参考图2,视觉跨度被定义为阅读时研究框架内的基本内容。该视觉 跨度对应于其中可以识别字母的视野(任何语言信息的最大量)的范围。 该视觉跨度使字母的数目量化,这些数目可以在不求助于上下文的情况下 基于注视来识别。图2的左侧的图像示出了视觉跨度(EV)的概念。如果 个人的目光固定在包含单词的圆圈的中心处,则这些个人的视觉跨度对应 于单词“thismust”。图2的右侧的曲线(奧里根(O'Regan)1979和奧里 根等人1983)呈现了视觉跨度的大小(作为横坐标)对阅读速度(作为纵 坐标)的影响。这个图像显示以下现象:阅读速度随着视觉跨度的大小的 增加而增加。

参考图3a,视觉拥挤是单词的邻近字母之间或单词自身之间的空间相 互作用的产物。如果有待识别的字母(或单词)具有足够大的空间间隔区, 拥挤并不会对识别起作用。相反地,在这个区内存在其他字母(或单词) 时,所讨论的字母的识别会被干扰。避免视觉拥挤现象所需的空间区(称 为间隔区)的大小与偏心率成比例地增加。图3a使得有可能证实这种情况。 当注视中间十字时,很容易识别左侧上的字母“r”。然而,不可能识别右 侧上的字母“r”。为了识别该字母,有必要注视位于字母“a”左侧上的 小十字(佩里(Pelli)和蒂尔曼(Tillman),2007)。

优先视网膜位点PRL区被定义为在暗点存在下注意力在其上展开的 视区。实际上,当中心暗点存在时,视网膜的中心无法用于识别目标,并 且个人被迫因此通过使他的/她的目光离开注意力展开区而在患病区之外 展开他的/她的注意力。优先视网膜位点区因此在暗点存在下自发地朝向中 央凹外视网膜的一个或多个视区Z3移位。在个人注视目标的任务过程中, 这些优先视网膜位点区例如借助于眼睛测量仪是可检测的且可定位的。

因此,清楚明显的是,在确定S50感兴趣区Z2之前,在于修改文本 图像的步骤使得有可能根据暗点的大小而将文本的特征设定为以下大小: 通过使他自身/她自身处于单词敏锐度阈来允许个人阅读每个单词。文本的 字符的这个大小是足够大的以允许个人在他/她具有暗点的情况下进行正 确阅读,但不能过大以避免文本上全局信息的丢失。可以根据暗点的大小 来增加文本的行距,这样使得个人在阅读时能够更好地将他的/她的暗点定 位在行上。

参考图3b,根据该方法的第二实施例的具体特征,感兴趣区Z2的所 述至少一个预先确定的处理在于将每个单词区分割成多个字符区(或多个 字母区)并且在于增加字符之间的间距,以便于使得有可能限制或实际上 避免视觉拥挤的现象。图3b通过以下内容说明了这种情况:在左侧上示出 单词,该单词的字母之间的间距是正常的,从而使得该单词在偏心视觉下 难以识别(当注视左侧上的十字时),并且在右侧上示出单词,该单词的 字母之间的间距被增加,从而使得该单词在偏心视觉下更容易地识别(当 注视右侧上的十字时)。

根据该方法的第二实施例的另一个具体特征,感兴趣区Z2除了所述 至少一个重叠单词区之外还可以包括属于同一行区的至少两个其他单词 区,感兴趣区Z2的每个单词区优选地与感兴趣区Z2的另一个单词区并置。 该方法因此有利地使得有可能将每个单词区的尺寸考虑在内,并且针对他 的/她的视觉跨度来定制提供给个人的辅助。

另外,根据该方法的第二实施例(它的具体特征上文已参考该方法的 第一实施例进行介绍)的另一个具体特征,盲区Z1和视区Z3中的至少一 个区包括显示装置上的可视标记。根据这个具体特征的该方法因此有利地 使得有可能进一步帮助个人在竖直方向稳定在他/她在阅读过程中所处的 行上。另外,如图4a至图4d中所示,盲区Z1由轮廓界定,并且这个轮 廓的存在帮助个人了解到他的/她的盲点的边界,并且允许他/她优化他的/ 她的眼球运动。

在图4a中所示的实例中,由个人借助于指示装置将盲区Z1从相对于 文本的句子的高位置带到这些个人希望增强的单词组上。感兴趣区Z2被 显示以帮助个人将他自身/她自身定位在他的/她的目标上。感兴趣区Z2的 预先确定的处理或增强根据这个实例在于增加该感兴趣区的尺寸,增加的 幅度可能例如取决于盲区Z1的尺寸。

应注意到,在图4a中,如在图4b中,盲区Z1是透明的,以便于查 看该盲区重叠的单词,而在真实情况下,被盲区重叠的单词相对于个人被 他的/她的暗点隐藏起来,并且因此是不可见的,如图4c和图4d中所示。

在图4b中所示的实例中,根据其第二实施例的方法S以与上文参考 图4a所论述的实例相同的方式实现,除了感兴趣区Z2的增强不仅由该感 兴趣区的尺寸的增加组成,而且在于单词分布,该单词分布包括视区Z3 的超过几个的行,在这种情况下是两行。

在图4c中所示的实例中,方法S以与上文参考图4b所论述的实例相 同的方式实现,除了感兴趣区Z2的增强另外在于进一步增加字符的大小 和/或字符之间的间距,因为这些字符被重现S90在视区Z3中距离盲区Z1 更远的行上。

在图4d中所示的实例中,方法S以与上文参考图4c所论述的实例相 同的方式实现,除了感兴趣区Z2包括长单词区ZM并且这个感兴趣区的 增强另外由长单词的拆分组成。

根据该方法的一个实施例,并且如图5中所示,另外确定分别位于当 前感兴趣区Z21(在步骤S50中确定)任一侧上的先前感兴趣区Z20和/ 或后续感兴趣区Z22。在图5中所示的实例中,每个区Z20、Z21和Z22 包括显示装置上可见的轮廓。

根据其第二实施例的具体特征,并且参考图6,该方法另外包括以下 步骤:在显示装置上,在位于包括感兴趣区Z2的行区的正下方的行区的 左侧上显示框架Z4。在偏心视觉下阅读文本时,换行是很大的问题。图6 示出文本左侧上的框架Z4(此处为黑色矩形)如何能够帮助定位后续行区 ZL的开头。在这个实例中,方法S使得有可能选择位于暗点下边缘下方的 单词。在个人将他的/她的暗点的边缘放在行区ZL的感兴趣区Z2上(该 暗点正好位于该感兴趣区上方)时显示黑色矩形并且保持例如显示持续几 秒,例如持续3秒。因此,当个人从一行换到另一行(右侧图像)时,感 兴趣区Z2正好沿着黑色矩形Z4。如果个人错过该行,则黑色矩形Z4与 感兴趣区Z2不在同一行上,并且个人因此察觉到他/她没有位于后续行上。

根据方法S的第一实施例和第二实施例的具体特征,旨在选择个人的 优先视网膜位点PRL区(任选地竖直方向)的测试被执行以便于在个人视 野的最佳位置上显示增强单词。

因此,根据这个实施例,方法S包括在视区Z3内重现S90处理的感 兴趣区Z2之前的步骤,该步骤在于例如通过将他的/她的暗点的位置和大 小考虑在内来相对于盲区Z1将视区Z3的周边位置确定为对应于针对每个 个人确定的优先视网膜位点区的位置。

更具体地根据这个实施例,并且参考图7a左侧上的两个图像,相对于 盲区Z1确定视区Z3的周边位置包括以下校准步骤:

-在显示装置上显示多个目标F,

-针对每个目标F,利用眼睛测量仪检测在个人注视目标时个人的暗点 S相对于该目标的相对位置,并且

-将优先视网膜位点PRL区的位置校准作为目标F相对于暗点S的位 置的相对位置。

如果针对每个目标F,暗点S相对于目标的相对位置都相同,则这个 校准是充分的。在相反情况下,必须优先考虑可能根据以下变型进行校准 的校正。

根据这个变型,并且参考图7a和图7b右侧上的图像,如果暗点S相 对于目标F的位置的相对位置随着目标的变化而变化,则相对于盲区Z1 确定视区Z3的周边位置包括以下校准步骤:

-在显示装置上显示多个目标F,

-针对每个目标F,利用眼睛测量仪检测在个人注视目标时个人的暗点 S相对于该目标的相对位置,

-将优先视网膜位点PRL区的位置校准作为目标相对于暗点的位置的 相对位置,

-根据先前检测执行的校准使显示装置上显示的形状轮廓CF的定位受 眼睛测量仪检测的暗点S的定位役使,

-在显示装置上显示固定目标符号C,

-当个人打算定位受役使的形状轮廓CF时,测量受役使的形状轮廓与 目标符号之间的偏移d,以便于在其中包括目标符号C,并且

-根据这个测量校正根据先前检测执行的校准,以便于校准优先视网膜 位点区相对于暗点的位置的相对位置。

根据旨在于选择个人的优先视网膜位点区的测试的另一种变型,个人 他自身/她自身可以手动地调节视区Z3以优化他的/她的使用的舒适性。

视区Z3或RVA(加强视区)之后被优先显示在个人的优先视网膜位 点PRL区上。

在上文针对该方法的第二实施例阐述的所有实例中,假定个人的优先 视网膜位点PRL区已根据上文描述的测试确定为是竖直的,并且位于暗点 下方,这样使得如所表示,视区Z3与盲区Z1竖直地位于同一列上并且位 于该盲区下方。

根据该方法的第二实施例的具体特征,视区Z3的中心优选地与盲区 Z1的中心对准,从而允许个人单次注视就识别最大数目的字母,并且因此 增加他的/她的视觉跨度。

应注意,根据该方法的第二实施例,在显示视区Z3时,感兴趣区Z2 保持优先可见。

根据该方法的第二实施例,感兴趣区Z2位于显示装置D的边缘附近, 这样使得视区Z3根据所述预先确定的处理仅被部分地重现在显示装置D 上,还可以使得感兴趣区受限于尽可能靠近显示装置的边缘的单词区。在 这种情况下,该方法有利地使得位于同一行区,在与显示装置的边缘相对 的一侧上的其他单词区也被选择为处于感兴趣区,以便于继续从个人的视 觉跨度中极大地受益(包括在这种情况下)。

还应注意,根据该方法的第二实施例,将图像的文本分割成单词区使 得有可能在视区Z3内重现S90全部单词。

应进一步注意,根据该方法的第二实施例,通过字符识别软件可以一 次性完全识别S10图像的文本。然而,以非限制性方式,仅可以识别文本 的一部分,该部分将例如由阅读者通过鼠标移动连同该鼠标的左侧按钮的 按压而在图像上被选择。之后能够以相同的方式选择文本的另一部分。通 过另一个实例,识别了S10被盲区重叠的文本行的仅一部分或位于盲区周 围的文本部分。另外,识别S10和该方法的其他步骤S30至S90可以由个 人通过按压鼠标的按钮或键盘的按键来触发。

根据本发明的该方法是在计算机上实现,该计算机包括适于执行计算 机程序的至少一个处理器,该计算机程序包括用于实现该方法的指令。

对于本领域技术人员而言应该明显的是,对文本行的任何提及应被视 为与给定语言的读写有关。因此,取决于考虑的语言,在不偏离要求保护 的本发明的情况下,将有可能考虑用列取代行。类似地,先前Z20、当前 Z21和后续Z22感兴趣区(诸如图5中所示)示出了从左到右的阅读方向, 而某些其他语言诸如阿拉伯语使用相反的读写方向。

本发明还设想了一种计算机程序,该计算机程序包括在这个程序被处 理器执行时用于实现以上方法的指令。本发明也设想了一种存储这种程序 的介质(特别是非暂时性的)。计算机程序可以不同的编程语言例如像 PythonTM语言来编写。另外,这个程序可以是基于编程应用程序和/或意图 促进该程序的开发的接口;这种类型的应用程序例如已知为商业用语 PsychoPyTM,并且这种类型的编程接口例如是OpenGLTM接口。

如上所述,根据本发明的方法可以通过使用用于促进不同数字内容的视 觉探索的不同的硬件项来实现。

作为通过非限制性说明给出的第一实例,显示装置可以由计算机屏幕 或平板电脑屏幕组成,并且考虑的内容可以由电子书或虚拟参观组成。之 后能够以与该内容的视觉探索或一个或任何视觉探索的前期(upstream) 同时的方式根据该方法来处理该内容。更具体而言,(例如美术馆的)虚 拟参观的数字内容可以通过识别其中的艺术品(在其中展出为对象区中包 括的对象)来进行预处理,这样使得所述区可以在所有即将到来的视觉探 索过程中根据本发明的方法来增强,以便于为任何用户视觉探索所展出的 艺术品提供便利。

作为通过非限制性说明给出的第二实例,显示装置可以由可能连接到 通信网络诸如因特网上的视频的镜头或多媒体眼镜组成,并且眼镜镜片上 显示的数字图像I之后可以由眼镜佩戴者的视野中的图片的全部或部分组 成。这个图片可以被安排在眼镜上的相机捕获并且被继续更新,以便于代 表佩戴者每一时刻通过他的/她的眼镜看到的图片。之后还可以继续执行这 个图片中的对象的识别,例如位于佩戴者的视野内的人的脸部可以被识别 为对象区中包括的对象,这样使得所述区可以根据本发明的方法来增强, 至少以便于为佩戴者识别所述人提供便利。在这个意义上,增强的对象区 也可以被继续更新,以便于代表所识别对象的运动以及更一般而言随时间 变化的任何演变。第一结果以及更具体地说位于佩戴者的视野内的人的脸 部已被获得用于识别对象。

大约二十个患有DMLA的佩戴者经受以下脸部识别测试。呈现给佩戴 者的图像上显示了九个脸部:一个脸部处于中心处并且八个脸部处于周边。 任务在于在周边的这些脸部当中找出与中间脸部对应的脸部,并且读出选 中脸部上标示的数字。图像中存在的8个脸部在整个测试中是相同的,仅 朝向发生变化,并且这些脸部以及位于中心处的脸部的表情因测试而异。 这种脸部识别在不存在视觉辅助以及利用根据本发明用于辅助视觉探索的 该方法的情况下执行。

参数检验(studentt检验(Student'stest))展现出在不存在视觉辅助 情况下的识别与利用根据本发明用于辅助视觉探索的该方法情况下的识别 之间大约31%的显著差异,倾向于后者。这个结果十分令人鼓舞,因为该 结果显示出当这些佩戴者使用根据本发明用于辅助视觉探索的该方法时, 患有DMLA的佩戴者在其视野内识别人脸部过程中性能的显著提高。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号