视觉缺陷或盲人体育竞赛的瞄准辅助设备

摘要

本发明涉及自动辅助视觉障碍或盲人对射击目标的瞄准。本发明的方法包括：提供人们使用的具有放置在武器上的摄像头(CAM)的射击装备(AR)，用于获取所瞄准的目标(CI)；通过在摄像头获取的图像中进行的形状识别，来识别出目标；发送人们感知的信号(OR)，用于引导人们将射击装备朝向目标定向。

说明书

本发明涉及在体育竞赛中为视觉缺陷(失明或弱视)的人瞄准弓 箭或步枪目标的自动辅助的方法。

图1示出了由德国Swarovsky公司提供的现有技术的瞄准辅助系 统。该系统包括圆形灰度级的目标图形MI(灰度级从目标中心到目标 边缘由白色渐进到黑色)，其被放置在刚好目标CI上方。目标图形由 放置在其上方的灯光照亮，并且在安装在武器AR上的范围LU的聚 焦点处，有一个光强度传感器(通常是单像素探测器)。当目标图形 MI的中心成像在该探测器上时，光强度为其最大值，并且将声音信 号发送到射击者，用来指示他的武器瞄准在目标的中心CI。值得注意 的是，瞄准范围LU是预先定向到相对于瞄准轴(从武器AR至目标 的中心CI)的角度α，所述角度由通过瞄准范围LU和目标图形MI 的轴形成。

相对于目标来调整目标图形MI的位置必须精准地进行，以定义 相同角度α的数值并且射击者还可以总是将他的武器朝向目标的中 心。此外，目标图形MI相对于目标CI的位置每次都必须调整到射击 者的位置(根据他到目标的距离(200，100或50米)，是为站姿、蹲 姿还是卧姿等)。

这样的系统因而相当地难以使用，而且在竞赛中不适用。

此外，如果射击者不能在射击时保持同一精准的位置，则会发生 “倾斜”问题。这种类型的系统会告知射击者一个瞄准的方向，该方 向偏离系统真正力图探测到的方向(在此情况中为目标图形MI)，并 且由于武器的初始校准点不是目标中心CI，可以看到，倾斜角度α 扰乱了射击质量。

竞赛性射击的目标通常具有官方规定的特性，因而，不论目标是 为健全人所用还是为残疾人士所用，其在形状和/或颜色上都没有变 化。毫无疑义可改变目标的外观，使之适合现有的目标瞄准辅助系统。

本发明改善了所述情况。

首先，提出由计算机装置执行的用以辅助视觉缺陷或盲人对射击 目标瞄准的方法，包括：

-提供人们使用的具有摄像头的射击装备，所述摄像头放 置在所述射击装备上，用于获取待瞄准目标的图像；

-通过在摄像头获取的图像中进行的形状识别，来识别出 目标；

-发送人们感知的信号，用于引导人们将射击装备朝向目 标定向。

通过寻找识别目标本身，在将在下文中阐述的优选实施例中使用 形状识别，就不再需要安装附加的目标图形，并且倾斜角度不再干涉 射击的质量。目标本身的特性用于识别和定位它的中心。

在一个优选实施例中，在识别所述获取图像中的目标之后，确 定目标的中心并且发送信号引导人们将射击武器定向朝向目标中心。

该优选的实施例是基于这样的事实：目标显示出一个圆圈、碟 形或环形(至少一种)，正如以下参照图4A到4B将要讨论的大多数 射击目标所做的那样。在一个优选的实施例中，本发明意义上的形状 识别包括Hough变换，以识别在获取图像中的如此的形状，并从中识 别该圆形的中心。

更具体地说，如果目标具有多种形状，所述形状构成至少一个同 心圆圈，环形或碟形，那么Hough变换在所述多种圆形状中识别具有 各自中心的至少两个形状，所述两个中心被小于选定的相容阈值的距 离分隔。如果能够识别这两个形状，则可以确定目标中心就是两个圆 形中心的重心。

优选地，存在着对由如上所述形状识别获得的目标识别的确认。

在一个实施例中，利用目标的颜色来确认形状的识别。通常，可 以识别特定颜色的不同环形之间的颜色对比，诸如箭术目标的环形。 添加地或可替代地，可以执行两种形状识别：

-对灰度级图像中进行第一形状识别；以及，

-使用选择的彩色分量(例如在RGB(红绿蓝)中的绿)，对 作为彩色图像的图像进行第二形状识别(S33)；

第二形状识别确认在彩色图像中第一灰度级形状识别的结果。

作为对上述形状识别类型的补充或替代，因为矩形板通常用来支 持射击目标，所以本发明的形状识别可以包括对四角的形状识别，该 四角具有接近90°的角度，并且所述四个角相距预先确定的相对距离 (例如若其为一个正方形，则使用相同的相对距离，其在下文中将进 行阐述)。

一个特殊的实施例可以包括：

-使用包括Hough变换的第一形状识别；以及

-确认通过基于四个角度识别的第二形状识别获得的结 果。

在一个本发明的具体实施例中，处理模块可以连接至摄像头，借 助于处理模块：

-在存储器中储存已选择的目标模型的形状特性；

-从摄像头中接收当前图像的数据；

-对于与模型特性相一致的外形特性，检查当前图像的数据(例 如，给定数量的同心圆，角之间具有预定距离比的四角，或其它的特 征)；以及

-如果在确定的相容性内在当前图像数据中识别与模型特性 相同的特性(例如，该相容考虑了透视的效果、光照中色温的差别、 摄像头和目标之间的距离，或其它的效果)，那么：

●在当前图像中识别目标；

●确定目标和摄像头瞄准中心之间的距离；

●发出至少一个参数为所述距离函数的输出信号。

在实践中，传输的信号为下述的函数：

-高度的间距(要由射击者修正的仰角度)；以及

-至目标的水平距离(要由射击者修正的方位角)。

可以选择声音输出信号，并且用以下数据中的至少一个来调制该 信号：幅值、空间化幅值(例如，头戴耳机的右听筒和左听筒之间)、 基频率和调制频率(例如呈嘟嘟声的形式，嘟嘟声靠近在一起或越加 远离)，它们是上述距离的函数。

本发明还涉及一个辅助瞄准射击目标的系统，该系统应用上述的 方法，其包括：

-摄像头放置在人们使用的武器上的，用来获取目标图像；

-连接到摄像头的装置，用于在由摄像头获取的图像中通过形 状确认来识别目标；以及

-连接模块的装置，用于发送被人们感知的信号，以引导射击 者将射击武器朝向目标定向。

本发明的其他特性和优点将通过阅读下文的详细描述和参照附 图会变得明了，除了涉及现有技术的前面描述过的图1外，附图包括：

-图2示意地示出装配在武器上的本发明的系统；

-图3示出瞄准辅助发明的方法的基本步骤；

-图4A和4B为在两个不同的焦距设置中摄像头获取的目 标图像；

-图5示意地示出根据本发明的用于处理由摄像头提供的 图像数据的装置，并能确定提供的图像中目标的存在与否，并 且如果合适，还能特别地识别目标的中心。

如图2所示，本发明的瞄准辅助系统包括获取目标CI的图像的 摄像头CAM，用于当武器(弓、步枪、飞镖或其他武器)朝向目标 时通过形状识别来识别目标。当摄像头使用调整到假想的目标距离的 变焦镜头来识别完整的目标形状时，在被辅助的人所佩带的听筒OR 中响起可以听见的信号，以指示射击者武器AR已朝向目标。

在一个示范的实施例中，摄像头CAM可以通过有线或无线链接 (WIFI或其他类型)将图像信号发送至装置DIS，射击者可佩带该装置 DIS(例如在背包中或通过其他方法)。这样的实施例的优点是将装载 在武器上的重量限制为仅是摄像头的重量，因为武器越重，则射击者 由于肌肉疲劳产生的不精准度越大。

装备有工作存储器的处理器PROC接收视频数据，形成图像，并 且将该图像的形状与预存的模型做比较(或更具体的如下所述，将该 图像的确定的特性与这些模型进行比较)。在下面详述的示范实施例 中，形状识别是基于Hough变换。该类型的处理非常适合圆形的识别。 通过Hough变换的圆圈识别通常包括下述步骤：

-在图像中识别大致同一的对比区域(例如，在一个确定 相容性中灰度级为恒定的区域)；

-对该区域定义切线；

-确定切线的法线，以及；

-核实它们是某一点上的所有(大部分)的切割线，所述 点是这个区域形成的圆圈或碟形的中心。

这个圆圈探测以及用于识别目标物理边缘的正方形探测，将在下 文中进行阐述。

耳机OR可以是带有对左右耳朵而言很小的扬声器的头带式耳 机。可以通过改变相对于参考频率的音调来对瞄准的仰角度进行调 整。因此，扬声器可以再生：

-频率变化的第一信号，取决于相对于目标的瞄准轴的高 度；并且

-恒频的参考的第二信号。

该第二信号可在两个扬声器之间相同的声音层级上再生，使得射 击者具有该参考信号对中在他的两个耳朵之间的感觉。第一信号可以 在两个扬声器之间变化的声音层级上再生，该变化依据相对于目标的 瞄准轴的方位角而变化。当射击者具有随着他移动武器而听到两个完 全“叠加的”信号的印象时，则瞄准轴通过目标的中心而使用者可以 进行射击。

作为一个变化例，为了辅助方位角的调整，第一信号可包括发射 某一频率的嘟嘟声，该频率随着瞄准轴水平地靠近目标而增加，直至 听到连续的信号，在这样的情况下使用者可以开火。需要指出的是， 在该变化例中立体声耳机是不必要的，而单耳机就足够了。

在仍能提供较好结果的稍欠复杂的变化例中，第一信号包括发送 某一频率的嘟嘟声，该频率对于方位角和仰角都无差别地随着瞄准轴 接近目标而增加，直至听到连续的信号，在这样的情况下使用者可以 开火。在该实施例中，再生参考信号是不必要的，而单耳机就足够了。

然而，执行本发明，特别是在室外或模糊的条件下执行就会产生 困难：在这样的条件下，提高目标检测的相容性(在自然光中在目标 上有变化，可能会有略微模糊或薄雾)允许更好的目标检测，但会导 致在检测中出现假阳性(false positives)的风险，在武器使用中肯定 是有危险性。

优选的实施例提出将上述形状识别和基于特定目标元素的颜色 和/或正方形识别的识别进行结合，正方形识别将在下文进行阐述。

在箭术竞技中，目标具有122cm的外径，并且由白色背景上的颜 色的同心圆组成，颜色由外到内顺序为白色、黑色、蓝色、红色和黄 色。

在步枪竞技中，目标具有155mm的外直径，并由白背景上的十 个同心圆组成，并在每边170mm的硬板纸上有直径为59.5mm的中 心标记(三个黑色同心圆盘)。

在该两种情形中，目标和其中心通过在图3中所示的处理图像进 行检测。该处理首先由当前图像IM中的灰度级圆圈检测(步骤S31) 组成。这些圆圈：

-在箭术中，对应于不同颜色目标上的不同同心圆圈；并 且

-在步枪术中，对应于黑色的中心标记。

圆圈的检测有利地是基于使用Hough变换，其对应于确定与上述 轮廓垂直的诸线的相交。具有大量直线相交的图像的诸点是圆圈的中 心。Hough变换是经典的，并且可在传统的计算工具的图书书籍中查 阅到。

具体的，在一个示范的实施例中，灰度级圆圈的检测包括下述操 作：

-将彩色图像变换成灰度图像；

-使用高斯滤波器(例如9*9像素)来减少噪声，并且降 低虚像的检测；并且

-应用Hough变换，同时仅保持第一圆圈被检测(通常所 述圆圈具有带有最多数量相交的中心)。

该处理还可以另外包括例如正方形检测，特别是目标板的外部边 沿。这个检测(步骤S32)是基于使用特殊处理步骤，所述特殊处理 步骤定义如下：

-检测图像中的边界；

-使用下述标准选择边界：

●有且只有4条边待识别；

●边界线是封闭的；

●由两条连续边形成的角度必须为90°(在一个确定的相容 性内，由于略微可能的透视效应，根据射击者的位置而定)；

●边界内的区域必须在两个阈值之间(最大值和最小值)；

●最大边和最小边之比必须接近1，在某一确定的相容性之 内。

在图3中示出的实例中，使用多个标准来检测射击目标：

-在灰度级图像中的圆圈检测(步骤S31)；

-正方形检测(步骤S32)，以及

-在对应于色彩空间中分量的图像中的圆圈检测(步骤S33)。

当选择用于第三种检测的颜色时，检测RGB(红绿蓝)颜色空间 中的“绿”分量已经被发现在竞赛环境中最为相关。这个检测的主要 步骤如下：

-在彩色图像中选择绿色分量(例如，在确定的相容性中 的绿色像素)；

-使用高斯滤波器(例如9x3)，来降低噪声和减少误判检 测；以及

-使用仅维持第一检测到的圆圈的Hough变换(圆圈具有 最大量相交线的中心)。

可以发现的是，重复圆圈检测独立于在前一步骤S31中完成的灰 度级圆圈处理。

因此，对当前图像壹M：

-在灰度级图像中执行圆圈检测(S31)；

-对相同的图像，执行正方形检测(S32)；

-对相同的图像，在彩色图像中执行圆圈检测(S33)。

然后，对以下情形确定坐标轴(二维图像的x和y)：

-在步骤S31中获得第一圆圈的中心；

-在步骤S32中获得正方形的中心；

-在步骤S33中获得第二圆圈的中心。

考虑这些坐标是用来验证中心之间的距离(取为2x2)(taken two  by two)是否总是小于给定的阈值(接近0)。否则，拒绝检测(图3 中，探测T36中的箭头N)并且对新的当前图像进行重复检测。只要 检测的中心的坐标没有得到验证，就没有声音信号发射给射击者。

如果检测为肯定的(positive)，则验证有效的中心的重心在步骤 S34中被认为是目标的中心。通过比较该重心的位置与图像中心区域 的位置(在图像中心，例如9x9的像素)：

-计算沿着垂直轴y的像素的差异，并且对射击者发出对 应的音频信号(例如以基于该取为正值或负值的差别的频率)， 以指示目标仰角分量的偏差；以及

-计算沿着水平轴x的像素差异，并且对射击者发出对应 的音频信号(例如以射击者立体声头戴耳机扬声器中的音响的 强度来区分，其强度基于正或负数值的差异)，以指示目标方位 角θ分量的偏差。

已经发现，组合上述三个检测方法中的两个足以保证目标合适的 定位，且没有假阳性(false positives)的情况出现。

然而，测试发现组合灰度级圆形和方形的检测确能够降低假阳性 的情况，但却会有增加处理时间的结果，这会对射击的精度产生不利 的影响，因为射击者在这个处理时间中是移动的。

使用两个圆形检测S31和S33(一个使用灰度级图像，并且另一 个使用彩色相同的图像)，它们两个都基于Hough变换，由于射击者 响应于他的运动听到的声音是被感受为瞬间的，在探测可靠性和实时 处理两方面得到良好的结果。

有待优化的另一个参数是调整摄像头相对于射击者和目标之间 距离的焦距长度(变焦)。为了保证在图像中的目标中心的精确检测， 当前图像中目标的尺寸优选地必须尽可能的大，并且不能超出图像的 边缘。然而，目标的角部分应该与图像边缘大致一致(如在图4B中 示出的官方的射箭目标所示)。但是，对于射击者的声音指示器要有 效，图像必须包围目标以及其周边。也就是说，摄像头要能够获取其 范围中的目标，然后射击者变换来限制他的移动幅度，摄像头获取的 图像通常必须具有目标宽度的三至五、七倍的宽度(如同在图4A中 所示的10米手枪射击的官方目标的视图)。

当然，基于可供的办法和特别是摄像头的像素分别率，可以选择 或多或少变焦能力的变焦镜头(当摄像头的分辨率很高时，变焦较 小)。

在若干种竞赛类型中，为了使用装备有给定分辨率的相同摄像头 的武器，因而根据下述条件预调整摄像头的变焦是有利的：

-目标的大小；以及

-目标的距离；

针对各种类型的竞赛。

当然，本发明不限制在上述举例的实施例中，本发明还能拓展至 其他的变化例。

例如，可以理解的是，对于在彩色图像中实施的形状识别确认， 选择绿色可以变换实施的条件，以及特别在目标上的光照条件(例如， 在射击长廊中或室外)。

在获得的图像中使用颜色能够指示以给定颜色的形状识别(例如 绿色)，但还指示目标中颜色对比的识别。该实施例特别适用于射箭 目标的情况，其能够依赖于不同的同心环颜色的识别来确认灰度级形 状识别(图4B)。

参照图5，本发明还涉及系统的DIS装置，以辅助有视觉障碍的 人或者盲人来瞄准射击目标，包括：

-存储器MEM，用于存储已选择目标模型的形状特性；

-输入E1，用于从摄像头CAM中接受当前图像数据；并 且

-处理器PROC，用于：

·搜索图形特征的当前图像数据，所述特性与模型特 性相一致；以及

·如果与模型特性一致的特性在当前图像数据中被 标示出，而且在确定相容性内，则：

决定当前图像中已被识别的目标；

确定摄像头瞄准中心和目标之间的距离；以及

-用于传输信号的输出S1，所述输出信号的至少一个参数 是这个距离的函数。

本发明还涉及储存在如此装置的存储器中的计算机程序，并且包 含用于执行本发明方法的指令，此时由装置的处理器PROC执行这些 指令。作为示例，图3可代表用于如此计算机程序的流程图。