使用在三维空间中执行的手势以及相关的计算机程序产品控制车辆功能的方法和设备

摘要

一种使用在三维空间中实施的手势来控制车辆功能的方法，该方法具有如下步骤：确定(S100)是否在三维空间中实施的光学检测到的第一手势指向叠加到车辆周围的实际环境上的虚拟物体；确定(S500)是否在三维空间中实施的光学检测到的第二手势是被分配给虚拟对象操作的手势；以及如果已经确定检测到的第一手势是指向叠加在车辆周围的实际环境上的虚拟对象的手势并且如果确定检测到的第二手势是被分配给虚拟对象操作的手势，则操作(S700)虚拟对象。

说明书

技术领域

本发明涉及一种使用在三维空间中执行的手势以及相关的计算机程序 产品控制车辆功能的方法和设备。

背景技术

在US 2008/0065291 A1中已知一种使用在三维空间中执行的手势控制 车辆功能的方法和设备，其中确定是否借助基于图像的检测过程来检测在 三维空间中执行的手势；确定所检测的手势是否为分配给功能操作的手势； 并且在确定所检测的手势为分配给功能操作的手势的情况下操作该功能。

发明内容

本发明的目标在于产生一种以简单可靠的方式允许与车辆周围的真实 环境互动的用户在车辆中基于手势的控制方法、设备和相关计算机程序产 品。

该目的采用在独立权利要求中说明的特征来解决。

本发明的其他有利实施方式是从属权利要求的主题。

根据第一方面，使用在三维空间中执行的手势控制车辆功能的方法的 特征在于：a)确定是否借助基于图像的检测过程检测到在三维空间中执行 的第一手势，b)在确定已经检测出第一手势的情况下，确定第一手势是否 是指向在车辆周围的真实环境上叠加的虚拟物体的手势，c)确定是否借助 基于图像的检测过程检测到在三维空间中执行的第二手势，d)在确定已经 检测出第二手势的情况下，确定检测出的第二手势是否是被分配为操作虚 拟物体的手势，e)在已经确定检测出的第一手势是指向在车辆周围的真实 环境上叠加的虚拟物体的手势的情况下并且在检测出的第二手势是被分配 为操作虚拟物体的手势的情况下，操作该虚拟物体。

根据一个实施方式，虚拟物体操作的特征在于将虚拟物体移动到车辆 的显示单元上。

根据另一实施方式，虚拟物体操作的特征在于将虚拟物体复制到车辆 的显示单元上。

根据另一实施方式，虚拟物体操作的特征在于将关于虚拟物体的信息 描述在车辆的显示单位上。

根据另一实施方式，将虚拟物体叠加在车辆周围的真实环境上借助平 视显示器执行，并且显示单元为至少一个仪表面板和至少一个中央显示单 元。

根据另一实施方式，将虚拟物体叠加在车辆周围的真实环境上借助将 虚拟物体投影到车辆周围的真实环境中执行，并且显示单元为至少一个仪 表面板和至少一个中央显示单元。

根据另一实施方式，在对应于在真实环境中存在的物体处将虚拟物体 叠加到车辆周围的真实环境中，其中该物体被分配给虚拟物体。

根据另一实施方式，基于图像的检测过程是基于摄像头的，并且检测 在三维空间中执行手势的物体位置。

根据第二方面，使用在三维空间中执行的手势来控制车辆功能的设备 具有被设计为执行上述方法或者其实施方式的装置。

根据第三方面，使用在三维空间中执行的手势来控制车辆功能的计算 机程序产品被设计为结合计算机或者计算机系统来直接地或在执行预定程 序后间接地执行上述方法或者其实施方式。

根据第一至第三方面和其实施方式，用户可以借助叠加在车辆周围的 真实环境上的虚拟物体借助在车辆的显示单元上的手势操作显示关于相关 虚拟物体的信息，并以这种方式与车辆周围的真实环境互动。

附图说明

借助于参考所附附图的示例性实施方式更详细地阐述本发明。

在附图中示出：

图1：根据本发明的示例性实施方式的显示单元基本结构和检测构思 的示意图；

图2：根据本发明的示例性实施方式的显示单元基本结构和检测构思 的另一示意图；

图3：根据本发明的示例性实施方式的显示单元基本结构和在车顶控 制单元中的检测设备安装位置的示意图；

图4：根据本发明的示例性实施方式的显示单元基本结构和内后视镜 的检测设备安装位置的示意图；

图5：根据本发明的示例性实施方式的具有虚拟叠加物体的车辆周围 的真实环境的示意图；

图6：根据本发明的示例性实施方式的使用在三维空间中执行的手势 来控制车辆功能的方法流程图。

具体实施方式

下面为本发明的一个示例性实施方式的描述。

应注意的是，在下文中假设显示单元优选为车辆，尤其是机动车辆的 中央显示器或仪表面板，以及执行在车辆中使用在三维空间中执行的手势 来控制在显示单元上描述的功能的方法。

此外，下面描述的手势是借助于用户的手或者手指由车辆用户在三维 空间中执行而无需接触诸如例如触摸屏的显示器或诸如例如触摸板的控制 元件的手势。

下面描述的基于图像的捕捉设备可以是能够检测在三维空间中的手势 的任何合适的摄像头，例如深度摄像头、具有结构光的摄像头、立体摄像 头、基于飞行时间(Time-of-Flight)技术的摄像头或者组合有单色摄像头 红外摄像头。多个这种摄像头的任意组合也是可能的。组合有单色摄像头 的红外摄像头改进了检测能力，因为具有高图像分辨率的单色摄像头额外 提供亮度信息，其在背景分割期间具有优势，并且单色摄像头不受外部光 线影响。

图1示出根据本发明的示例性实施方式的显示单元基本结构和检测构 思的示意图。

在图1中，参考标记10指车辆的显示单元，参考标记20指基于图像 的检测设备的有效检测区域，参考标记30指车辆的车顶控制单元，参考标 记40指车辆的内后视镜，参考标记50指车辆的中控台，而参考标记60 指车辆的拱顶(dome)。

基本控制构思为，如果基于图像的检测设备在检测区域20内将执行的 手势借助检测为预定手势，则在三维空间内执行借助于由用户的手或者手 指在有效检测区域20内执行的手势对控制功能的手势操作。

有效的检测区域20通过基于图像的检测设备来确定，该设备能够在三 维空间内检测用户的手或者手指的三维位置。基于图像的检测设备优先为 整合在车辆内的深度摄像头。

必须整合基于图像的检测设备以使得，通过在车辆的拱顶60和中控台 50上面的区域中的任意位置处用户放松的手和/或手臂来允许手势操作。因 此，有效检测区域可从上面通过显示单元10的上边缘，从下面通过到拱顶 60和中控台50的最小距离来限定。

如果有效检测区域20中检测到第一手势，则激活手势操作，其中该第 一手势为第一预定手势。第一预定手势为静态手势，其通过在有效检测区 域20内将用户的手或者手指移动到有效检测区域20内，并随后将有效检 测区域20中的用户的手或者手指离开第一预定量时间来执行。

通过将用户的手或者手指从有效检测区域移出来使手势操作失效。在 有效检测区域20的下方执行用户的手或者手臂在车辆的中控台20和控制 部件上的放置，因而手势操作不会被激活。

在车辆内打手势的情况下或者在将用户的手或者手指移动到控制元件 的情况下，不执行静态手势，因而手势操作不会被激活。

图2示出根据本发明的示例性实施方式的显示单元基本结构和检测构 思的另一示意图。

在图2中，相同的参考标记指与图1相同的元件，而参考标记70指在 中控台50中或在其上作为障碍物体存在的物品，诸如例如杯架中的饮料容 器。

关于图1在上文中的描述同样适用于图2。

有效检测区域20的下边界针对物品70进行动态调整。执行将有效检 测区域作为互动区域的这种取决于环境的调整，以使得在手势检测的情况 下，有效检测区域的深度轮廓借助基于图像的检测设备(诸如例如深度摄 像头)的深度信息实时执行。这意味着必须在物品70上执行有效手势。

基于图像的检测设备在车辆的车顶区域中的布置导致以下优点：日光 不会照耀到基于图像的检测设备的透镜中。在显示单元10的邻近区域中同 样将完整的检测区域覆盖为有效检测区域20。在朝向手势操作的左侧、右 侧、在手势操作前和后的主要互动方向上具有高图像分辨率。基于图像的 检测设备由驾驶员或者乘客的标准视野构成。车顶部件可以采用少量设计 变量对不同系列容易地进行标准化。对于检测距离需求很少。

关于图3和图4，说明了对于基于图像的检测设备在车辆车顶区域中 的两种可能的安装位置。

图3示出根据本发明的示例性实施例的显示单元基本结构和检测设备 在车顶控制单元中的安装位置的示意图。

在图3中，相同的参考标记表示与图1和图2中相同的元件，并且参 考标记100指整合到车辆的车顶控制单元30中的基于图像的检测设备的最 大检测角度。

关于图1和图2在上文中做出的描述也同样适用于图3。

如在图3中可以看到，采用整合到车顶控制单元30中的基于图像的检 测设备覆盖完整的有效检测区域20。整合入车顶控制单元30的基于图像 的检测设备的另一优点在于，获得距有效检测区域20的最大可能垂直距 离。

图4示出根据本发明的示例性实施例的显示单元基本结构和检测设备 在内后视镜中的安装位置的示意图。

在图4中，相同的参考标记指与图1和图2相同的元件，并且参考标 记110指整合到车辆内后视镜40中的基于图像的检测设备的最大检测角。

关于图1和图2在上文做出的描述也同样适用于图4。

如在图4中所看到的，采用整合到车顶控制单元30中的基于图像的检 测设备覆盖完整有效检测区域20。为了补偿由于内后视镜40的调节导致 的基于图像的检测设备的变化对准，借助于中控台50的轮廓校正基于图像 的检测设备的对准偏移以便执行位置校准。

图5示出根据本发明的示例性实施方式的具有虚拟叠加物体的车辆周 围的真实环境的示意图。

在图5中，参考标号200指车辆的挡风玻璃，参考标号300指车辆周 围的真实环境，参考标号400指第一虚拟物体，参考标号500指第二虚拟 物体，参考标号600指第三虚拟物体，参考标号700指仪表面板，参考标 号800指方向盘，并且参考标号900指中央显示单元。

将具有到真实环境300中存在的物体的连接并位于该位置的虚拟物体 叠加到车辆周围的真实环境上，诸如例如通过挡风玻璃200可见的车辆前 的真实环境300，如借助在图5中的建筑物、道路和行驶车辆所示意性指 示的。例如，虚拟物体可以是被分配到停车场的第一虚拟物体400，该停 车场被叠加在真实环境300的一位置处，在该位置在真实环境中存在被分 配给虚拟物体400的停车场，虚拟物体可以是被分配给公共厕所的第二虚 拟物体500，该公共厕所被叠加到真实环境300的一位置处，在该位置在 真实环境300中存在被分配给虚拟物体500的公共厕所，和/或虚拟物体可 以是被分配给餐馆的第三虚拟物体400，该餐馆被叠加到真实环境300中 的一位置处，在该位置在真实环境300中存在被分配给虚拟物体的餐馆。 任意进一步和/或者其它类型的物体或者虚拟物体同样是可能的。

虚拟物体到真实环境300上的叠加例如可以借助诸如虚拟物体在车辆 挡风玻璃200上的所谓平视显示器上的显示来执行。将执行虚拟物体到真 实环境300上的叠加的另一可能性可以借助通过合适的投影设备将虚拟物 体投影到真实环境300上来实施。

虚拟物体到在真实环境300中存在的物体的分配例如基于诸如例如 GPS坐标的位置坐标和/或者在真实环境300中存在物体的物体识别来执 行，其中该GPS坐标借助车辆的导航系统获得。

表征关于与虚拟物体相关的真实环境300中的物体的附加或详细信息 的信息与叠加到真实环境300上物体相关。例如，关于第一虚拟物体400 的信息可以表征在真实环境300中存在的停车场的价格或者关于第三虚拟 物体600的信息可以表征在真实环境300中存在的餐馆的菜单。

可借助指向虚拟物体的用户手势来标记或选择虚拟物体，并且虚拟物 体可借助进一步的手势来移动或复制到仪表面板700或中央显示单元900， 其中该进一步的手势是朝向位于方向盘800之后的仪表面板700的动态手 势或滑动移动并且关于虚拟物体的信息可以描述在仪表面板700或者中央 显示单元900上。

图6示出根据本发明的示例性实施例使用在三维空间中执行的手势控 制车辆功能的方法流程图。

应注意的是，图6中流程图的处理流程在初始化点之后(诸如例如在 开启车辆点火之后)开启，并且以重复循环执行直至达到结束点(诸如例 如关闭车辆点火)。替代地，初始化点例如可以是车辆启动发动机的时间 点，和/或结束点可以是车辆关闭发动机的时间点。根据本申请，其它初始 化点和结束点也是可能的。

可以关于由驾驶员还是由乘客执行手势作出区分，这在所谓的分屏显 示器中特别有利，其中该显示器能够同时为驾驶员和乘客显示不同的信息。 同时，关于由驾驶员或者由外面的乘客执行的手势的区分关于由驾驶员或 者由乘客的人体工程学控制是有利的。

下面，假设检测到的手势既可以是由驾驶员执行的手势，也可以是由 乘客执行的手势。

另外应注意的是，在驾驶员和乘客的手势的如上所述的区分情况下， 在图6中的流程图的方法对于驾驶员侧和乘客侧两者均执行。在图6中所 示的处理序列例如可以对于驾驶员侧和乘客侧以并行、串行或连接的方式 方便地执行。

在步骤S100中，确定是否检测到第一手势。在未检测到第一手势的情 况下，这对应于在步骤S100中的回答“否”，处理序列返回步骤S100。在 检测到第一手势的情况下，这对应于在步骤S100中的回答“是”，处理序列 前进至步骤S200。

在步骤S200中，确定检测到的第一手势是否是指向叠加在车辆周围的 真实环境上的虚拟物体的手势。在第一手势并非指向叠加在车辆周围的真 实环境上的虚拟物体的手势的情况下，其对应于在步骤S200中的回答 “否”，处理序列返回步骤S100。在第一手势为指向叠加在车辆周围的真 实环境上的虚拟物体的手势的情况下，其对应于在步骤S200中的回答 “是”，处理序列前进至步骤S300。

指向叠加在车辆周围的真实环境上的虚拟物体的手势例如是第一预定 手势，该第一预定手势在第一预定时间期间在三维空间的互动区域中静态 地指向虚拟物体。如参考图1至5在上文已经描述的，检测第一预定手势。 互动区域对应于上述的有效检测区域。

在步骤S300中，标记或选择虚拟物体。在步骤S300之后，处理序列 前进至步骤S400。

在步骤S400中，确定是否满足预定的取消条件。在满足预定的取消条 件的情况下，这对应于在步骤S400中的回答“是”，处理序列返回步骤S100。 在未满足取消条件的情况下，这对应于在步骤S400中的回答“否”，处理序 列前进至步骤S500。

预定取消条件例如可以是对于第四预定量时间未检测到手势。

在步骤S500中，确定是否检测到第二手势。在未检测到第二手势的情 况下，这对应于步骤S500中的回答“否”，处理序列返回到步骤S500。在 检测到第二手势的情况下，这对应于步骤S500中的回答“是”，处理序列前 进至步骤S600。

在步骤S600中，确定检测到的第二手势是否是被分配给虚拟物体操作 的手势。在第二手势并非被分配给虚拟物体操作的手势的情况下，其对应 于在步骤S600中的回答“否”，处理序列返回至步骤S500。在第二手势为 被分配给虚拟物体操作的手势的情况下，其对应于在步骤S600中的回答 “是”，处理序列前进至步骤S700。

被分配给虚拟物体操作的手势是第二预定手势，该第二预定手势在三 维空间的互动区域中是动态的并且由叠加真实环境的虚拟物品导引、标记 或选择朝向诸如例如仪表面板700或者中央显示单元900的显示单元。

在步骤S700中操作虚拟物体，例如该虚拟物品被移动或者复制到显示 单元或者关于被标记或选择的物体的信息显示在显示单元上。在步骤S700 之后，处理序列返回至步骤S700。

上述方法可以借助设备执行，该设备形成控制车辆功能的设备。显示 单元优选为车辆，尤其是机动车辆的中央显示器。

尽管在图3和4中示出对于相应摄像头的具体安装位置，但是相应摄 像头可以布置在其他合适的安装位置。

通过上述基于图像的手势控制实现简单且快速的控制能力，这提高用 户的控制舒适度、控制灵活性和控制体验，显著提高车辆内部的设计自由 度以及允许用户与真实环境的互动。

上述示例性实施方式能够作为诸如例如存储介质的计算机程序产品来 实现，该计算机程序产品被设计为与计算机或者多个计算机(即计算机系 统)或者其它处理单元互动来执行根据上述示例性实施方式的方法。计算 机程序产品可被设计以使该方法仅在预定程序(诸如例如设置程序)的实 现之后才执行。

尽管本发明已经借助示例性实施方式在上文中描述，但应理解可执行 不同的实施方式和变化而无需脱离如所附权利要求中所定义的本发明的范 围。

附图公开专门涉及关于本发明的进一步特征和优点。