车辆中利用手腕角度操作用户界面的系统和方法

摘要

一种利用手腕角度来操作用户界面的方法和系统，其包括由控制器接收由图像拍摄单元拍摄的图像；和根据所拍摄的图像检测乘客的手臂和手的形状以计算手腕角度。另外，该方法包括由上述控制器识别与所计算的手腕角度的变化对应的手腕姿势信息；和选择与所识别的手腕姿势信息对应的车辆设备操作。

说明书

技术领域

本发明涉及一种在车辆内利用手腕角度对可识别乘客姿势 (gesture、动作)的用户界面(User Interface)进行操作以便控制设备 的方法。

背景技术

近来，为使乘客方便，在车辆内安装有各种电子设备。具体而言， 例如收音机和空气调节器之类的电子设备安装在传统车辆中，而且近 来，例如导航系统和移动电话免提系统之类的电子设备安装在车辆内。

传统车辆中的电子设备通过指定按钮提供用户界面。乘客必须直 接用手接触电子设备来操作该电子设备。另外，因为这种操作是基于 乘客的眼睛和手操作而进行的，所以可能影响安全驾驶。因此，需要 研发在不影响驾驶的情况下方便用户的界面技术。于是，在现有技术 中，利用超声波传感器测量距离和检测速度从而识别手的位置或移动。

另外，利用红外线束检测反射信号从而间接地检测手的存在或位 置。进而，利用电容传感器对手的接近进行电识别，从而在一小段距 离处识别手。

近来，已研发出一种通过发送和接收无线电波识别姿势的技术， 例如使用身体导电性的天线。在一种使用成像设备(例如，摄像机) 的方法中，检测手的形状或运动，从而识别手势。

上述识别姿势的传统方法包括观测手的形状或检测手并且识别手 的运动的技术。然而，传统方法具有识别率低的缺点，这是因为手的 形状的自由度很高而且手的亮度或颜色与手的外围相似。

本部分公开的上述信息仅用于增强对本发明背景技术的理解，因 此其可能包括不构成本国家本领域技术人员所已知的现有技术的信 息。

发明内容

本发明提供一种用于在车辆内从成像设备(例如，摄像机)拍摄 的图像信息中提取乘客的手腕角度，利用手腕角度识别姿势，并且在 车辆内控制各种电子设备的系统和方法。

在车辆中利用手腕角度操作用户界面的方法可以包括：从成像设 备接收图像：从图像中检测乘客的手臂和手的形状以计算手腕角度， 并且识别与所计算的手腕角度的变化对应的手腕姿势信息；和选择与 所识别的手腕姿势信息对应的车辆设备操作。

识别图像中的手腕姿势信息的步骤可包括：从图像中检测乘客的 手臂和手的形状；根据所检测的手臂和手的位置计算手腕角度；在预 定时间内反复进行上述步骤，以生成所计算的手腕角度的变化；和识 别与所计算的手腕角度的变化对应的手腕姿势信息。

此外，识别与所计算的手腕角度的变化对应的手腕姿势信息的步 骤可以包括：确定与所计算的手腕角度的变化匹配的手腕姿势信息是 否存储在信息数据库中；和当确定与所计算的手腕角度的变化匹配的 手腕姿势信息存储在信息数据库中时，识别所存储的手腕姿势信息作 为乘客的手腕姿势信息。

上述方法还可以包括：在从成像设备接收图像之前，确定手腕姿 势识别功能是否被请求。当确定手腕姿势识别功能被请求使用时，可 从成像设备接收图像。另外，上述方法可包括：确定是否被请求终止 手腕姿势识别功能，并且当确定被请求终止手腕姿势识别功能时，手 腕姿势识别功能可被终止。

用于在车辆中利用手腕角度操作用户界面的系统可以包括：拍摄 图像的图像拍摄单元；存储所拍摄的图像的图像存储单元；信息数据 库，其存储可识别的手腕姿势信息和与手腕姿势信息对应的设备操作 信息；和电子控制单元(ECU：electronic control unit)，其基于来自图 像拍摄单元的输入信号和存储在图像存储单元中的累积图像信息控制 车辆设备操作。ECU可执行用于执行上述方法的一系列命令。

上述系统还可以包括：输入单元，其从乘客处接收用于请求手腕 姿势识别功能的信号，并将该信号发送至ECU；和输出单元，其显示 ECU的车辆设备操作内容。

附图说明

图1是示意性地示出本发明的示例性实施例的在车辆中利用手腕 角度的用户界面系统的示例性视图；

图2是本发明的示例性实施例的图1的电子控制单元(ECU)的 示例性框图；

图3是示出本发明的示例性实施例的手腕角度和指尖向量的测量 的示例的示例性视图；

图4是本发明的示例性实施例的与手腕姿势对应的控制的示例性 视图；以及

图5是示出本发明的示例性实施例的在车辆中利用手腕角度操作 用户界面的方法的示例性流程图。

附图标记

100：输入单元    110：图像拍摄单元

120：信息数据库  130：电子控制单元

140：输出单元    150：图像存储单元

160：定时器

具体实施方式

应理解，本文使用的术语“车辆”(vehicle)或“车辆的”(vehicular) 或其它类似术语包括通常的机动车，例如，包括多功能运动车(SUV) 在内的乘用车、公交车、卡车、各种商务车、包括各种船只和船舶的 水运工具、飞行器等等，并且包括混合动力车、电动车、插入式混合 电动车、氢动力车、燃料电池车和其它代用燃料车(例如，来源于石 油以外的资源的燃料)。

虽然示例性实施例被描述为利用多个单元来执行上述示例性进 程，但应该理解，示例性进程也可以由一个活多个模块执行。此外， 应该理解术语“控制器／控制单元”是指包括存储器和处理器的硬件装 置。该存储器配置为存储上述模块，而处理器具体配置为执行上述模 块，以便执行下面进一步描述的一个或多个进程。

此外，本发明的控制逻辑也可具体化为计算机可读介质上的非瞬 时性计算机可读介质，该计算机可读介质包含由处理器、控制器／控制 单元等执行的可执行程序指令。计算机可读介质的例子包括但不限于 ROM、RAM、CD-ROM(只读光盘)，磁带、软盘、闪盘(flash drive)、 智能卡和光学数据存储装置。计算机可读记录介质也可分布在连接网 络(network coupled)的计算机系统中，以便例如通过远程服务器或控 制器区域网络(CAN：Controller Area Network)以分布形式存储和执 行计算机可读介质。

本文使用的术语仅仅是为了说明示例性实施方式的目的而不是意 在限制本发明。如本文所使用的，单数形式“一个、一种(a、an和the)” 也意在包括复数形式，除非上下文中清楚指明。还可以理解的是，在 说明书中使用的术语“包括(comprises和／或comprising)”是指存在所 述特征、整数(Integer，整体)、步骤、操作、元件和／或部件，但是不 排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部 件和／或其群组。如本文所使用的，术语“和／或”包括一个或多个相关 所列项目的任何和所有组合。

下文中，本发明的示例性实施例将结合附图进行描述。本领域技 术人员将会理解，所描述的示例性实施例可按各种不同的方式修改， 而不脱离本发明的精神或范围。另外，因为附图中的元件是为了方便 起见任意示出的，因此本发明并不一定限于这些附图。

图1是示意性地示出本发明的示例性实施例的在车辆中利用手腕 角度的用户界面系统的示例性视图。参见图1，本发明的示例性实施例 的利用手腕角度的用户界面(UI：user interface)系统可包括由电子控 制单元(ECU)130执行的多个单元。多个单元可包括输入单元100、 图像拍摄单元110、信息数据库120、定时器160、图像存储单元150 和输出单元140。

输入单元100可包括按钮和触摸屏。具体而言，输入信号被描述 为由按钮或触摸屏产生。但是，声音和姿势也适用于作为其他输入方 法。图像拍摄单元110可包括成像设备(例如，摄像机)、光传感器(photo  sensor)、超声波传感器和图像传感器，并且可被配置为拍摄图像。另 外，图像拍摄单元110可位于方向盘(steering wheel)附近、方向盘下 方或方向盘上，并且位于用户身体的图像，例如用户的手和腿，可被 容易拍摄的位置。

而且，图像存储单元150可配置为累积由图像拍摄单元110拍摄 的图像的帧，从而存储所累积的帧，或可以存储经ECU130处理的图 像。定时器160可配置为核对所拍摄的每个图像的时间。信息数据库 120可配置为存储与预定的各个手腕角度的变化对应的手腕姿势信息。 另外，与手腕姿势信息对应的设备操作信息可按需存储。

例如，如图4所示，当手腕执行例如左摇(left flicking)、右摇、 挥动和旋转之类的动作时，可选的车辆设备操作可以为左歌曲和右歌 曲选择、电源开／关、和音量升／降。除了上述情况之外，可由各种手腕 姿势执行音乐停止、音乐开／关、音乐暂时停止、和空气调节器开／关。

所存储的手腕姿势信息可预定为通常定义的姿势。另外，信息数 据库120可配置为存储由乘客注册的手腕姿势信息。乘客可选择各种 手腕角度变化信息项目来存储所选的信息项目作为手腕姿势。换句话 说，乘客可直接输入他或她的手腕角度变化信息作为手腕姿势，因此， 关于身体一部分的变化的信息对每个乘客来说可以是不同的，例如， 手腕角度可无误地识别为手腕姿势。

ECU130可配置为从来自图像拍摄单元110的图像输入，检测手 和手臂，并且根据所检测的手和手臂计算手腕角度。所计算的手腕角 度可反复累积，以计算手腕角度的变化。另外，可由ECU130比较存 储在图像存储单元150中的当前图像帧和先前图像帧，以检测手腕角 度的变化。手腕角度变化生成方法可有各种变形，手腕角度变化信息 可通过其他方法检测。

参考图2，ECU130可包括全由ECU130控制(operate)的图像 处理模块132、手腕角度提取模块133、姿势识别模块134、和设备操 作模块135。

图像处理模块132可配置为处理成像设备的图像。另外，图像处 理模块132可配置为确定手腕姿势识别功能是否基于输入单元100的 输入信号使用。换句话说，当指示手腕姿势识别功能被使用或终止的 输入信号被输入时，ECU130的图像处理模块132可配置为控制图像 拍摄单元110来开始或终止图像的拍摄。另外，用户的手移动的区域 可被拍摄。

手腕角度提取模块133可配置为基于身体图像处理图像。换句话 说，身体外围图像(peripheral image)可从乘客的身体图像的真实图像 和虚拟图像中移除，而且所提取的图像可分割为有待建模的头部、身 体、手臂、手和腿。可从建模后的手和手臂图像中的窄和宽的形状中 获取线性分量。图3示出了这样的示例。

参考图3，手与手臂的线性分量之间的角度可被定义为手腕角度。 当手与手臂被区分后，可从图3的手臂起点沿着手臂的轮廓测量距离， 这样最远点可被视作指尖。指尖的轮廓的曲率大幅增加的部分可被检 测为腕点。

在获取手腕角度的另一方法中，对于指尖，当手臂起点向量形成 在手臂图像向量的左边时，可确定左移动，而当手臂起点向量形成在 手臂图像向量的右边时，可确定右移动。

姿势识别模块134可配置为参考信息数据库120在预定时间，根 据手腕角度的变化来识别手腕姿势。根据手腕角度的变化识别手腕姿 势的预定时间可参考定时器160核对。随后，姿势识别模块134可配 置为确定与所获取的手腕角度的变化匹配的手腕姿势信息是否存储在 信息数据库120中。当存储有与手腕角度的变化匹配的手腕姿势时， 姿势识别模块134可配置为识别该手腕姿势作为乘客的手腕姿势。

另外，设备操作模块135可配置为选择与所识别的手腕姿势对应 的车辆设备操作。换句话说，ECU130的设备操作模块135可配置为 基于所选的车辆设备操作，生成控制信号来控制期望的操作。例如， 可选的车辆设备操作可以是歌曲选择、电源开和关、音量增加和减少、 移动电话接听和挂断、音乐重放／停止／静音、空气调节器开和关、加热 器开和关、和遮阳板操作。

输出单元140可包括触摸屏、扬声器、作为车辆设备操作的对象 的移动电话、音乐设备、空气调节器、加热器、遮阳板和内容操作 (content manipulation)。另外，车辆设备操作内容(content)可输出 至显示屏。

图5是示出本发明的示例性实施例的在车辆中使用二维成像设备 (例如，摄像机)操作用户界面的方法的示例性流程图。参见图5，乘 客可通过输入单元100请求手腕姿势识别功能S100。

当手腕姿势识别功能被请求时，ECU130的图像处理模块132可 配置为开始通过图像拍摄单元110拍摄乘客的身体或手的图像S110。 随后，由图像拍摄单元110拍摄的图像可输出至ECU130而由图像处 理模块132处理，并且可被累积而存储在图像存储单元150中S120。

手腕角度提取模块133可配置为从所拍摄的图像中移除身体外围 图像S120。另外，手腕角度提取模块133可配置为将所提取的图像分 割为有待建模的身体、手臂和手S130，并且仅提取手和手臂图像来计 算手腕角度。通过这样的方法，可在预定时间内计算手腕角度，而且 可提取手腕角度的变化S140。提取手腕角度的变化的方法可具有各种 变形。

随后，姿势识别模块134可配置为确定与所提取的手腕角度的变 化匹配等的手腕姿势是否存储在信息数据库120中S150。当由姿势识 别模块134确定与上述手腕角度的变化匹配的手腕姿势存储在信息数 据库130中时，该匹配的手腕姿势可识别为乘客的手腕姿势S160。

而且，设备操作模块135可配置为选择与所识别的手腕姿势对应 的车辆设备操作。设备操作模块135可配置为基于所选的车辆设备操 作生成控制信号来提供期望的操作S170。车辆设备操作可包括车辆内 的空气调节系统和音频系统的操作，并且可应用于例如内容 (contents、目录)或媒体之类的信息的发送、复制、存储和校正。

操作结果可通过输出单元140输出，而利用手腕姿势的识别的用 户界面可基于驾驶员是否请求终止手腕姿势识别功能，来终止S180。

根据本发明的示例性实施例，因为可使用手腕表达姿势，所以乘 客可方便地表达姿势。另外，根据本发明的示例性实施例，手的形状 的识别并不限于允许姿势被自由地识别。另外，根据本发明的示例性 实施例，因为乘客可用手操作方向盘，并且可容易地用另一只手控制 车辆内的各种电子设备的同时保持目光前视，因此能够改善乘客的便 利性和驾驶安全。

虽然本发明已结合目前被认为是示例性实施例的实施例进行了描 述，但可以理解的是，本发明不限于上述公开的实施例，而相反，其 可以覆盖被包含在所附权利要求的精神和范围内的各种修改或等同配 置。