用于自动完成和对齐用户手势的系统和方法

摘要

一种导航系统包括被配置为检测用户手势的显示设备，包括其中存储有程序指令的数据存储设备，存储在数据存储设备内的地图，以及可操作地耦合至数据存储设备和显示设备的控制器，并且该控制器被配置为执行程序指令以从显示设备接收与第一用户手势的第一部分相关联的第一用户手势数据(154)，基于所存储的地图的图形特征与第一用户手势数据的几何形状之间的关联而生成第一预测的用户手势数据(160)，并且在用户继续第一用户手势时，控制显示设备以呈现出第一预测的用户手势数据。

说明书

技术领域

本公开总体上涉及诸如在车辆中使用的导航系统。

背景技术

对于导航系统，例如车内系统，语音提供了一种交互的自然形态。然 而，语音被语言的局限所限制。例如，如果用户想要在特定地理区域或街 的特定段查找餐厅或其它兴趣点(POI)，则用户很难使用语言来描述该特 定地理区域。

一些在包括触摸屏的系统中解决了语音的局限。在这样的一些系统中， 用户可使用“手势”围绕地图上的特定地理位置而“画出”圆圈。在位于 所示出的地图之上的图层中进行该绘画。然后系统将所画出的几何形状应 用到下面的地图来具体识别感兴趣的地理区域。这样的一些系统可以识别 形状、线、和点形式的用户手势。因此，用户可以使用圆形手势来标识特 定地理区域，或使用线形手势来标识街道。在一些已知系统中，一旦使用 手势标识出了特定地理区域，就可以提取出关于该特定地理区域内的特定 POI的各种信息并发送给用户。

虽然在很多方面有利，但是已知系统也具有很多局限。以示例的方式 来说，虽然一些系统包括一种误差校正形式，在该形式中根据形成不完美 几何形状的一个或多个手势来识别出地理形状，但是用户仍然必须大体上 完成该形状并且接着等待以查看系统是否正确地识别该形状。对于大体上 完成对该形状的绘画并且接着等待以查看系统是否正确地识别该形状的需 要导致了不期望的复杂化和延迟。特别是在车辆驾驶员正尝试作出图形的 情况下，这样的复杂化和延迟可能分散注意力。

需要一种使用部分手势就能直觉地识别地理形状的导航系统。能够基 于用户手势数据预测地理区域并且使所预测的手势数据符合用户期望的地 图的地理特征的导航系统将是有益的。

发明内容

根据一个实施例，一种导航系统，包括被配置为检测用户手势的显示 设备，包括存储于其中的程序指令的数据存储设备，存储在数据存储设备 内的地图，以及可操作地耦合到数据存储设备和显示设备的控制器，该控 制器被配置为执行程序指令以：从显示设备接收与第一用户手势的第一部 分相关联的第一用户手势数据，基于所存储的地图和第一用户手势数据和/ 或来自另一个用户输入形态(例如，声音信道)的信息而生成第一预测的 用户手势数据，并且在用户继续第一用户手势时，控制显示设备以呈现出 第一预测的用户手势数据。

在进一步的实施例中，一种导航系统包括，被配置为检测用户手势的 显示设备，包括存储于其中的程序指令的数据存储设备，存储在数据存储 设备内的地图，以及可操作地耦合到数据存储设备和显示设备的控制器， 该控制器用于执行程序指令以：从显示设备接收与用户手势的第一部分相 关联的第一用户手势数据，基于所存储的地图和第一用户手势数据而生成 预测的用户手势数据，其中该预测的用户手势数据符合地图的地理特征， 并其控制显示设备以呈现出该预测的用户手势数据。

附图说明

图1是被配置为在车辆中实现导航系统的控制系统的示意图。

图2是用于获取手势数据并基于获取的数据和相关联的地图的地理特 征来预测最终用户手势的过程的框图。

图3是示例性用户界面屏幕，其显示出所做手势并显示相关联的预测 的最终用户手势。

图4是示例性用户界面屏幕，其显示出所做手势以及预测的最终用户 手势和相关联的预测的最终用户手势。

图5是示例性用户界面屏幕，其显示出所做手势和相关联的预测的最 终用户手势。

图6是示例性用户界面屏幕，其显示出所做手势以及基于声音形态数 据的相关联的预测的最终用户手势。

图7是示例性用户界面屏幕，其显示出所做手势和相关联的预测的最 终用户手势。

图8是在用户选择了所述相关联的预测的最终用户手势并通过拖拽相 关联的预测的最终用户手势的一部分对所述相关联的预测的最终用户手势 进行修改后的图7的示例性用户界面屏幕。

图9是图7的示例性用户界面屏幕，其显示了基于用户手势修改数据 的相关联的预测的最终用户手势。

图10是在用户选择了相关联的预测的最终用户手势并通过拖拽相关联 的预测的最终用户手势的一部分对相关联的预测的最终用户手势进行修改 后的图5的示例性用户界面屏幕。

具体实施方式

图1为导航系统100的示意图。该导航系统可被实现在，例如手持计 算机、个人数字助理，蜂窝电话、网络应用设备、照相机、智能电话、媒 体播放机、游戏机、车辆控制台系统、或者这些数据处理设备或其它数据 处理设备中的任意两个或多个的组合。在一个示例中，导航系统100是车 辆导航系统并位于在车辆102中。导航系统100包括控制器104、存储器 107、显示器110、音频输出112、输入设备120、射频(RF)接收器122、 和定位系统接收器124。

控制器104是电子处理设备，例如微控制器、专用集成电路(ASIC)、 现场可编程门阵列(FPGA)、包括来自x86和ARM系列的微处理器的微处 理器、或者被配置为执行本文中描述的功能的任何电子设备。控制器104 可实现包括用于生成可视显示数据的图形处理单元(GPU)，以及用于生成 可听输出信号的音频数字信号处理器(DSP)在内的软件和硬件功能单元。 控制器104被配置为执行对应于一个或多个软件程序的指令。虽然图1示 出了使用单个控制器104的车辆信息系统100，但是各种定位系统可使用一 个或者多个控制器。可以使用片上系统(SoC)配置中的硬件或者软件而将 由存储器107、和RF接收器122所提供的功能中的一些或所有功能与控制 器104集成。

存储器107可包括一个或多个数据存储系统，例如随机存取存储器 (RAM)106、非易失性数据存储系统、或其组合。可以由使得控制器104 能够在随机存取中加载并存储来自存储器设备的数据的任意存储器设备来 实施RAM 106。示例实施例包括动态RAM(DRAM)和静态RAM(SRAM)。 RAM 106可操作地耦合到控制器104并且控制器104可以加载并存储RAM  106中的程序指令和数据。在典型的实施例中，RAM 106是易失性的，这 意味着在断电情况下，RAM 106中的内容被擦除。

非易失性数据存储设备108可被实现为硬盘驱动器、固态驱动器、或 被配置为在缺少外部供电电源时保存数据的任何数字存储设备。数据存储 设备108可操作地与控制器104耦合。数据存储设备108读取存储的数据 并提供该数据至控制器104，而且响应于来自控制器104的写指令而写数据。 数据存储设备108被配置为保持一个或多个存储的程序126和存储的数据 128。存储的程序(本文中也称为“程序指令”)126包括用于实现操作系统 的可执行代码和在操作系统中执行的一个或多个用户空间程序。示例性用 户空间程序包括网络浏览器和网络服务器。

数据存储设备108还存储象征性地图130。象征性地图130是不仅详述 了道路的实际位置，而且详述了道路的车道(lanes)的实际位置的地图。 在其它实施例中，使用这样的导航地图：其仅将未分道道路的位置描述为 单条线，并将已分道道路的位置描述为两条线(每个方向对应一条线)。在 一些实施例中，地图130识别诸如商场、高楼等建筑的占用区域。

存储的数据128包括供运行中的一个或多个存储的程序使用的各种数 据文件。存储的数据128包含一组或多组配置数据，该一组或多组配置数 据定义了针对存储的程序数据128中的程序的用户接口的格式。所述配置 数据可包括定义了用于生成用户接口的规则的CSS和XSLT文件。数据存 储设备108的一个实施例包括多个数据存储设备，其中一个数据存储设备 被固定地安装在车辆102中并且保持程序指令126，而保持数据的第二数据 存储设备被配置为连接到车辆102并从车辆102中移除。

显示器110包括至少一个可视显示设备，例如液晶显示器(LCD)、有 机发光二极管(OLED)显示器、或投影设备。不同的车辆配置可以在车辆 102的各个位置处包括一个或多个显示设备，其包括当操作员操作车辆102 时在驾驶员前面投影图像的抬头显示器(heads-up display)。控制器104可 操作地耦合到显示设备110并生成对应于用于在显示设备110上显示或由 显示设备110显示的文字和图形的信号。显示设备110将生成的信号转换 为可视输出。在一个实施例中，显示设备110包括触摸屏接口，触摸屏接 口使得操作员能够触摸显示器110的一个或多个部分来输入命令。控制器 104被配置为响应于从显示器110接收生成的信号来采取一个或多个动作。

音频输出112通常包括被可操作地耦合到控制器104的一个或多个音 频扬声器。音频输出112可包括各种滤波器和放大器以用于在输出之前处 理音频信号。控制器104为音频输出112生成一个或多个音频信号，其包 括从RF接收器122接收到的或保持在存储的数据128中的音频和音乐。音 频输出112还发出声音，该声音对应于控制器104在操作过程中生成的合 成语音信号。

RF接收器122被配置为在不同频率上使用不同的调制技术来接收射频 发射。通常的示例包括模拟AM和FM广播、地面数字广播、卫星广播、 还有地面和卫星视频传送。控制器104可以被配置为解码从RF接收器122 接收到的数据并分别为显示器110和音频输出112而生成对应的视频和音 频信号。在替换配置中，RF接收器122直接为显示器110和音频输出112 生成信号，并向控制器104提供元数据。各种形式的元数据包括音频和视 频名称、艺术家信息、播放长度，、音频视频码速率、和可通过显示器110 和音频输出112提供给操作员的其它信息。

定位系统124可以是全球定位系统(GPS)接收器、地面无线导航系统 接收器、或能够得到定位信息的其它系统。在一个示例中，定位系统124 可以是商用GPS接收器，其提供大约为10米或少于10米的标称精度。GPS 接收器124接收GPS信号以为了确定设备在地球上的当前位置这个目的。 在一些实施例中，在GPS接收器124中提供有存储的地图130。GPS接收 器124可通过显示器110和/或音频输出112向车辆102的乘员提供建议的 导向。

在操作中，控制器104从数据存储设备108获取程序指令126并执行 程序指令126，以自动完成用户手势并且将用户手势与象征性地图130的显 示的特征自动对齐。参考图2描述了用于将用户手势自动完成并将用户手 势与象征性地图130的显示的特征自动对齐的方法。

图2描述了过程150，过程150开始于在非易失性数据存储设备108 内存储象征性地图130(块152)。象征性地图130可被存储在车辆提供的 非易失性数据存储设备108中或被存储在独立获取的非易失性数据存储设 备108中，例如在便携式GPS接收器中的存储器。象征性地图130可被周 期性地更新，例如通过使用从RF接收器122获取的数据来提供更新的车道 数据，例如在施工期间建立的交叉车道，以及新定义的地理区域。

在块154，从显示器110获取手势数据。在一个实施例中，当用户物理 地触摸显示器110时，获得手势数据。在另一个实施例中，通过使用照相 机或不需要物理接触的其它检测器而追踪目标来获得手势数据。在块155， 也可获取来自诸如声音或键盘的其它形态的数据。

控制器104将获取的手势数据与从存储的地图130中获取的显示的地 理特征相关联(块156)。在进行关联的过程中，在一些实施中，将来自其 它形态的数据与手势数据结合起来。将在下文进一步描述基于其它形态的 关联。

一旦手势数据已与显示的地图相关联，在块158，控制器104确定是否 已经获取了用于预测用户所希望的手势的足够的手势数据。当用户在做出 手势时，块158的该决策第一次发生。如果足够的数据可用，则在块160， 控制器在块160预测所希望的最终用户手势。如果在块158没有足够的数 据，则过程进入块162。

如果在块162用户尚未停止手势，则过程继续到块154并且获取额外 的手势数据。如果在块162用户未做手势，则过程继续到块160并且由控 制器104使用获取的手势数据来生成预测的手势。然后在块164，控制器尝 试将预测的最终用户手势与地图的地理特征相关联。该关联可以基于该预 测的最终用户手势与该地图的地理特征之间的期望相关因子。

通过示例的方式，如果预测的最终手势为线或者多段线(poly-line)， 则控制器104可以尝试将该预测的最终手势与地图中的一个或多个道路相 关联。该预测的最终手势和该特定道路之间的相关可以基于所获取的手势 数据和一个或多个道路之间的距离，以及所获取的手势数据对该一个或多 个道路到的总体形状遵循程度而进行。

在所述预测的最终手势为闭合形状的情况下，控制器104首先尝试将 该闭合形状与定义的地理区域，例如公园、商场、或机场相关联。如果展 现出足够的相关，则该预测的最终手势与定义的地理区域相关联。在用户 除了提供手势外还提供了声音指令的实施例中，该声音指令可用于辅助将 手势与地理区域相关联。因此，如果用户说出“机场”、或“商场”、或“公 园”，则即使用户手势不十分精确也能够展现足够的相关。如果没有与所预 测的最终手势充分相关的定义的地理区域，则该预测的最终手势与最接近 的几何形状(例如，圆、椭圆、方形等)相关联。

在块158、160、和164，可以以多种方式修改该系统以更好地针对特 定情况而执行。因此，在一些实施例中，在块164，可以使用预测的最终用 户手势与地理特征之间低的相关阈值。在低阈值实施例中，第一相关联的 预测的最终手势可以是线，该线与大体上沿该用户手势延伸的最近的街道 相关联。在其它实施例中，在块164，使用预测的最终用户手势与地理特征 之间高的相关阈值。在高阈值实施例中，第一相关联的预测的最终手势可 以是线或更复杂的形状。由于高阈值系统具有更高的相关阈值，因此与第 一预测的手势相关联的信心因子将更高。

在一些实施例中，在块164中使用的相关阈值和在块158使用的数据 阈值根据控制器104产生了多少次预测的手势而变化。在一些实施例中， 在块160，之前预测的手势将从进一步的预测的手势中排除。

一旦预测的最终用户手势已与几何形状或地理上定义的特征(道路， 公园轮廓等)相关联，则在块166，显示该相关联的预测的最终用户手势。 然后，控制器104确定用户是否接受该相关联的预测的最终用户手势(块 168)。如果该相关联的预测的最终用户手势被接受，则过程150在块170 停止。在一些实施例中，仅通过用户手势的终止来指示该接受。

如果该相关联的预测的最终用户手势未被接受，则在块162继续该过 程。在一些实施例中，在块166处显示了该相关联的预测的最终用户手势 之后，超出预先确定的时间的继续进行的用户手势是对所显示的该相关联 的预测的最终用户手势的拒绝。如果该相关联的预测的最终用户手势未被 接受，则随后该过程获取额外的手势数据(块154)以生成第二预测的最终 用户手势。

如上所述，在一些实施例中，将最终用户手势与有关的地理实体对齐 并且在屏幕上显示该对齐以更好的展示。图3示出了用户在其上画出手势 182的显示180。在该实施例中，当正在做手势时，控制器104生成该实际 用户手势的显示线，从而使得甚至在显示预测的手势之前，用户就可以具 有关于所检测的用户手势的反馈。

图3进一步示出了显示180’，其中控制器104已使得相关联的预测的 最终用户手势184被显示。通过比较手势182与预测的最终用户手势184 明显的是，控制器104将手势182与道路形式的地理特征对齐，该道路与 手势182分开但是该道路遵循手势182的总体程度。

图4示出了显示190，其中用户在显示190上画出了手势192。该手势 192不是完整的形状，但是基于手势192和显示190中的地理特征，控制器 104确定该最终用户手势为闭合椭圆。该预测的最终用户手势通过预测的最 终用户手势194而显示在显示190中。然而，控制器104进一步确定该最 终预测的用户手势194与地理特征196相关联，在该示例中该地理特征196 为机场。由此，控制器104生成显示190’，在显示190’中显示相关联的 预测的最终手势198。

在一些实施例中，显示预测的最终用户手势(来自块160)和相关联的 预测的最终用户手势(来自块164)。在其它实施例中，只显示相关联的预 测的最终用户手势(来自块164)。在显示预测的最终用户手势和相关联的 预测的最终用户手势这两者的实施例中，可使用不同颜色或一些其它特性 来允许用户区分所显示的预测的手势。

如上所讨论的，将来自其它形态的数据包含在内可以用来辅助将手势 与地理区域相关联。通过进一步的示例的方式，图5示出了具有手势202 的显示200。由于手势202不具备与机场204的足够的相关，系统100仅生 成圆形手势206。

图6示出了相同的显示200和手势202。然而，在图6的实施例中，用 户通过说出“机场”而提供了声音形态数据。由此，系统100使用该额外 的声音形态数据将手势202与机场204相关，并且因此呈现出符合机场204 的界线的相关联的预测的最终用户手势208。

一旦显示了相关联的预测的手势，用户就可以修改所显示的相关联的 预测的手势。图7描述了具有预测的最终用户手势222的显示220。预测的 最终用户手势222与用户想要显示的接近。然而，用户想要避免通过十字 路口224。由此，用户仅选择预测的最终用户手势222，例如通过触摸预测 的最终用户手势222或通过说“变更路线(reroute)”，并且接着将预测的最 终用户手势222的一部分拖拽到图8中所示的期望的旁路226。作为响应， 系统100生成新的预测的最终用户手势，并呈现出绕过十字路口224的相 关联的预测的手势228(见图9)。

在另一个实施例中，用户仅选择该手势并擦除路线的一部分来迫使系 统100生成不包括所擦除部分的新路线。可以通过使用乱画动作或者在要 擦除区段上画“x”来擦除手势的一些部分。在一些实施例中，使用了仅选 择手势的该区段并说出命令“擦除”。

参考图7-9所描述的对手势的“点击和拖拽”修改同样可以用于图5 的手势206。这在不包括诸如声音命令这样的形态的实施例中尤其有用。由 此，如果呈现出了圆形手势206并且用户想要标识机场204，用户仅选择手 势206并且如图10的手势230所表明的那样拉伸手势206以覆盖机场。然 后系统100将手势230与机场204相关，并呈现出图6的显示200。

上文描述的显示各种类型预测的手势的过程为用户提供了手势与所识 别的地理实体正确匹配的反馈。

在一些实施例中，导航系统100进一步被配置为用于筛选兴趣点(POI)。 在一些实施例中，这通过进入POI模式而完成。在一些实施例中，针对POI 模式定义了点形式的手势。当识别出“点”手势时，仅在地图上显示由该 点所详细指明的位置附近的POI。使用默认半径来定义“附近”POI，在以 该点手势为中心且在默认半径范围内的圆内显示该附近POI。

在一些实施例中，针对POI模式而定义了“线”手势。当识别出线手 势时，在地图上显示位于该线上或在该线附近的POI。为了查找POI，对该 线进行取样并查找在取样点附近的POI。为了检查POI是否位于该线上， 可以计算该POI与该线之间的距离。如果距离在定义的阈值范围内，则将 该POI视为位于该线上。在一些实施例中，用户定义线与POI之间所允许 的距离以便使得该POI被认为位于该线上。

在一些实施例中，针对POI模式而定义了“圆”手势。当识别到出圆 手势时，在地图上仅显示位于该圆内的POI。为检查POI是否位于该圆内， 计算该POI与该圆的中心点之间的距离。如果该距离小该于圆的半径，则 该POI被视为位于该圆内。在一些实施例中，用户定义所允许的半径。可 以通过选择该手势并接着拖拽该圆的一部分以增加圆的尺寸来完成对圆的 半径的用户定义。由此，如果在原始圆中未识别出POI，则用户可以很容易 地增大该圆的尺寸以识别更大的地理区域。

在一些实施例中，针对POI模式而定义了“椭圆”手势。当识别出椭 圆手势时，在地图上仅显示位于该椭圆内的POI。为了查找椭圆内的POI， 识别出位于圆外区域内的POI，并且接着由该椭圆来筛选POI。

在一些实施例中，针对POI模式而定义了闭合手势。如果识别出闭合 手势，则在地图上仅显示位于该闭合手势内的POI。该闭合手势的第一点和 最后一点可以被连接在一起以形成闭合区域。为了查找该闭合区域内的 POI，控制器104首先查找该闭合手势的最接近的外围圆周中的POI。对每 一个找到的POI，控制器104确定该POI是否落入由该闭合手势所围住的 区域内。

在一些实施例中，针对POI模式而定义了开放手势。如果识别出开放 手势，则在地图上仅显示位于该开放手势上的POI。在一个实施例中，该开 放手势被视为具有很多小线段的多段线。在另一个实施例中，识别出针对 该开放手势上的所有点的回归线，并且该回归线用于查找POI。由被视为多 段线的开放手势来筛选已查找到的POI。该开放手势可以被采样以减少计算 的数量。

在一些实施例中，针对POI模式而识别出多段线。如果识别出多段线， 则在地图上仅显示位于该多段线上或该多段线附近的POI。为了查找POI， 采样该多段线以识别采样点附近的POI。为了检查POI是否位于多段线上， 计算从该POI到该多段线中的所有线段的距离。将最小距离作为该POI与 该多段线之间的距离。如果该距离在定义的阈值范围内，则该POI被视为 位于该多段线上。

一旦使用前述手势中的任意手势而识别出了一组POI，就可以使用额外 的手势来修改所显示的POI。通过示例的方式，可以使用点手势来“选择” 所显示的POI。一旦进行了选则，关于该POI的额外信息就可以被显示。 此外，系统100配置从而使得另一个用户手势可以用于从显示中删除所选 则的POI。通过示例的方式，可以跨POI而画出“X”以向控制器104表明 该POI应当从显示中移除。由此，用户能够筛选POI。

如上所述，系统100被配置为允许用户“选择”特定的手势。在选择 了手势后，用户可以通过拖拽或其它动作来修改其形状或大小。用户还可 以通过将“来回(back-and-forth)”手势应用在要删除的手势上来删除手势。 该“来回”手势被称作“擦除手势”。擦除手势的形式不局限于“来回”移 动。它可以是任何其它定义的移动。擦除手势可应用到整个屏幕以清除该 屏幕。

所以，可以使用手势来识别起点、目的地、经过的地点、以及线路规 划过程中要避开的地点。可以使用“点手势”来识别起始地点、目的地点、 和/或临时经停地点。线、多段线或开放手势可以用于识别目的街道(街道 的中点可以用于作为目的地点)、要经过的街道或要避开的街道。圆、椭圆 或闭合手势可以用于识别目标区域(圆、椭圆或闭合手势的中心可以用于 作为目的地点)、要经过的区域或要避开的区域。

尽管上文描述的手势用于识别相对大的地理区域，但是这些手势还能 用于识别较小的区域。由此，建筑(例如商场或高楼)的占用空间，可以 由地图130绘出并与手势相关联。然后系统100用于识别在特定建筑内的 POI。此外，手势与地图130的特征的相关联并不局限于地理区域。手势还 可以与存储在地图130中的名称相关联。所以，用户可使用手势来圈出城 市、建筑或者地点的名称。作为响应，系统100呈现出关于城市、建筑或 地点的地理界线的相关联的用户手势。通过示例的方式，关于图5中的名 称“圣何塞国际机场”的手势导致图6中的相关联的预测的最终用户手势 208。

尽管在图和前文描述中详细示出并描述了本发明，但是这些在特性上 应当被认为是示例性的而非限制性的。应当理解仅展示了优选的实施例并 且期望要保护在本发明的精神范围内的所有变化、修改和进一步应用。