基于插入点的用户界面交互行为

摘要

本发明涉及基于插入点的用户界面交互行为。基于插入点，提供对文档用户界面行为的自动操纵。在将插入点放置在已显示的文档内后，基于用户接下来的动作来调整用户界面的行为。如果用户在插入点附近开始拖拽动作，则使他/她能够与文档的内容(例如，选择文本的一部分或对象)进行交互。另一方面，如果用户在远离插入点的位置开始拖拽动作，则使他/她能够与页面交互(例如，平扫)。由此，交互行为被自动地调整而无需用户的附加动作或对用户动作的限制。

说明书

技术领域

本发明涉及用户界面交互行为，尤其是基于插入点的用户界面交互行为。

背景技术

通常采用光标和多个控制元件通过用户界面来操纵基于文本和对象的文档。用户可通过在通过光标的放置指示文档上的选择之前或之后激活一个或多个控制元件来与该文档进行交互。例如，文本的一部分或对象可被选择，随后用于该选择的编辑、复制等的控制元件被激活。随后使得用户能够执行与被激活的控制元件相关联的动作。

基于用户的动作，使用户能够与文档交互的用户界面的行为通常是受限的。例如，若是水平的拖拽动作，则该拖拽动作可以使用户能够选择文本的一部分或者一个或多个对象，而垂直(或其他)方向上的相同动作可以使用户能够平扫当前页面。在其他示例中，特定的控制元件可能必须被激活以在文本选择和页面平扫模式之间切换。由于平扫和选择姿势之间的冲突，使用带有普通用户界面的触摸设备的沉重的文本编辑任务可能会特别的困难。

发明内容

提供本发明内容以便以简化的形式介绍将在以下的具体实施例中进一步描述的一些概念。本发明内容并不旨在专门标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

各实施例涉及基于插入点的对文档用户界面行为的操纵。根据某些实施例，在将插入点放置在已显示的文档内后，可以基于用户随后的动作来调整用户界面的行为。如果用户在插入点附近开始拖拽动作，则可以使他/她能够与文档的内容(例如，选择文本的一部分或对象)进行交互。如果用户在远离插入点的位置开始拖拽动作，则可以使他/她能够与页面交互(例如，平扫)。由此，交互行为被自动地调整而无需用户的附加动作或对用户动作的限制。

通过阅读下面的详细描述并参考相关联的附图，这些及其它特点和优点将变得显而易见。可以理解，前述一般描述和以下的详细描述都是说明性的，并且不限制所要求保护的各方面。

附图说明

图1示出了基于基于触摸的计算设备中的插入点的用户界面行为操纵的示例；

图2示出了文档的一个示例用户界面，其中根据某些实施例基于插入点来操纵用户界面行为；

图3示出了文档的另一个示例用户界面，其中根据其他实施例基于插入点来操纵用户界面行为；

图4是可实现根据各实施例的系统的联网环境；

图5是可实现各实施例的示例计算操作环境的框图；以及

图6示出根据各实施例的基于插入点自动地操纵用户界面行为的过程的逻辑流程图。

具体实施方式

如以上简要地描述的，可以基于插入点来操纵文档用户界面行为，使用户能够取决于用户的动作相对于该插入点的位置而与页面的上下文或该页面本身进行交互。由此，可以使用户能够选择页面上的文本或对象，而不会意外地平扫页面或以其他方式与页面交互，也不会在用户期望与页面交互时进行干扰。

在以下详细描述中，参考了构成详细描述的一部分并作为说明示出各具体实施例或示例的附图。可组合这些方面，可利用其他方面，并且可以做出结构上的改变而不背离本发明的精神或范围。因此，以下具体实施例并不旨在限制，并且本发明的范围由所附权利要求及其等效方案来限定。

尽管在结合在计算设备上的操作系统上运行的应用程序执行的程序模块的一般上下文中描述了各实施例，但是本领域的技术人员会认识到各方面也可以结合其它程序模块实现。

一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其它类型的结构。此外，本领域的技术人员可以明白，各实施例可以用其它计算机系统配置来实施，包括手持式设备、多处理器系统、基于微处理器或可编程消费者电子产品、小型计算机、大型计算机以及类似计算设备。各实施例还能在任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实现。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备两者中。

各实施例可被实现为计算机实现的过程(方法)、计算系统、或者诸如计算机程序产品或计算机可读介质等制品。计算机程序产品可以是计算机系统可读并且编码包括用于使计算机或计算系统执行示例过程的指令的计算机程序的计算机存储介质。例如，计算机可读存储介质可经由易失性计算机存储器、非易失性存储器、硬盘驱动器、闪存驱动器、软盘或紧致盘和类似介质中的一个或多个来实现。

贯穿本说明书，术语“平台”可以是用于使用户能够与已显示的文档的内容和页面进行交互的软件和硬件组件的组合。平台的示例包括但不限于，在多个服务器上执行的托管服务、在单个计算设备上执行的应用以及类似系统。术语“服务器”一般指通常在联网环境中执行一个或多个软件程序的计算设备。然而，服务器还可以被实现为在被视作网络上的服务器的一个或多个计算设备上执行的虚拟服务器(软件程序)。以下提供关于这些技术和示例操作的更多细节。

参考图1，示出了基于基于触摸的计算设备中的插入点的用户界面行为操纵的示例。图1中所示的计算设备和用户界面环境用于说明目的。可以在各种本地计算环境、联网计算环境和利用各种计算设备和系统的类似计算环境中实现各实施例。

在普通用户界面中，通常基于多个手动步骤来限制用户与文档的交互，诸如激活一个或多个控件以在与页面交互和与该页面的内容交互之间切换。或者，限制可被施加在用户动作上。例如，水平的拖拽动作可以使用户能够选择文本(或对象)，而垂直的拖拽动作可以使用户能够平扫页面。后者尤其在基于触摸的设备中实现。

根据各实施例的一个系统基于插入点的位置和接下来的用户动作的位置来启用自动的用户界面行为操纵。这种系统可在基于触摸的设备或带有更多传统输入机制(诸如鼠标或键盘)的其他计算设备中实现。基于姿势的输入机制也可用于基于插入点的位置和接下来的用户动作的位置来实现自动的用户界面行为操纵。

在示例基于触摸的计算设备上示出用户界面100。用户界面100包括控制元件102以及带有文本内容104的文档的页面110。根据一个示例场景，用户108触摸页面110上的一点，放置插入点106。接下来，用户108可以执行从大约该插入点106开始的拖拽动作112。

用户界面114示出了拖拽动作112的结果。由于拖拽动作从用户界面100的大约插入点106处开始，文本内容104的一部分116被突出显示(指示选择)至用户动作结束的点。由此，用户不必激活附加的控制元件或者面对像仅限水平拖拽动作的限制。在选择文本部分后，可以通过下拉菜单、悬停菜单等(未示出)向用户提供附加动作。

用户界面118示出了在放置插入点106后的另一个可能的用户动作。根据该示例场景，用户执行另一个拖拽动作122，这一次在页面上远离插入点106的一点开始。在用户界面124中示出拖拽动作122的结果，其中(在拖拽动作的方向上)向上平扫页面110。由此，使用户能够直接地与页面交互，再次无需激活附加的控制元件或者面对像仅限垂直拖拽动作的限制。拖拽动作和所得平扫可以是任何方向上的，并且不限于垂直方向。作为远离插入点的用户动作的结果的与页面的交互不会更改如图所示的页面内容。

在图1所示的基于触摸的设备中，插入点放置和拖拽动作可通过触摸动作来输入，诸如在设备的屏幕上轻击或拖拽手指(或类似的物体)。根据某些实施例，它们也可经由鼠标/键盘动作来放置或与鼠标/键盘动作相组合。例如，包括鼠标的启用触摸的计算设备上的用户可以使用鼠标来点击以便放置插入点，随后用手指来拖拽。

图2示出了文档的示例用户界面，其中根据某些实施例基于插入点来操纵用户界面行为。如以上所讨论的，根据各实施例的系统可以结合基于触摸或其他输入机制来实现。在显示器200上示出图2的示例用户界面，该显示器200可被耦合到利用传统鼠标/键盘输入机制或基于姿势的输入机制的计算设备。在后者的情形中，诸如相机的光学捕捉设备可用于捕捉用于输入的用户姿势。

显示器200上的用户界面也呈现了带有文本内容232的文档的页面230。作为示例场景中的第一个动作，用户可在页面230上放置插入点234。插入点234在图2中被示为垂直线，但其表示不限于示例图示。任何图形表示可用于指示插入点234。为了将插入点234与自动移动的光标相区分，可以采用闪烁的记号、不同的形状、手柄235、或类似的机制。例如，插入点可以是文本上闪烁的光标，而不是自由移动的鼠标光标，自由移动的鼠标光标也可被表示为文本上的垂直线但不会闪烁。

与插入点234的位置相比，对用户界面行为的操纵可以基于接下来的用户动作的位置。为了确定使用户能够与文档的内容交互和与页面交互之间的边界，可以在插入点234周围使用预定义区域236。图2示出了用于接下来的用户动作的三个示例场景。如果接下来的用户动作起始于预定义区域236以外的点240或242，则可以使用户与页面交互。另一方面，如果接下来的用户动作始于预定义区域236以内的点238，则可以使用户与内容交互。例如，选择文本的一部分。可以基于输入方法来选择预定义区域236的大小。例如，对于鼠标输入可选择较小的区域，并且对于基于触摸的输入可选择较大的区域，因为那两种输入风格具有不同的准确性。

光标被移动时，手柄235可在接触几何形状下保持相同的相对放置。根据某些实施例，可以使用户能够调整手柄235以创建文本的定制范围。根据其他实施例，可以提供放大工具以放置插入点。为了触发基于触摸的设备中的放大工具，用户可以按下选择手柄以激活该手柄。当用户按在相同的位置并在预定义时段内不移动时，放大工具可以出现。在终止按压后，动作已完成并且选择手柄可被放置在所按压的位置。

图3示出了文档的另一个示例用户界面，其中根据其他实施例基于插入点来操纵用户界面行为。图3的用户界面包括在显示器300上呈现的页面330。与图2的示例不同，页面330包括文本内容332和图形对象352。

插入点334被放置在图形对象352旁边(或上面)。由此，如果接下来的用户动作始于插入点334周围的预定义区域336以内的点356，则可以使用户与内容(例如，图形对象352)交互。另一方面，如果接下来的用户动作始于页面的空白区域中的点354或者文本内容上的点358，则可以使用户与页面本身而非内容进行交互。

根据某些实施例，如果接下来的动作包括从插入点的拖拽动作，则向左和/或向右箭头335可以出现在插入点334的任一边，指示与内容的交互。一旦用户开始从插入点334进行拖拽，可以示出其移动方向上的箭头作为反馈。一旦拖拽动作已完成(例如，在基于触摸的设备上抬起手指)，可用选择手柄来指示选择的两个边缘。根据进一步的实施例，如果文档不包括可编辑的内容(例如，只读的电子邮件)，则用户界面可以不允许插入点被放置在页面上。

已经用特定的设备、应用、用户界面元件和交互描述了图1至图3中的示例系统。各实施例不限于根据这些示例配置的系统。用于基于插入点位置来操纵用户界面行为的系统可以在采用更少或附加组件以及执行其他任务的配置中来实现。此外，可以使用此处描述的原理以相似的方式来实现特定的协议和/或接口。

图4是可实现各实施例的示例联网环境。可经由在一个或多个服务器414上执行的软件(诸如托管服务)来实现基于插入点位置的用户界面行为操纵。该平台可以通过网络410来与诸如手持式计算设备411和智能电话412(“客户端设备”)等各个计算设备上的客户端应用进行通信。

在任一客户端设备411-412上执行的客户端应用可便于通过由各服务器414执行的或在单独服务器416上执行的应用进行的通信。在服务器之一上执行的应用可以提供用户界面，用于与包括文本和/或诸如图形对象、图像、视频对象和类似对象等对象的文档进行交互。用户与文档的页面上所示的内容或页面本身的交互可以基于相对于用户所放置的页面上的插入点的位置的用户动作的开始位置来自动地启用。用户界面可以适应基于触摸的输入、基于设备的输入(例如，鼠标、键盘等)、基于姿势的输入、和类似输入。该应用程序可直接或通过数据库服务器418从数据存储419中检索相关数据，并且通过客户端设备411-412将所请求的服务(例如文档编辑)提供给用户。

网络410可包括服务器、客户机、因特网服务供应商以及通信介质的任何拓扑结构。根据各实施例的系统可以具有静态或动态拓扑结构。网络410可包括诸如企业网络等安全网络、诸如无线开放网络等非安全网络、或因特网。网络410还可通过诸如公共交换电话网络(PSTN)或蜂窝网络等其他网络来协调通信。此外，网络410可包括诸如蓝牙或类似网络等短程无线网络。网络410提供本文描述的节点之间的通信。作为示例而非限制，网络410可以包括例诸如声学、RF、红外和其它无线介质等无线介质。

可以采用计算设备、应用、数据源和数据分发系统的许多其它配置来实现提供基于插入点的用户界面行为操纵的平台。此外，图4中所讨论的联网环境仅用于说明目的。各实施例不限于示例应用、模块、或过程。

图5及相关联描述旨在提供对其中可实现各实施例的合适计算环境的简要概括描述。参考图5，示出了根据各实施例的用于应用的示例计算操作环境(诸如计算设备500)的框图。在基本配置中，计算设备500可以是任何计算设备并包括至少一个处理单元502和系统存储器504，该任何计算设备根据各实施例来执行具有文档编辑用户界面的应用。计算设备500还可包括协作执行程序的多个处理单元。取决于计算设备的确切配置和类型，系统存储器504可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)或是两者的某种组合。系统存储器504通常包括适于控制平台操作的操作系统505，诸如来自华盛顿州雷德蒙市的微软公司的操作系统。

系统存储器504还可包括一个或多个软件应用，诸如程序模块506、应用522、以及用户界面交互行为控制模块524。应用522可以是文字处理应用、电子表格应用、演示应用、调度应用、电子邮件应用、日历应用、浏览器、和类似的应用。

应用522可以提供用于编辑文档或以其他方式与文档交互的用户界面，该文档可包括文本的或其他内容。用户界面交互行为控制模块524可以自动地使用户能够与内容交互或与页面直接地交互，而不激活控制元件或面对动作上的限制，诸如水平的或垂直的拖拽动作。与被用户或自动地(例如，文档被第一次打开时)放置在页面上的插入点相比，对用户界面行为的操纵可以基于用户动作(例如，拖拽动作)开始的相对位置。交互可包括但不限于基于触摸的交互、基于鼠标点击或键盘输入的交互、基于语音的交互、或者基于姿势的交互。应用程序522和控制模块524可以是分开的应用或托管服务的集成模块。该基本配置在图5中由虚线508内的那些组件示出。

计算设备500可具有附加特征或功能。例如，计算设备500还可包括附加数据存储设备(可移动和/或不可移动)，例如磁盘、光盘或磁带。在图5中通过可移动存储509和不可移动存储510示出这样的附加存储。计算机可读存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。系统存储器504、可移动存储509和不可移动存储510都是计算机可读存储介质的示例。计算机可读存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带、磁盘存储或其它磁存储设备、或能用于存储所需信息且可以由计算设备500访问的任何其它介质。任何这样的计算机可读存储介质都可以是计算设备500的一部分。计算设备500还可以具有输入设备512，诸如键盘、鼠标、笔、语音输入设备、触摸输入设备和类似输入设备。还可以包括输出设备514，诸如显示器、扬声器、打印机和其它类型的输出设备。这些设备在本领域中公知并且无需在此处详细讨论。

计算设备500还可包含通信连接516，该通信连接允许该设备诸如通过分布式计算环境中的有线或无线网络、卫星链接、蜂窝链接、短程网络和类似机制来与其他设备518进行通信。其他设备518可包括执行通信应用的计算机设备、web服务器和类似设备。通信连接(多个)516是通信介质的一个示例。通信介质可在其中包括计算机可读指令、数据结构、程序模块或其它数据。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。

各示例实施例还包括各种方法。这些方法可以用任何数量的方式，包括本文中所描述的结构来实现。一种此类方式是通过本文中描述的类型的设备的机器操作。

另一可任选方式是结合一个或多个人类操作者执行该方法的各个操作中的某一些来执行该方法的一个或多个操作。这些人类操作者无需彼此同在一处，而是其每一个可以仅与执行程序的一部分的机器同在一处。

图6示出根据各实施例的基于插入点自动地操纵用户界面行为的过程600的逻辑流程图。可以将过程600实现在能够通过处理器来执行指令的计算设备或类似的电子设备上。

过程600以操作610开始，其中响应于用户动作，在已显示的文档上创建插入点。通过矩形形状的用户界面，此处使用的文档可包括文本和其他数据的常用表示，但不限于那些。文档还可包括显示设备上的文本和其他数据的任何表示，诸如有界或无界表面。依赖于文档的内容类型，插入点可以位于文本内容或诸如图形对象、图像、视频对象等对象的旁边。在判定操作620，可以作出用户接下来的动作是否是从插入点的拖拽动作的判断。可以基于从插入点的预定义距离，将接下来的用户动作的起始位置与插入点的位置进行比较，该预定义距离根据某些实施例是基于物理或虚拟显示大小、预定义设置、和/或用于基于触摸的交互的手指(或触摸对象)大小可以是动态地调整的。

如果接下来的动作起始于插入点附近，则可以使用户能够与文档的内容(文本和/或对象)交互，诸如选择内容的一部分并随后在操作630被提供可用的动作。如果接下来的动作不起始于插入点附近，则在判定操作640作出动作是否起始于远离插入点处(诸如文本部分或页面的空白区域上的别处)的另一个判断。如果接下来的动作的起始点远离插入点，则可在操作650使用户能够与整个页面交互，诸如平扫页面、选择页面等。接下来的动作可以是任意方向上的拖拽动作，点击、轻击、捏合、或类似的动作。

包括在过程600内的各操作是用于说明目的。基于插入点位置的用户界面行为操纵可以使用此处所述的各原理通过具有更少或附加步骤的相似过程、以及不同的操作次序来实现。

以上说明书、示例和数据提供了对各实施例组成的制造和使用的全面描述。尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求和各实施方式的示例形式而公开的。