首页> 中国专利> 通过自由形式的草绘来参与演示

通过自由形式的草绘来参与演示

摘要

在此描述的各种技术涉及在显示屏上呈现图形对象。从图形对象的数据集中指定所选值属性的指示以及用于图形对象的示例图标可被接收到。示例图标是笔划群集,其中笔划是可被显示在显示屏上的标记。图形对象基于该示例图标以及来自数据集的所选值属性的数据来生成。图形对象包括示例图标的基于来自数据集的所选值属性的数据分别修改的实例。图形对象可被致使显示在显示屏上。包括在图形对象中的示例图标的各实例的笔划的创建可被记录以供后续重放。图形对象可被注释和/或通过过滤数据来修改。

著录项

  • 公开/公告号CN105074640A

    专利类型发明专利

  • 公开/公告日2015-11-18

    原文格式PDF

  • 申请/专利权人 微软技术许可有限责任公司;

    申请/专利号CN201480004937.4

  • 发明设计人 B·李;G·R·史密斯;K·R·哈比伯;

    申请日2014-01-14

  • 分类号G06F3/0481;

  • 代理机构上海专利商标事务所有限公司;

  • 代理人胡利鸣

  • 地址 美国华盛顿州

  • 入库时间 2023-12-18 12:06:53

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-03-08

    授权

    授权

  • 2015-12-16

    实质审查的生效 IPC(主分类):G06F3/0481 申请日:20140114

    实质审查的生效

  • 2015-11-18

    公开

    公开

说明书

背景

信息可视化涉及使用视觉上呈现的信息来获得洞察以探索否则将被隐藏 在复杂性或原始量中的底层模式和数据的位之间的解锁关系。信息可视化研究 团体在过去几十年中已经产生了各种系统和技术来使得能够实现对数据的探 索并促进可视地获取这种洞察。没有很好研究的是在向其他人员演示视觉信息 时体现的实际沟通动作,虽然这样的演示经常是信息探索任务中的最终目标。 例如,信息的定制图形表示通常被报告者、研究者和统计师来用于向观众传达 概念性信息。这些表示可包括用定制图标绘制的图表(例如,条形图表、线形 图表等),这些定制图标被专门设计来快速且清晰地传达复杂信息。通常用复 杂的图形工具创建的这些信息可视化可以是既美观又有表现力的。然而,这种 可视化通常可以是静态的,遗漏对于实况故事叙述者可用的沟通能力的完整呼 吸。

另一常用的技术涉及白板动画,也被知晓为视频划线(scribing)。白板动 画是视觉沟通技术,其中演示者可产生动态草绘序列连同同步的叙述来生动地 表达故事。取决于其创新性且有表现力的图形风格,白板动画已经越来越吸引 观众和有艺术倾向的演示者,并且已经在诸如广告和教育等领域变得越来越流 行。然而,生成高质量的白板动画是耗时且可能昂贵的。此外,其与数据通信 的能力由于依赖于以下而受到限制:演示者的用于在实况演示期间以视觉上吸 引人的方式制定和呈现底层数字的数字和艺术能力。

概述

本文描述了涉及在显示屏上呈现图形对象的各个技术。从图形对象的数据 集中指定所选值属性的指示以及用于图形对象的示例图标可被接收到。示例图 标是笔划群集,其中笔划是可被显示在显示屏上的标记。图形对象可基于该示 例图标以及来自数据集的所选值属性的数据来生成。此外,图形对象可包括示 例图标的基于来自数据集的所选值属性的数据分别修改的实例。图形对象可被 致使显示在显示屏上。此外,包括在图形对象中的示例图标的各实例的笔划的 创建可被记录为准备好的演示的一部分以供后续重放。图形对象还可被注释、 通过过滤来自数据集的所选值属性的数据、它们的组合等来修改。

根据各个方面,呈现系统可支持个性化且有表现力的图形对象(例如,数 据图表、地图等)的创建。例如,用户可草绘用于图形对象的示例图标,并且 呈现系统可通过基于来自数据集的数据合成示例图标来自动地完成图形对象。 此外,呈现系统允许用户与图形对象进行交互。此外,呈现系统可支持记录和 回放准备好的演示。

以上概述呈现了简化概述,以便提供对本文讨论的系统和/或方法的某些方 面的基本理解。本概述并不是对本文所讨论的系统和/或方法的全面综述。并不 旨在标识关键/重要元素,也不描绘这样的系统和/或方法的范围。其唯一目的 是以简化形式呈现一些概念,作为稍后呈现的更详细说明的序言。

附图简述

图1示出了促进生成基于自由形式的草绘的演示和/或在显示屏上渲染这 样的演示的示例性系统的功能框图。

图2示出了促进通过合成示例图标来自动地创建图形对象的示例性系统的 功能框图。

图3-4示出关于接收用于图形对象的示例图标的各个示例性场景。

图5示出能够生成和/或操纵图形对象的示例性系统的功能框图。

图6示出用于准备演示和/或回放准备好的演示的示例性系统的功能框图。

图7-16示出了由本文描述的呈现系统生成的演示的用户界面的示例性序 列。

图17-18示出了由本文描述的呈现系统生成的演示的用户界面的另一示例 性序列。

图19是示出用于在显示屏上呈现图形对象的示例性方法的流程图。

图20是示出用于在显示屏上呈现图形对象的示例性方法的流程图。

图21示出了示例性计算设备。

详细描述

现在参考附图描绘了涉及创建包括自动地从自由形式草绘中创建的(诸) 图形对象的演示的各种技术,所有附图中使用相同的附图标记来指代相同的元 素。在以下描述中,出于解释的目的,提出了众多具体细节以提供对一个或多 个方面的全面理解。然而,显然这(些)方面可以在没有这些具体细节的情况 下被实践。在其他实例中,以框图形式示出公知的结构和设备以便于描述一个 或多个方面。另外,要理解,被描述为由特定系统组件执行的功能性可由多个 组件执行。类似地,例如,一组件可被配置成执行被描述为由多个组件执行的 功能。

此外,术语“或”意指包括性“或”而非排斥性“或”。即,除非另有指定或从 上下文显而易见,否则短语“X采用A或B”意指任何自然的包括性排列。即, 短语“X采用A或B”藉由以下实例中任何实例得到满足:X采用A;X采用B; 或X采用A和B两者。另外,本申请和所附权利要求书中所使用的冠词“一” 和“某”一般应当被解释成表示“一个或多个”,除非另外声明或者可从上下文中 清楚看出是指单数形式。

如本文中阐述的,各种技术支持个性化且有表现力的图形对象(例如,数 据图表、地图等)的创建。用户可草绘一示例图标,并且呈现系统可通过基于 来自数据集的数据合成该示例图标来自动地完成图形对象。此外,呈现系统允 许用户与图形对象进行交互。此外,呈现系统可支持记录和回放准备好的演示。 在回放期间,准备好的演示可在重放期间被重放为(例如,当递送准备好的演 示时通过用户)被记录和/或更改;由此,步骤序列可被记录,并且序列中的步 骤可在重放期间按序执行,附加的(诸)步骤可在重放期间被添加到序列中, (诸)步骤可在重放期间从序列中移除和/或序列的(诸)步骤可在重放期间被 修改。呈现系统可充分利用草绘的表现力和自由形式性质来用于交互式且有机 的图形对象的创建以供数据呈现和使用数据来叙述故事。

现在参考附图,图1示出了促进生成基于自由形式的草绘的呈现和/或在显 示屏幕110上渲染这样的呈现的系统100。系统100包括计算设备102,其进 一步包括呈现系统104。系统100还包括被配置成接收来自用户108的输入数 据的传感器106。用户108可利用实质上任意输入装置,其中传感器106被配 置成感测这样的输入装置的移动和/或位置。可被用户108采用的输入装置的示 例包括但不限于,用户108的一根手指(或多根手指)、用户108的一只手(或 多只手)、交互式白板笔(本文中称为笔)、指示笔、它们的组合等。

传感器106可输出指示输入装置的移动和/或位置的数据,并且这样的数据 可被计算设备102接收。显示屏110可以与计算设备102通信,使得计算设备 102可致使显示屏110显示用户界面112。更具体地,呈现系统104可被配置 成致使显示屏110显示用户界面112。用户界面112可包括可被显示在显示屏 110上的画布的图形描绘以及图形对象(例如,图表、地图等)、注释、多媒 体内容等。此外,呈现系统104可动画化对包括在显示在显示屏110上的用户 界面112中的这种视觉元素的创建和/或操纵。

构想了,传感器106可实质上是能接受来自用户108的输入的任意类型的 传感器。例如,传感器106可以是启用手势的跟踪垫、触敏显示屏(例如,传 感器106可被集成到显示屏110内)、鼠标、相机、话筒、遥控器、键盘、它 们的组合等。根据各实施例,构想了,传感器106可依赖语音识别、触摸和指 示笔识别、显示屏110上和靠近显示屏110两者的姿势识别、空中姿势、头部 和眼部跟踪、声音和语音、视觉、触摸、姿势等。此外,传感器106可被配置 成输出指示位置和/或移动的数据。输出数据可被呈现系统104利用,其可致使 对显示在显示屏110上的用户界面112的反映用户108意图的修改。

根据一示例,传感器106可以是启用姿势的跟踪垫。继续这个示例,启用 姿势的跟踪垫可输出指示用户108的一根手指(或多根手指)的位置和/或移动 的数据。呈现系统104可获得这样的数据并致使显示在显示屏110上的用户界 面112被修改。

作为另一示例,传感器106可以是鼠标。继续这个示例,通过移动鼠标和 选择鼠标上的一个或多个按钮,用户108可致使鼠标输出指示用户输入的数据。 呈现系统104可接收这样的数据并可致使对显示在显示屏110上的用户界面 112的修改。

根据进一步的示例,传感器106可被集成到显示屏110内;继续这个示例, 显示屏110可以是交互式显示屏。例如,交互式显示屏可以是数字白板、交互 式显示表面、触摸表面、基于笔的表面等。用户108可将他的一根手指(或多 根手指)或笔在显示屏110上移动,就好像用户108在画布上绘画。呈现系统 104可致使显示在显示屏110上的用户界面112至少部分基于感测到的用户108 的一根手指(或多根手指)或用户108使用的笔在显示屏110上的移动来被更 新。

根据本文阐述的多个示例,用户108可在显示屏110(例如,交互式显示 屏)上使用笔触摸来绘画并在显示屏110上使用手指触摸来操纵包括在显示在 显示屏110上的用户界面112中的视觉元素。呈现系统104可在笔和手指交互 之间区分具有用于图形对象创建和操纵的显式模式的角色以减轻;由此,呈现 系统104可使得能够使用笔来绘制图形对象、注释等并使用手指触摸来操纵这 样的视觉元素。由此,例如,演示者可在不显式地改变模式的情况下用触摸来 移动、选择等视觉元素(例如,图形对象、选中的笔划分组等)。然而,构想 了所要求保护的主题并不被限于以上;例如,手指触摸可被用于绘制并且笔触 摸可被用于操纵视觉元素,用于创建和操纵视觉元素的显式模式可被使用等。

如本文中更加详细描述的,呈现系统104被配置成通过实时地合成用户108 提供的示例图标来自动地生成图形对象。附加地或替换地,呈现系统104可使 得能够创作准备好的演示,其能此后被重放。再次,呈现系统104可支持当用 户108创建准备好的演示时通过合成用户108提供的示例图标来自动生成图形 对象。

呈现系统104可通过从自由形式草绘示例图标中合成来自动地生成图形对 象(例如,数据图表、地图等)。这种方式可保留草绘的有机外观并促进创建 有表现力的图形对象(例如,数据图表、地图等),同时减少手工绘制负担。 因此,由于用户108(例如,演示者)可在呈现系统104完成图形对象的同时 进行叙述,这种对于绘制负担的减少可协助用户108的叙述沟通。

如本文中指出的,图形对象可以是数据图表、地图等。更具体地,本文中 描述的图形对象可以是由呈现系统104基于示例图标自动创建的视觉元素。

呈现系统104可将信息图(信息图形)的有表现力的视觉语言以及动态草 绘与白板动画的叙述沟通进行组合。信息图是信息、数据或知识的图形表示。 信息图通常被报告者、计算机科学家、统计师等使用来用于传递广泛邻域中的 概念性信息。然而,创建信息图可以是昂贵的。白板动画是另一视觉通信技术, 其中演示者通常叙述并草绘线条艺术元素序列来传达故事。然而,创建传统的 白板动画可以由于关于其的手工绘制而是昂贵且劳动密集的。

为了使得用户108能够生成可与叙述对齐的有表现力且自定义的表示,呈 现系统104可允许用户108草绘想要的表示来作为示例视觉元素并可从该示例 元素中合成图形对象(例如,图表、地图等)。此外,为了使故事说的更动态 且有响应,呈现系统104可支持交互性。呈现系统104可被设计为流畅地将自 由形式草绘与有机外观数据边界可视化集成来传达消息或讲故事。

呈现系统104可支持具有流畅动画的实时内容创建。为了吸引注意力并创 建类似各种表演艺术技巧的预期,呈现系统104可使用实时方式来用于内容创 建。为了减少手动绘制整个图形对象的负担,在协助叙述沟通的同时,呈现系 统104可通过将视觉元素绑定到底层数据来完成图形对象。因此,在呈现系统 104自动地在流畅动画中完成图形对象以使得其看上去好像用户108以更快的 速度进行草绘的同时,用户108能进行叙述。

此外,上下文信息可被提供在画布上。呈现系统104可使用画布的概念来 呈现信息。因此,查看者可理解整个故事的上下文并得到视觉组件之间的关系。 以上可被画布支持。呈现系统104可支持在画布上的任意位置的用于强调、装 饰和文本的自由形式的注释。

根据各个实施例,构想了,呈现系统104可以是独立呈现工具。附加地或 替换地,根据各个实施例,可以理解呈现系统104可以是不同的呈现工具的插 件或将不同的呈现工具作为插件来包括。

转向图2,示出了促进通过合成示例图标来自动地创建图形对象的示例性 系统200。系统200包括呈现系统104和显示屏110。此外,系统200包括保 留数据集212的数据储存库214。因此,呈现系统104可基于示例图标以及来 自保留在数据储存库214中的数据集212的数据来生成图形对象,并且这样的 图形对象可被显示在显示屏110上。

呈现系统104包括检测用户输入的交互检测组件202。例如,交互检测组 件202可接收来自图1的传感器106的用户输入。根据以上描述的一示例,交 互检测组件202可确定用户输入是笔触摸还是手指触摸、这样的笔触摸或手指 触摸的位置和/或移动等。

交互检测组件202还包括数据选择组件204,该数据选择组件204从交互 检测组件202检测到的用户输入中接收从图形对象的数据集212中指定所选值 属性的指示。作为示例,从图形对象数据集212中指定所选值属性的指示可以 是由用户实现的对从显示在显示屏110上的数据属性菜单中选择特定值属性的 指示。根据这个示例,数据属性菜单可包括可被用户选择的可选值属性集。作 为另一示例,数据选择组件204可自动地从图形对象的数据集212中识别所选 值属性。根据还一示例,数据选择组件204可接收实质上任意其他类型的从图 形对象的数据集212中指定所选值属性的显式指示。根据一说明,(例如,在 重放期间)数据选择组件204可从预先记录的文件中读取来自图形对象的数据 集2012中的所选值属性。然而,应该理解,所要求保护的主题不限于上述示 例。

此外,交互检测组件202可包括示例指定组件206。该示例指定组件206 可从交互检测组件202检测到的用户输入中接收用于图形对象的示例图标。该 示例图标是笔划群集。此外,笔划是可被显示在显示屏110上的标记。示例图 标的笔划群集可被感知为单个特征。为了群集由用户草绘的示例图标的笔划, 示例指定组件206可用重叠边界来合并笔划。

呈现系统104可包括修改组件208,该修改组件208可分析交互检测组件 202检测到的用户输入并基于这样的分析来修改所生成的用户界面以供显示在 显示屏110上。例如,修改组件208可基于对用户输入的分析来创建和/或操纵 被包括在用户界面中的视觉元素。此外,呈现系统104可包括渲染组件216, 该渲染组件216可致使用户界面被显示在显示屏110上。

修改组件208可包括生成组件210,该生成组件210可基于示例图标以及 来自数据集212的所选值属性的数据来生成图形对象。图形对象可包括示例图 标的基于来自数据集212的所选值属性的数据分别修改的各实例。因此,生成 组件210可生成示例图标的基于来自数据集212的数据分别修改的各实例。此 外,来自数据集212的数据可被包括在具有示例图标的各实例的图形对象中; 但是,所要求保护的主题并不被这么限制。可由生成组件210对示例图标的各 实例作出的修改的示例包括改变示例图标的大小、位置、副本的数量等。此外, 构想了例如示例图标可被(例如,被生成组件210)美化。此外,渲染组件216 可致使生成组件210生成的图形对象被显示在显示屏110上。

数据储存库214可使得数据集212可用于操纵和交互。根据各示例,数据 集212可被保留在服务器上或分布式数据库中,数据集212可以是本地客户机 上的文件、可以是存储器内数据等。在另一示例中,数据储存库214可以是云计 算基础结构的一部分。

根据一示例,为了支持生成图形对象(诸如基于时间的图表和地图图表), 包括在数据集212中的属性可包括时间信息(例如,年、日、小时等),并且 另一属性可包括对应于准备好的地图草绘文件的地理信息。在初始化时,呈现 系统104可在数据集212和地图草绘文件(例如,或地图草绘文件的对应于包 括在数据集212中的地理信息的一部分)中进行读取,并能动态地生成可被用 户选择的菜单项。然而,由于时间信息和/或地理信息不必被包括(例如,与时 间不同的属性可以在数据图表的X轴上等),所要求保护的主题不限制为以上。

如以上提到的,示例指定组件206可接收用于图形对象的示例图标。根据 各个示例性场景,示例指定组件206可通过检测使用输入装置(例如,由用户) 在显示屏110上绘制的示例图标的自由形式草绘来接收用于图形对象的示例图 标。例如,示例指定组件206可将自由形式草绘的笔划群集到示例图标中。根 据其他示例性场景,构想了示例指定组件206可接收来自包括示例图标集的示 例图标库中的用于图形对象的示例图标。

图3-4示出关于接收用于图形对象的示例图标的各个示例性场景。然而, 应该理解,所要求保护的主题不限于图3-4中描述的示例性场景。

现在参考图3。示例指定组件206可获得关于从示例图标库300中选择示 例图标的用户输入。此外,示例指定组件206可从示例图标库300中检索示例 图标。继续图3中阐述的示例,示例图标库300可包括先前记录(例如,使用 本文中描述的创作组件记录的)的使用输入装置绘制的自由形式草绘。附加地 或替换地,示例图标库300可包括来自实质上任意源的预先定义的示例图标。 虽然未在图3中显示,但是构想了示例图标库300可被保留在图2的数据储存 库214中。

现在参考图4。再次,示例指定组件206可接收用户输入。更具地地,在 图4的示例性场景中,示例指定组件206可检测使用输入装置在显示屏上绘制 的示例图标的自由形式草绘。此外,增强组件400可增强(例如,美化、更改 等)在显示屏上绘制的示例图标。构想了,增强组件400可采用实质上任意技 术(例如,非拟真渲染等)来增强示例图标。

参考图5,示出了使得能够生成和/或操纵图形对象的系统500。系统500 包括呈现系统104、显示屏110和数据储存库214。如以上描述的,呈现系统 104还包括交互检测组件202、修改组件208和渲染组件216。

交互检测组件202可包括数据选择组件204、示例指定组件206和基线指 定组件502。基线指定组件502可接收使用输入装置在显示屏110上绘制的图 形对象的基线。可以理解,实质上任意类型的笔划可被用作基线。例如,图形 对象的基线可以是绘制在显示屏110上的非线形笔划、绘制在显示屏110上的 线形笔划、绘制在显示屏110上的笔划集等。

由此,作为另一说明,数据选择组件204可接收从图形对象的数据集212 中指定所选值属性的指示。此外,示例指定组件206可接收用于图形对象的示 例图标。用于图形对象的示例图标可被显示在显示屏110上。如以上描述的, 用户可在显示屏110上绘制示例图标,示例图标可从示例图标库300中选择, 显示屏110上的自由形式草绘可被增强来提供示例图标,其组合等。此外,基 线指定组件502可接收使用输入装置在显示屏110上绘制的图形对象的基线。

如以上提到的,修改组件208可包括生成组件210,其能生成图形对象。 生成组件210还可包括类型识别组件504,该类型识别组件504可基于示例图 标的特性以及示例图标和基线的相对位置来确定图形对象的类型。示例图标的 特性例如可以是示例图标是单图标还是多图标。此外,生成组件210可生成具 有如所确定的类型的图形对象,其中图形对象还包括基线。

类型识别组件504可支持各种类型的图形对象。类型识别组件504所确定 的图形对象的类型可以例如是计数图表、线形图表、条形图表或地图;然而, 可以理解,所要求保护的主题不被如此限制,因为其他类型旨在落入所附加的 权利要求的范围内。此外,类型识别组件504支持动态地改变图形对象的类型。 作为示例,交互检测组件202可接收指示将图形对象改变为第二类型的用户输 入。继续这个示例,类型识别组件504可动态地将图形对象改变为用户输入所 指定的第二类型。根据一说明,类型识别组件504可初始地确定图形对象的类 型将是计数图表。响应于指定将图形对象改变为条形图表的用户输入,类型识 别组件504可致使生成组件210将图形对象改变为条形图表。然而,应该理解, 所要求保护的主题不限于上述示例。

作为说明,类型识别组件504可采用以下示例性试探来确定图形对象的类 型。如果示例图标是多图标示例并且这样的多图标示例不与基线相交,则类型 识别组件504可确定类型将是计数图表。此外,如果示例图标是单图标示例并 且这样的单图标示例不与基线相交,则类型识别组件504可确定类型将是线形 图表。此外,如果示例图标是单图标示例并且这样的单图标示例与基线相交, 则类型识别组件504可标识类型将是条形图表。此外,如果基线是矩形,则类 型识别组件504可将类型标识为地图。笔划的边界框可确定地图的大小。在这 样的情况下,图标可被覆盖在地图上,其中图标的缩放可表示底层数据。然而, 应当理解,所要求保护的主题不限于前述的示例性试探,并且其它试探旨在落 入本文所附的权利要求书的范围之内。根据其他示例,还构想了类型识别组件 504可自动地识别图形对象的类型、响应于草绘姿势(例如,用于条形图表的 条形形状、用于线形图表的线形形状)或显式输入(例如,响应于对渲染在显 示屏110上指示图形对象的特定类型的按钮上的点击)来确定图形对象的类型 等。

此外,呈现系统104可在显示屏110上对笔划创建动画化。更具体地,渲 染组件216可包括动画组件506,该动画组件506可对包括在显示屏110上的 图形对象中的示例图标的各实例的笔划的创建进行动画化。例如,如果示例图 标包括以特定序列绘制在显示屏110上的5个笔划,那么该5个笔划可按相同 的序列针对包括在图形对象中的各实例中的每一个被重复。此外,如果图形对 象包括包含5个笔划的示例图标的6个实例,那么该5个笔划可按相同序列针 对示例图标的6个实例中的每一个被重复(例如,分别被生成组件210修改)。 可以理解,示例图标可被同时、连续等绘制。此外,动画组件506可支持动态 动画;由此,取决于图形对象的复杂性,动画组件506可确定多快对笔划的创 建进行动画化和/或多少并行绘制要动画化。这样的确定可基于例如图形对象的 总笔划长度来作出;但是,构想了所要求保护的主题不被如此限制。

呈现系统104还可支持知晓上下文的注释。例如,交互检测组件202可包 括注释接收组件508,该注释接收组件508可接收使用输入装置绘制在显示屏 110上的自由形式的注释。修改组件208还可包括注释控制组件510,该注释 控制组件510可确定自由形式的注释是否对应于生成组件210所生成的图形对 象(或来自图形对象集的显示在显示屏110上的不同的图形对象)。当注释控 制组件510确定自由形式的注释对应于特定图形对象时,自由形式的注释可被 注释控制组件510与该特定图形对象相链接。交互检测组件202还可包括操纵 检测组件512,该操纵检测组件512可检测致使对显示在显示屏110上的用户 界面的各方面进行操纵的用户输入。操纵检测组件512例如可接收致使对与自 由形式的注释相链接的图形对象进行操纵的用户输入。因此,注释控制组件510 可响应于图形对象正被操纵而致使自由形式的注释被操纵。

根据一示例,多个图形对象可被绘制在显示在显示屏110上的画布上。此 外,自由形式的注释可被用户绘制在显示屏110上。注释控制组件510可确定 自由形式的注释对应于其的图形对象。因此,当图形对象被移动时,注释可跟 随(例如,与图形对象一起移动)。此外,当图形对象被调整大小时,注释也 可被调整大小。然而,可以设想,所要求保护的主题不限于前述示例。

构想了修改组件208可附加地或替换地响应于操纵检测组件512接收到用 户输入来更改图形对象的其他方面,并且由此,修改组件208可管理在显示在 显示屏110上的画布上绘制的(诸)图形对象。可基于用户输入被改变的图形 对象的各方面的示例包括大小、位置、颜色、朝向、不透明度、类型等。此外, 图形对象可基于用户输入被最小化、重新激活、复制等。各种类型的交互和/ 或输入模态可调用对图形对象的改变。例如,触摸可移动图形对象(或其一部 分)并对图形对象(或其一部分)调整大小或者潦草草绘姿势可擦除图形对象 (或其一部分)。此外,语音命令可例如致使对图形对象的一些改变。

此外,修改组件208可包括能支持动态过滤的过滤器组件514。操纵检测 组件512可接收对显示在显示屏110上的可视关键字的选择。过滤器组件514 可响应于对可视关键字的选择来过滤来自数据集212的所选值属性的数据。此 外,生成组件210可通过基于如被过滤器组件514过滤的来自数据集212的所 选值属性的数据更改示例图标的各实例中的一个或多个来更新图形对象。

可视关键字可以是例如成形的笔划或图标。例如,在呈现之前,用户可创 建笔划和文本关键字之间的映射以通过与笔划进行交互而非(例如,使用虚拟 键盘)输入关键字来执行动态过滤。关键字的图标化表示可保留有表现力的视 觉图形风格。

当用户通过轻击显示屏110上的图标来选择视觉关键字时,过滤器组件514 可过滤来自数据集212的被生成组件210用来更新图形对象的数据。因此,当 用户通过轻击图标来选择视觉关键字时,修改组件208可根据与所选的(诸) 图标相关联的文本关键字来更新其他视觉元素。例如,当用户轻击视觉关键字 时,选择可被切换;然而,所要求保护的主题不被如此限制。

根据一说明,当用户选择来自第一图形对象的一图标时,显示在显示屏110 上的其他图形对象可自动地被生成组件210通过过滤器组件514进行的动态过 滤而更新。作为另一说明,构想了注释控制组件510可在动态过滤被应用时移 除注释,并之后可在过滤器被重置时致使注释重新出现。然而,所要求保护的 主题不限于前述说明。

现在转向图6,示出了用于准备演示和/或回放准备好的演示的系统600。 系统600包括呈现系统104、显示屏110和数据储存库214。如本文中描述的, 呈现系统104还包括交互检测组件202、修改组件208和渲染组件216。交互 检测组件202还可包括数据选择组件204和示例指定组件206。虽然未被显示, 还构想了交互检测组件202可包括基线指定组件502、注释接收组件508和操 纵检测组件512。此外,修改组件208包括生成组件210。尽管未被显示,还 构想了修改组件208可包括注释控制组件510和过滤器组件514。此外,生成 组件210还可包括类型识别组件504。尽管未被显示,还构想了渲染组件216 可包括动画组件506。

呈现系统104还可包括能实现对准备好的演示604的创建的创作组件602。 例如,由创作组件602生成的准备好的演示可被保留在数据储存库214中。此 外,呈现系统104包括可重放准备好的演示604的回放组件606。在准备好的 演示604的重放期间,可接收到用户输入;响应于在准备好的演示604的重放 期间接收到的用户输入,准备好的演示604可被修改。

根据一示例,创作组件602可被采用来记录样本图标。这样的示例图标可 被保留在示例图标库300中,该示例图标库300可被包括在数据储存库214中。 由此,如以上结合图3描述的,可从示例图标库300中选择记录的样本图标, 其中示例指定组件206接收指定对记录的样本图标的选择的用户输入。

此外,创作组件602可作为准备好的演示604的一部分来记录包括在生成 组件210所生成的图形对象中的示例图标的各实例的笔划的创建。创作组件602 还可作为准备好的演示604的一部分来记录多媒体内容608、自由形式的注释 的创建、包括在不同图形对象中的不同示例图标的各实例的不同笔划的创建、 对图形对象的操纵、对自由形式的注释的操纵、视觉关键字的创建、它们的组 合等。由此,创作组件602可允许记录本文描述的动画。

回放组件606可通过对包括在显示屏110上的图形对象中的示例图标的各 实例的笔划的创建进行动画化来重放准备好的演示604。此外,回放组件606 可在显示屏110上对以下进行动画化:多媒体内容608、自由形式的注释的创 建、包括在不同图形对象中的不同示例图标的不同笔划的创建、对图形对象的 操纵、对自由形式的注释的操纵、它们的组合等。

回放组件606可提供用于重放准备好的演示604的回放时间线控件。由此, 准备好的演示604可以是能使用回放时间线控件被重放的步骤序列。此外,当 准备好的演示604被回放组件606重放时,修改组件208可响应于交互检测组 件202检测到的用户输入来修改准备好的演示604。例如,准备好的演示604 可在回放期间被注释,动态过滤可被用于在回放期间操纵被重放的一个或多个 图形对象等。此外,构想了附加的(诸)图形对象可在回放期间被本文描述的 那样生成。

回放组件606可在准备好的演示604被记录时重放该准备好的演示604。 附加地或替换地,准备好的演示604可在被回放组件606重放期间被更改。例 如,步骤序列可如以上提到的被创作组件602记录。此外,序列中的步骤可在 重放期间按序执行,附加的(诸)步骤可在重放期间被添加到序列中,(诸) 步骤可在重放期间从序列中移除和/或序列的(诸)步骤可在重放期间被修改。 此外,对准备好的演示604的重放可转变到用户对演示的实况创建(例如,在 准备好的演示604结束之际、响应于显式的用户输入、响应于未选择序列中的 下一步骤等)和/或演示的实况创建可转变到对准备好的演示604的重放。

创作组件602可将步骤序列记录或保存为准备好的演示604。作为说明, 步骤序列可涉及具有第一示例图标的条形图表的创建之后是具有第二示例图 标的线形图表的创建。回放组件606可重放步骤序列。在回放期间,具有第一 图标的条形图表的创建可在显示屏110上被动画化。然而,用户可决定在准备 好的演示604的回放期间覆盖作为准备好的演示604的一部分保存的第二图 标。由此,用户可实时地绘制第三示例图标,其可具有高于作为准备好的演示 604的一部分保存的第二图标的优先级;因此,线形图表可基于实时绘制的第 三示例图标来创建(例如,用涉及第三示例图标的创建的步骤来替换涉及第二 示例图标的创建的步骤)。进一步继续这个说明,在回放期间创建线形图表之 后,该线形图表可在回放期间被改变为计数图表。然而,应该理解,所要求保 护的主题不限于上述示例性说明。

根据另一说明,构想了当用户没有提供示例图标时,默认图形对象(例如, 默认图表)可被绘制(例如,要么被保存在准备好的演示604中要么被实时地 绘制)。由此,如果示例图标既没有被包括在由回放组件606回放的准备好的 演示604中也没有被实时地绘制,则默认图标可被使用。此外,可基于默认图 标来生成图形对象。

修改组件208还可包括可将多媒体内容608集成到准备好的演示604中的 集成组件610。多媒体内容例如可以是图像、视频等;然而,所要求保护的主 题不受此限制。

此外,创作组件602可被用于创建视觉关键字612,其中视觉关键字612 可如以上描述的被用在动态过滤的上下文中。视觉关键字612可被保留在数据 储存库214中。

根据一示例,被创作组件602记录的准备好的演示604可被保存为视频。 继续这个示例,视频可在不修改的情况下被分发、保留(例如,在数据储存库 214中)、重放等。

图7-16描绘了由本文描述的呈现系统104生成的演示的用户界面的示例 性序列。示例演示被描述为实时地创建;然而,构想了可使用以上描述的创作 组件602提前创建这样的演示中的各部分。图7-16中描述的演示涉及关于1980 年到2005年之间全球能源消耗的示例故事。底层数据集包括总共具有36行(例 如,6大洲、每个洲6个时间点)的5列(例如,内容、年、能源消耗、人口 以及每人能源消耗)。此外,可以假设用户是正在讲述关于整个世界的能源消 耗的故事的演示者。

如图7中示出的,用户通过草绘(例如,使用笔)太阳以及具有地球在其 中的单词“power(能源)”开始以传达他的演示是关于全球能源消耗的。为了显 示总能源消耗如何随着时间变化,用户可生成涉及这种能源消耗的图形对象。

图形对象的创建可包括一系列步骤。例如,用户可从数据属性菜单中选择 理想的值属性(例如,数据图表的Y轴的数值数据)。例如,当前选择的数据 属性可被显示在菜单栏上。此后,用户可切换到示例图标模式并可草绘一个或 多个示例图标。接着,用户可切换到图表轴模式并绘制理想图形对象的基线。 根据另一示例(未显示),可采用草绘识别,而非采用前述用于创建图形对象 的三个模态步骤;然而,所要求保护的主题不受这样的限制。

以上提到的用于创建图形对象的步骤被显示在图8-11中。更具体地,如图 8中描绘的,来自菜单栏的数据属性按钮800可被用户选择,其可致使数据属 性菜单被显示。接着,用户可从数据属性菜单中选择能源消耗按钮802。转向 图9,用户可从菜单栏中选择示例图标按钮900。此后,用户可使用笔来绘制 灯泡形状作为示例图标。用户可接着选择如图10中显示的图表轴按钮1000。 此外,用户可使用笔绘制线形图表的基线1002。呈现系统(例如,呈现系统 104)可通过基于包括在底层数据集中的时间和消耗量来用对于基线1002的适 当相对偏移放置示例图标的附加实例来自动地将草绘完成为具有示例图标的 线形图表。此外,图11显示了响应于由用户的手指实现的用户输入,图形对 象(即线形图表)可被移动到用户界面的右上角。用户可添加具有到线形图表 的箭头的注释“energy(能源)”(例如,如图12中显示的)。

用户还可能希望示出人口在相同的时间范围上如何变化。由此,用户可从 如以上描述的数据属性菜单中选择人口属性。以与以上类似的过程,如图12 中显示的,用户可选择示例图标按钮,绘制火柴人画来作为示例图标,选择图 表轴按钮,并草绘该图表的基线。因此,如图13中显示的,呈现系统可通过 与底层数据值成比例地垂直草绘附加图标来将图表完成为条形图表。为了确保 更多的草绘空间并使得图表与现有的线形图表对齐,如图14中显示的,用户 可将条形图表向右移动并用单词“population(人口)”来对它进行注释。此外, 如果需要,用户可调整条形图表的大小或最小化条形图表以提供更多草绘空 间。

用户现在可能希望显示能源消耗如何在地理上不同。因此,用户可从数据 属性菜单中选择能源消耗属性。此后,如图14中显示的,用户可选择示例图 标按钮,绘制电池图标来作为示例图标,选择图表轴按钮并绘制矩形来指示地 图的大小和位置。如图15中显示的,呈现系统可将草绘完成为地图,通过每 个区域的底层数据量来缩放示例图标并将每个图标地理地放置。

为了比较北美洲和亚洲之间个体能源消耗和人口的趋势,用户可轻叩地图 上的北美洲和亚洲。呈现系统可将底层数据过滤到这两个洲,并可相应地更新 其他图表。如显示的,条形图表和线形图表可被更新来描绘针对北美洲和亚洲 的数据。

图17-18描绘了由本文描述的呈现系统104生成的演示的用户界面的另一 示例性序列。然而,再次,所要求保护的主题并不被限于这样的示例。图17 描绘了包括由用户绘制的示例图标的用户界面。更具体地,包括在图17的用 户界面中的示例图标是多图标,这是因为该示例图标的笔划可被群集到两个图 标中,即图标1700和图标1702。此外,图17的用户界面包括曲线形基线1704。 如本文中描述的,基线可以实质上是任意形状。如图18中描绘的,呈现系统 可基于图17中显示的示例图标1700、示例图标1702和基线1704来生成计数 图表并致使这样的计数图表被显示。

图19-20示出涉及生成包括(诸)图形对象的演示的示例性方法。尽管各 方法被表示和描述为顺序地执行的一系列动作,但要理解,这些方法不受该顺 序的次序的限制。例如,一些动作能以与本文描述的不同的次序发生。另外, 某一动作可以与另一动作并发地发生。此外,在一些实例中,实现本文描述的 方法并不需要所有动作。

此外,本文描述的动作可以是可由一个或多个处理器实现的和/或存储在一 个或多个计算机可读介质上的计算机可执行指令。计算机可执行指令可包括例 程、子例程、程序、执行的线程等。另外,这些方法的动作的结果可以存储在 计算机可读介质中,显示在显示设备上,等等。

图19示出了用于在显示屏上呈现图形对象的方法1900。在1902,从图形 对象的数据集中指定所选值属性的指示可被接收到。在1904,用于图形对象的 示例图标可被接收到。该示例图标可以是笔划群集。此外,笔划可以是可被显 示在显示屏上的标记。在1906,图形对象可基于该示例图标以及来自数据集的 所选值属性的数据来生成。图形对象可包括示例图标的基于来自数据集的所选 值属性的数据分别修改的实例。在1908,图形对象可被致使显示在显示屏上。

现在参考图20,示出了用于在显示屏上呈现图形对象的方法2000。在2002, 从图形对象的数据集中指定所选值属性的指示可被接收到。在2004,用于图形 对象的示例图标可被接收到。在2006,使用输入装置在显示屏上绘制的图形对 象的基线可被接收到。在2008,图形对象的类型可基于示例图标的特性以及示 例图标与基线的相对位置来确定。示例图标的特性例如可以是示例图标是单图 标还是多图标。在2010,图形对象可基于该示例图标、基线以及来自数据集的 所选值属性的数据来生成。图形对象可包括示例图标的基于来自数据集的所选 值属性的数据以及基线分别修改的实例。此外,图形对象可以是如所确定的类 型。在2012,包括在图形对象中的示例图标的各实例的笔划的创建可在显示屏 上被动画化。

现在参考图21,示出了可以根据本文公开的系统和方法使用的示例性计算 设备2100的高级图示。例如,计算设备2100可被用在基于示例图标来生成演 示的图形对象的系统中。作为另一示例,计算设备2100可被用在记录和/或回 放这样的演示的系统中。计算设备2100包括执行存储在存储器2104中的指令 的至少一个处理器2102。这些指令可以是例如用于实现被描述为由上述一个或 多个组件执行的功能的指令或用于实现上述方法中的一个或多个的指令。处理 器2102可以通过系统总线2106访问存储器2104。除了存储可执行指令之外, 存储器2104还可存储(诸)数据集、示例图标库、(诸)多媒体内容、(诸) 准备好的演示、(诸)视觉关键字等。

计算设备2100还包括可由处理器2102通过系统总线2106访问的数据存 储2108。数据存储2108可包括可执行指令、(诸)数据集、示例图标库、(诸) 多媒体内容、(诸)准备好的演示、(诸)视觉关键字等。计算设备2100还 包括允许外部设备与计算设备2100进行通信的输入接口2110。例如,输入接 口2110可被用于从外部计算机设备、从用户等处接收指令。计算设备2100也 可包括使计算设备2100和一个或多个外部设备相接口的输出接口2112。例如, 计算设备2100可以通过输出接口2112显示文本、图像等。

考虑了通过输入接口2110和输出接口2112与计算设备2100通信的外部 设备可被包括在提供实质上任何类型的用户可与之交互的用户界面的环境中。 用户界面类型的示例包括图形用户界面、自然用户界面等。例如,图形用户界 面可接受来自用户采用诸如键盘、鼠标、遥控器等之类的输入设备的输入,以 及在诸如显示器之类的输出设备上提供输出。此外,自然语言界面可使得用户 能够以无需受到诸如键盘、鼠标、遥控器等之类的输入设备强加的约束的方式 来与计算设备2100交互。相反,自然用户界面可依赖于语音识别、触摸和指 示笔识别、屏幕上和屏幕附近的手势识别、空中手势、头部和眼睛跟踪、语音 和语音、视觉、触摸、手势、以及机器智能等。

另外,尽管被示为单个系统,但可以理解,计算设备2100可以是分布式 系统。因此,例如,若干设备可以通过网络连接进行通信并且可共同执行被描 述为由计算设备2100执行的任务。

如本文所使用的,术语“组件”和“系统”旨在包含用使得在被处理器执行时 执行特定功能的计算机可执行指令配置的计算机可读数据存储。计算机可执行 指令可包括例程、功能等等。还要理解组件或系统可以位于单个设备上或分布 在若干设备之间。

另外,如此处所用的,术语“示例性”旨在是指“充当某事物的图示或示例”。

在此所述的各种功能可以以硬件、软件或其任何组合来实现。如果以软件 实现,则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉 其进行传送。计算机可读介质包括计算机可读存储介质。计算机可读存储介质 可以是可由计算机访问的任何可用存储介质。作为示例而非限定,这样的计算 机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘 存储或其他磁存储设备、或能被用来承载或存储指令或数据结构形式的期望程 序代码且能被计算机访问的任何其他介质。如本文中所使用的盘(disk)和碟 (disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝 光碟(BD),其中盘(disk)通常以磁的方式再现数据,而碟(disc)通常用 激光以光学方式再现数据。另外,所传播的信号不被包括在计算机可读存储介 质的范围内。计算机可读介质还包括通信介质,其包括便于计算机程序从一地 向另一地转移的任何介质。连接例如可以是通信介质。例如,如果软件使用同 轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外线、无线电、 以及微波之类的无线技术来从网站、服务器、或其它远程源传输,则该同轴电 缆、光纤电缆、双绞线、DSL、或诸如红外线、无线电、以及微波之类的无线 技术被包括在通信介质的定义中。上述的组合也应被包括在计算机可读介质的 作用域内。

作为替换或补充,本文所述的功能可至少部分地由一个或多个硬件逻辑组 件来执行。例如,但非限制,可被使用的硬件逻辑组件的说明性类型包括现场 可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、 片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。

以上所描述的包括一个或多个实施例的示例。当然,出于描绘前述各方面 的目的而描述上述设备或方法的每个可以想到修改和改变是不可能的,但本领 域内的普通技术人员可以认识到,各方面的许多另外的组合和置换都是可能 的。因此,所描述的各方面旨在包括所有这些属于所附权利要求书的精神和范 围内的改变、修改和变型。此外,就在详细描述或权利要求书中使用术语“包括” 而言,这一术语旨在以与术语“包含”在被用作权利要求书中的过渡词时所解释 的相似的方式为包含性的。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号