用于提高在装置之间共享屏幕的体验质量的方法和设备

摘要

本发明公开了一种用于提高在装置之间共享屏幕的体验质量的方法和设备。一种提高与第二装置共享第一装置的屏幕的第一装置的体验质量（QoE）的方法，所述方法包括：检测当前显示在屏幕上的内容的类别；基于检测到的内容的类别来确定QoE策略；基于确定的QoE策略对屏幕的屏幕图像进行编码；将编码的屏幕图像发送到第二装置。这样，当在多个装置之间共享屏幕时，可以实现针对每个内容类别的最佳QoE。

说明书

本申请要求于2013年3月25日提交到美国专利商标局的第61/804,804 号美国专利申请的优先权，以及2013年4月9日提交到韩国知识产权局的第 10-2013-0038843号韩国专利申请的优先权，其公开通过引用完整地包含于 此。

技术领域

与示例性实施例一致的方法和设备涉及通过网络在多个装置之间共享屏 幕数据。

背景技术

当多个装置共享屏幕时，鉴于网络的状态而确定用于共享屏幕的流的比 特率。如果网络为空载（unloaded），则可传输具有高比特率的流，如果网络 被加载（loaded）或者拥挤，则可传输具有低比特率的流。

然而，由于现有技术中的以上方法只考虑网络的状态，因此共享屏幕的 屏幕图像可被中断或可被降低分辨率。

发明内容

示例性实施例解决了至少以上问题和/或缺点及上面没有讨论的其他缺 点。此外，示例性实施例不需要克服上述缺点，示例性实施例可不克服上述 任何问题。

一个或更多个实施例提供了一种鉴于当前显示在多个屏幕之间共享的屏 幕上的内容的类别，在发送屏幕数据时能够提高体验质量（QoE）的方法和 设备。

根据示例性实施例的一方面，提供了一种提高与第二装置共享第一装置 的屏幕的第一装置的体验质量（QoE）的方法，所述方法包括：检测当前显 示在屏幕上的内容的类别；基于检测到的内容的类别来确定QoE策略；基于 确定的QoE策略对屏幕的屏幕图像进行编码；将编码的屏幕图像发送到第二 装置。

可通过使用基于确定的QoE策略调整的帧率和分辨率来执行所述编码。

QoE策略可响应于具有大量运动的内容将帧率调整为高。

检测到的内容的类别可以是图形内容、真实图像内容和文本内容之中的 至少一个。可基于当前执行的应用的名称来执行所述检测。

确定的步骤可包括：响应于当前正显示在屏幕上的多种内容类别，基于 针对多种内容类别预先设置的优先级来选择与具有最高优先级的内容类别对 应的QoE策略。

编码的步骤可包括：基于用于在第一装置和第二装置之间共享屏幕的网 络状态来确定允许的比特率；基于确定的比特率来调整用来对屏幕的屏幕图 像编码的帧率和分辨率。

根据另一示例性实施例的一方面，提供了一种发送装置，包括：存储器， 被配置为存储至少一个程序；处理器，被配置为通过执行至少一个程序来使 发送装置能够与接收装置共享发送装置的屏幕，并提高体验质量（QoE），其 中，所述至少一个程序执行如下方法，包括：检测当前显示在屏幕上的内容 的类别；基于检测的内容的类别来确定QoE策略；基于确定的QoE策略来对 屏幕的屏幕图像进行编码；将编码的屏幕图像发送到接收装置。

可通过使用基于确定的QoE策略调整的帧率和分辨率来执行所述编码。

QoE策略可响应于具有大量运动的内容将帧率调整为高。

检测到的内容的类别可以是图形内容、真实图像内容和文本内容之中的 至少一个。可基于当前执行的应用的名称来执行所述检测。

确定的步骤可包括：响应于当前正显示在屏幕上的多种内容类别，基于 针对多种内容类别预先设置的优先级来选择与具有最高优先级的内容类别对 应的QoE策略。

编码的步骤可包括：基于用于在发送装置和接收装置之间共享屏幕的网 络状态来确定允许的比特率；基于确定的比特率来调整用来对屏幕的屏幕图 像编码的帧率和分辨率。

根据另一示例性实施例的一方面，提供了一种在其上已实现用于执行提 高第一装置的QoE的方法的计算机程序的计算机可读记录介质。

根据另一示例性实施例的一方面，提供了一种发送装置，包括：显示器， 被配置为显示屏幕图像；控制器，被配置为确定用于共享屏幕图像的网络状 态，确定与当前显示的屏幕图像的内容对应的QoE策略，基于确定的QoE 策略和确定的网络状态来确定帧率和帧分辨率，根据确定的帧率和确定的帧 分辨率来对屏幕图像进行编码，使用网络将编码的屏幕图像发送到接收装置。

控制器还可被配置为通过确定屏幕图像的内容的类别来确定QoE策略。

控制器还可被配置为通过确定屏幕图像的内容的运动量来确定QoE策 略。

控制器还可被配置为通过确定用于发送编码的图像的最大比特率来确定 网络状态。

根据另一示例性实施例的一方面，提供了一种当在发送装置和接收装置 之间共享屏幕时提高体验质量（QoE）的方法，所述方法包括：确定用于共 享屏幕的网络状态；确定与当前显示在发送装置的屏幕上的图像的内容对应 的QoE策略；基于确定的QoE策略和确定的网络状态来确定帧率和帧分辨率； 根据确定的帧率和确定的帧分辨率来对图像进行编码；使用网络将编码码的 屏幕图像发送到接收装置。

确定QoE策略的步骤可包括：确定屏幕图像的内容的类别。

确定QoE策略的步骤还可包括：确定屏幕图像的内容的运动量。

确定网络状态的步骤可包括：确定用于发送编码的图像的最大比特率。

根据另一示例性实施例的一方面，提供了一种在其上已实现由用于执行 在共享屏幕时提高QoE的方法的计算机可执行的程序的非暂时性计算机可读 记录介质。

附图说明

通过结合附图对特定示例性实施例进行的以下描述，以上和/或其他方面 将会变得清楚和更易于理解，其中：

图1是用于描述根据示例性实施例的在多个装置之间共享屏幕的概念 图；

图2是根据示例性实施例的基于内容的类别来提高体验质量（QoE）的 方法的流程图；

图3A和图3B是根据示例性实施例的分别应用了QoE策略的图形内容 和文本内容的示图；

图4A和图4B是根据示例性实施例的应用了QoE策略的实时图像内容 的示图；

图5是根据示例性实施例的检测内容的类别的方法的流程图；

图6是示出根据示例性实施例的基于内容的类别的QoE策略的表格；

图7示出根据示例性实施例的存在多个内容类别的屏幕；

图8是根据示例性实施例的通过分析网络的状态来提高QoE的方法的流 程图；

图9是根据示例性实施例的基于内容类别和网络状态来提高QoE的方法 的流程图；

图10A和图10B是根据另一示例性实施例的应用了QoE策略的图形内 容和文本内容的示图；

图11A和图11B是根据另一示例性实施例的应用了QoE策略的实时图 像内容的示图；

图12和图13是根据示例性实施例的用于提高在多个装置之间共享的屏 幕的QoE的装置的框图。

具体实施方式

现在将参照附图对特定示例性实施例进行更详细的描述。

在以下描述中，即使在不同的附图中，相同的标号始终表示相同的元件。 提供在描述中所定义的内容（诸如，详细构造和元件）以帮助对示例性实施 例的全面的理解。因此，显然，在没有这些具体定义的内容的情况下，可实 施这些示例性实施例。此外，由于公知的功能或构造会在不必要的细节上使 示例性实施例不清楚，因此没有对公知的功能或构造进行详细描述。

图1是用于描述根据示例性实施例的在多个装置之间共享屏幕的概念 图。在以下描述中，发送装置102是指用于发送共享的屏幕的屏幕图像的装 置，接收装置106是指用于接收屏幕图像的装置。例如，装置可被实施为例 如个人计算机（PC）、智能电话和平板PC。

发送装置102通过网络将当前显示在发送装置102的屏幕上的屏幕图像 104发送到接收装置106。例如，如果在发送装置102中正在执行图库应用， 则照片的列表可当前被显示为发送装置102的屏幕图像104。如果屏幕被共 享，则发送装置102可捕获屏幕图像104，并通过网络将屏幕图像104发送 到接收装置106。

如果接收装置106接收捕获的屏幕图像104，则接收装置106可显示与 显示在发送装置102上的屏幕图像104相同的屏幕图像108，从而共享相同 的屏幕。

当发送装置102发送屏幕图像104时，由于用于发送屏幕图像104的允 许的比特率是基于网络的状态而确定的，因此需要考虑网络的状态。然而， 除了网络的状态之外，还需要考虑体验质量（QoE）。QoE是指当服务用户在 共享屏幕上查看应用或服务时服务用户的总体体验或者容忍度。

例如，对于地图应用的情况，当执行地图应用时，屏幕图像通常没有运 动或者有基于滚动的简单运动。另一方面，地图应用优先考虑可读性。因此， 当用于执行地图应用的屏幕被共享时，如果允许的比特率是通过分析网络的 状态而确定的，则与帧率相比，分辨率（例如，帧分辨率）在确定的允许的 比特率范围内被设置为高。

即使在网络的状态相同且因此而确定相同的允许的比特率时，如果应用 具有大量的运动（例如，游戏应用），则与分辨率相比，帧率在确定的允许的 比特率范围内被设置为高。

换句话说，即使当允许的比特率相同时，由于所需的分辨率和帧率的水 平基于应用的特性而变化，因此QoE需要通过基于每个应用的特性适当调整 分辨率和帧率来保持在最佳状态。换句话说，允许的比特率的带宽基于每个 应用的特性而被分配在帧分辨率和帧率之间。

图2是根据示例性实施例的基于内容的类别来提高QoE的方法的流程 图。由发送装置102来执行当在多个装置之间共享屏幕时的QoE的提高。

在操作202中，发送装置102检测当屏幕被共享时将被发送到接收装置 的屏幕图像的内容的类别。

内容的类别可被分类为图形内容、实时图像内容或者文本内容。此外， 屏幕图像中的运动量还可以是用于对内容的类别进行分类的条件。换句话说， 图形内容可以基于屏幕图像的运动量是高还是低而进一步被分类。然而，内 容的类别不限于此。以下，将参照图3A至图4B更详细地描述内容的类别。

图3A和图3B是根据示例性实施例的应用了QoE策略的图形内容和文 本内容的示图。

参照图3A和图3B，作为图形内容和文本内容的示例分别示出游戏应用 和网页正被执行的发送装置102的屏幕。

参照图3A，与图形内容对应的应用的示例包括游戏应用。由于游戏应用 具有大量的运动，因此为了使QoE保持在最佳状态，帧率可被确定为高。

即使对于内容（例如，图形内容）的相同类别的情况，QoE策略可根据 运动量而不同。例如，在内容的类别具有大量的运动的情况下，与具有相对 较少的运动的内容的类别相比，帧率可被确定为相对高于分辨率。当内容具 有大量运动时，由于用户相对难以识别图像质量劣化，因此根据示例性实施 例的发送装置102可在基于网络状态而确定的允许的比特率的范围内将帧率 确定为相对高于分辨率。

例如，如果主屏幕在发送装置102正被执行，则如同游戏应用，在主屏 幕上显示为图标的项的每一项与图形内容对应。然而，主屏幕的屏幕图像通 常没有运动或者有非常简单的运动。因此，与在执行游戏应用时相比，在执 行主屏幕时，发送装置102可将帧率确定为相对较低，并将分辨率确定为相 对较高。

图3B示出文本内容的示例。参照图3B，文本内容的示例包括网页。对 于网页的情况，运动量低于其他内容类别，可读性变得重要。因此，在网页 正被执行时，发送装置102可优先考虑分辨率，并在基于网络状态而确定的 允许的比特率的范围内将分辨率确定为相对高于帧率。

文本内容的另一示例包括电子邮件应用。由于可读性再次成为电子邮件 应用的重要因素，因此在电子邮件应用正被执行时，发送装置102可将分辨 率确定为相对高于帧率。

图4A和图4B是根据示例性实施例的应用QoE策略的真实图像内容的 示图。

参照图4A和图4B，作为真实图像内容的示例示出正执行相机应用和图 库应用的发送装置102的屏幕。

图4A示出正在执行相机应用的发送装置102的屏幕。相机应用捕获运 动图像或者静止图像，因此在屏幕图像中具有大量的运动。另一方面，图4B 中示出的图库应用不具有大量运动。因此，相机应用的帧率被确定为高于图 库应用的帧率。

以供参考，真实图像内容的分辨率通常被设置为高于图形内容的分辨率。 此外，真实图像内容的分辨率被设置为与文本内容的分辨率相比较低。

可基于应用的名称来检测当前显示在屏幕上的内容的类别。这里，应用 的名称可以是指能够识别基于操作系统（OS）的应用的各种类型的识别信息。

现在参照图5对通过使用应用的名称来检测内容的类别的方法进行描 述。

参照图5，命令502被输入以检测当前在装置中正被执行的应用。如果 命令502被输入，则检查应用的名称。然而，在检查期间用于检测被执行的 应用的信息不限于应用的名称。

例如，用于检测应用的信息可将头信息包括在比特流中。具体地讲，装 置的程序中的每个应用的唯一头信息被预先设置在存储器中，与通过解析共 享屏幕的屏幕图像的比特流获得的头信息匹配的信息在存储器中被找到。找 到的应用可被确定为当前显示在屏幕上的应用。

为了防止应用的非法拷贝，还可通过使用插入到每一帧的水印信息来检 测应用。当使用水印信息时，如果每个应用的唯一水印信息被预先设置，则 可通过搜索与水印信息匹配的应用来检测当前显示在屏幕上的应用。

如果检查到当前执行的应用，则输入用于检测与应用对应的内容的类别 的命令504。由于应用的类型被映射到内容的类别的列表被存储在存储器中， 因此如果检查到当前执行的应用，则可在列表上找到与当前执行的应用对应 的内容的类别。

将应用的类型映射到内容的类别的方法可基于例如图像类型（诸如，图 形图像或真实图像）或者针对每个应用的运动量。

可通过使用文本检测算法来确定当前显示在屏幕上的内容的类别是否为 文本内容。文本检测算法不局限于任何特定的算法并且可以使用各种文本检 测算法。

可基于编解码器是否被使用来确定当前显示在屏幕上的内容的类别是否 为真实图像内容。例如，如果通过IMOX检查到视频解码器被使用并且因此 真实视频图像当前被显示在屏幕上，则当前被显示在屏幕上的内容的类别可 被检测为真实图像内容。

还可以通过使用当前显示在屏幕上的内容的运动矢量来检测内容的类 别。范围被设置，然后基于设置的范围来映射内容的类别。如果当前显示在 屏幕上的内容的运动矢量与设置的范围对应，则被映射到设置的范围的内容 的类别可被检测为当前显示在屏幕上的内容的类别。

可通过使用运动矢量之和与文本检测算法一起来检测内容的类别。可通 过使用文本检测算法来获得屏幕上的文本的比例信息，然后可以基于分辨率 来对基于运动矢量之和的内容的类别进一步进行分类。

更详细地讲，如果屏幕上的文本的比例小于之前设置的特定值，则分辨 率的权重（weight）减小。否则，如果文本的比例等于或大于特定的值，则 分辨率的权重增加。正因如此，用于确定分辨率的权重可被不同地设置。

在操作204中，发送装置基于检测到的内容的类别来确定QoE策略。如 果当前允许的比特率是通过分析网络状态而确定的，则QoE策略用于基于在 允许的比特率范围内的内容的类别来调整分辨率和帧率。下面将参照图6来 对通过分析网络的状态来确定允许的比特率的方法进行描述。

在操作206中，发送装置基于确定的QoE策略来对当前显示在屏幕上的 屏幕图像进行编码。例如，如果游戏应用当前被显示在屏幕上，则由于游戏 应用是图形内容并且具有大量的运动，因此用户不太会识别出图像质量劣化， 帧率被设置为高。

在操作208中，发送装置将编码的屏幕图像发送到接收装置。可存在一 个或更多个接收装置。

图6是示出根据示例性实施例的基于内容的类别的QoE策略的表格。

如果当前显示在屏幕上的内容的类别为图形内容或者真实图像内容，则 分辨率可以是VGA或者QVGA，帧率可在每秒5帧（fps）和30fps之间不 定地改变。否则，如果当前显示在屏幕上的内容的类别为文本内容，则分辨 率可以是HD或者VGA，帧率可在1fps和15fps之间不定地改变。

针对具有大量运动因此具有少量的图像质量劣化的图形内容，帧率可被 设置为最高，针对具有作为优先考虑的因素的可读性的文本内容，分辨率可 被设置为最高。这里，帧率和分辨率的设置不限于此。

例如，当网络的状态被分析且流的允许的比特率为每秒100千比特 （kbps）时，如果当前显示在屏幕上的内容的类别为图形内容，则帧率可被 设置为15fps。如果内容的类别为真实图像内容，则帧率可被设置为10fps。 如果内容的类别为文本内容，则帧率可被设置为1fps。

由于允许的比特率基于网络的状态而变化，因此帧率和分辨率还基于变 化的比特率而变化。例如，如果允许的比特率增加，则可针对内容的每个类 别而不同地设置基于增加的允许的比特率的增加帧率的比例。

更详细地讲，针对图形内容，增加帧率1fps所需的比特率可被设置为 10fps，针对真实图像，增加帧率1fps所需的比特率可被设置为15kpbs，针对 文本内容，增加帧率1fps所需的比特率可被设置为30kpbs。

例如，假设，当流的允许比特率是100kbps时，图形内容的帧率为15fps， 真实图像内容的帧率为10fps，文本内容的帧率是1fps。如果允许的比特率 基于变化的网络状态而增加到280kbps，则图形内容的帧率增加到33fps，真 实图像内容的帧率增加到26fps，文本内容的帧率增加到7fps。

可以基于运动量来对当前显示在屏幕上的内容的类别进行进一步分类。 例如，图形内容还可以被分类为具有少量运动的图形内容或者具有大量运动 的图形内容。此外，真实图像内容还可以被分类为具有少量运动的真实图像 内容或者具有大量运动的真实图像内容。文本内容不具有运动或者具有非常 少量的运动，因此不会基于运动量来进一步分类。

由于QoE策略是基于内容的类别，因此，与真实图像内容或者文本内容 相比，具有少量运动的图形内容（GRAPHIC_SMALLMOTION）可被设置为 高帧率和低分辨率。与具有少量运动的图形内容对应的应用的示例包括装置 的主屏幕。

由于具有大量运动的内容的图像质量劣化不会容易地被用户识别，因此， 与分辨率相比，具有大量运动的图形内容（GRAPHIC_LARGEMOTION）可 保持在高帧率。与具有大量运动的图形内容对应的示例包括游戏应用。

与具有少量运动的真实图像内容（REAL_SMALLMOTION）对应的应用 的示例包括图库应用。具有少量运动的内容通常不具有运动或者具有简单的 运动，因此与帧率相比，可被设置为具有高分辨率。

由于具有大量运动的内容的图像质量劣化可能不容易地被用户识别，因 此，与分辨率相比，具有大量运动的真实图像内容（REAL_LARGEMOTION） 可被设置为具有高帧率。在这种情况下，与图形内容的分辨率相比，该分辨 率通常被设置为高。

文本内容（TEXT_SMALLMOTION）优先考虑可读性，因此与帧率相比， 文本内容可被设置为具有高分辨率。与文本内容对应的应用的示例包括电子 邮件应用、网页和地图应用。

图7示出根据示例性实施例的存在多个内容类别的屏幕。如果在屏幕上 存在多个内容类别，则可以确定与具有针对图形内容、真实图像内容和文本 内容预先设置的优先级之中的最高优先级的内容的类别对应的QoE策略。

例如，参照图7，区域A702对应于真实图像内容，区域B704对应于 文本内容，区域C706对应于图形内容。如果以真实图像内容、图形内容和 文本内容的顺序给出预先设置的优先级，则适于真实图像内容的QoE策略被 确定，然后基于确定的QoE策略来调整用于对当前显示在屏幕上的屏幕图像 进行编码的参数。

如果在屏幕上存在多个内容类别，则可根据存在于屏幕上的每个内容类 别的比例来确定QoE策略。例如，参照图7，由于在屏幕上与图形内容对应 的区域C706的比例为最高，因此适于图形内容的QoE策略被确定，然后基 于确定的QoE策略来调整用于对当前显示在屏幕上的屏幕图像进行编码的参 数。

在多个内容类别存在时用于确定QoE策略的条件不局限于预先设置的 优先级和在屏幕上的每个内容类别的比例。

图8是根据示例性实施例的通过分析网络的状态来提高QoE的方法的流 程图。

在操作802中，发送装置分析用于在多个装置之间共享屏幕的网络的状 态。例如，实时传输控制协议（RTCP）用于分析网络的状态。RTCP基于通 过将周期性控制数据包传输到通过网络参与流的发送和接收的装置获得的数 据来监视网络。具体地讲，RTCP用于收集关于接收装置的信息且用于计算接 收装置的传输率。

网络状态可被分类为流的发送和接收被适当执行的空载状态、开始产生 流的发送和接收的加载状态和开始发生数据包丢失的拥挤状态。

可通过分析网络的当前状态和最近的n个网络状态来分析网络状态。可 通过读取在特定时间段内存储在缓冲区中的网络的状态来获得最近的n个网 络状态。

在操作804中，发送装置基于分析的网络状态来确定用于发送流的允许 的比特率。

在操作806中，发送装置基于在操作804中确定的允许的比特率来调整 帧率和分辨率。更具体地讲，如果允许的比特率是基于分析的网络状态而确 定的，则可基于确定的允许的比特率来确定适于当前显示在屏幕上的内容的 类别的QoE策略。可基于确定的QoE策略来调整帧率和分辨率。

例如，发送装置在t时刻开始将要分享的屏幕的屏幕图像发送到接收装 置。假设，在t时刻，网络装置处于加载状态且允许的比特率是100kbps。当 前显示在屏幕上的应用是作为具有大量运动的图形内容的游戏应用。

在从t时刻起完全分析n个网络状态的时刻，假设通过分析网络的当前 状态和n个网络状态而分析的网络状态为空载状态且允许的比特率为 280kbps。由于允许的比特率增加，因此用于对屏幕的屏幕图像编码的帧率和 分辨率被改变。

当前显示在屏幕上的应用为游戏应用，帧率与分辨率相比必须保持为高。 对于图形内容的情况，如果假设增加帧率1fps所需的比特率为10kbps，则当 前显示的屏幕图像的帧率增加18fps。

图9是根据示例性实施例的基于内容类别和网络状态来提高QoE的方法 的流程图。

在操作910中，发送装置检测在屏幕被共享时要发送到接收装置的屏幕 图像上的内容的类别。

内容的类别可被分类为图形内容、真实图像内容或者文本内容。此外， 屏幕图像中的运动量可以是用于对内容的类别进行分类的条件。换句话说， 图形内容可以基于屏幕图像的运动量的是高还是低而被进一步分类。

在操作920中，发送装置基于检测到的内容的类别来确定QoE策略。例 如，发送装置将针对每个内容类别（即，图形内容、真实图像内容或者文本 内容）预定的QoE策略应用于在发送装置的屏幕中执行的内容。以下，将参 照图10A至图11B来描述当内容显示在TV终端时的QoE策略。

图10A和图10B是根据另一示例性实施例的应用了QoE策略的图形内 容和文本内容的示图。图10A示出显示图形内容的TV终端的屏幕，图10B 示出显示文本内容的TV终端的屏幕。

参照图10A，图形内容的示例可包括动画电影。在内容的类别具有大量 运动的情况下，与具有较少运动量的内容的类别相比，帧率可被确定为相对 高于分辨率。当在TV终端执行动画电影时，显示在TV终端的图像具有大量 的运动，因此，为了提高QoE，帧率被确定为高。

图10B示出文本内容的示例。参照图10B，文本内容的示例可包括教育 应用。对于教育应用的情况，教学资料的内容被编写为文本，从而运动量少 于其他类别的内容，并且可读性变为重要因素。因此，当在TV终端执行教 育应用时，可优先考虑分辨率，分辨率可在基于网络状态设置的允许的比特 率范围内被确定为相对高于帧率。

图11A和图11B是根据另一示例性实施例的应用了QoE策略的真实图 像内容的示图。参照图11A和图11B，作为真实图像内容的示例示出正在执 行电话应用和图库应用的TV终端的屏幕。

图11A示出正在执行电话应用的TV终端的屏幕。对于电话应用的情况， 由于在打电话期间图像数据或声音数据应该被实时地发送和接收，因此存在 大量的运动。另一方面，虽然在图11B中示出的图库应用被包括在作为电话 应用的真实图像内容中，但是相比于电话应用有少量的运动。因此，电话应 用的帧率被确定为高于图库应用的帧率。

参照图9，在操作930，发送装置分析在共享屏幕的多个终端装置之间的 网络的状态。发送装置基于网络状态的分析结果来确定流传输的允许的比特 率。分析网络状态的方法的示例可包括RTCP。

在操作940，发送装置基于确定的QoE策略和网络状态来确定帧率和分 辨率。例如，当作为对网络状态分析的结果允许的比特率为1000kbps时，发 送装置可确定显示在屏幕的内容的帧率和分辨率在1000kbp比特率范围内。 当内容的类别为图形内容且内容具有大量的运动时，发送装置可在1000kbp 比特率范围内将帧率确定为相对高于分辨率。

在操作950，发送装置根据确定的帧率和分辨率来对屏幕图像进行编码。 操作950可对应于操作206。

发送装置将编码的屏幕图像发送到接收装置。根据示例性实施例的接收 装置可以是一个或者更多个。

图12和图13是根据示例性实施例的用于提高在多个装置之间共享的屏 幕的QoE的装置1200的框图。

如图12中所示，根据本实施例的用于提高在多个装置之间共享的屏幕的 QoE的装置1200（以下，发送装置）可包括控制器1250和存储器1260。然 而，并不是所有示出的组件都为必要的组件。发送装置1200可通过比示出的 组件或多或少的组件来被实现。

图13示出当发送装置1200为智能电话时的示例。然而，如上所述，该 装置可被实现为诸如PC、智能电话、平板PC和TV的各种装置。

移动通信器1201通过诸如3G/4G网络的蜂窝网络来执行例如与基站的 呼叫建立和数据通信。子通信器1202执行用于诸如蓝牙或近场通信（NFC） 的短距离通信的功能。广播接收器1203接收数字多媒体广播（DMB）信号。

相机1204包括用于捕获照片或者视频的透镜和光学元件。

传感器1205可包括用于感测装置1200的运动的重力传感器、用于感测 光的亮度的照度传感器，用于感测人的接近度的近距离传感器和用于感测人 的运动的运动传感器等。

全球定位系统（GPS）接收器1206从卫星接收GPS信号。各种服务可 通过使用GPS信号被提供给用户。

输入器/输出器(I/O)1210提供与外部装置或者用户的接口，并包括按钮 1211、麦克风1212、扬声器1213、振动电机1214、连接器1215和键盘1216。

触摸屏1218接收用户的触摸输入。这里，触摸输入可以是由于拖动手势 或者轻击手势而做出的输入。触摸屏控制器1217将由触摸屏1218接收的触 摸输入发送到控制器1250。电源1219与电池或外部电源连接以给装置1200 提供电力。

控制器1250允许装置1200通过执行存储在存储器1260中的程序来用作 提高QoE的装置。

存储在存储器1260中的程序可根据它们的功能被分类为多个模块，例 如，移动通信模块1261、Wi-Fi模块1262、蓝牙模块1263、DMB模块1264、 相机模块1265、传感器模块1266、GPS模块1267、视频播放器模块1268、 音频播放器模块1269、电源模块1270、触摸屏模块1271、用户界面（UI） 模块1272和QoE控制模块1273。

大部分模块的功能会由本领域普通技术人员鉴于它们的名称来直觉地理 解，因此这里将只对QoE控制模块1273进行描述。当通过网络在多个装置 之间共享屏幕时，QoE控制模块1273基于当前显示在屏幕上的内容的类别来 调整用于对屏幕的屏幕图像进行编码的参数。

换句话说，QoE控制模块1273包括如下命令，所述命令用于检测与当 前显示在屏幕上的应用对应的内容的类别、确定适于检测到的内容的类别的 QoE策略、基于确定的QoE策略来调整帧率和分辨率。

可基于应用的名称来检测当前显示在屏幕上的应用。QoE控制模块1273 可包括用于提取应用的名称信息的提取器。如果提取器提取当前显示在屏幕 上的应用的名称信息，则可通过存储在存储器1260中的列表来检测与应用对 应的内容的类别。

此外，如果多个装置通过网络共享屏幕，则QoE控制模块1273分析网 络的状态，基于对网络状态分析的结果来确定允许的比特率，并基于确定的 允许的比特率将帧率和分辨率调整为适于当前显示在屏幕上的内容的类别。

示例性实施例可以以包括计算机可执行的命令（例如，计算机可执行的 程序模块）的形式来被实现。计算机可读介质可以是可被计算机访问的任意 介质，并包括易失性和非易失性介质、可拆卸和不可拆卸介质。此外，计算 机可读介质可包括计算机记录介质和通信介质。计算机记录介质包括通过使 用用于存储诸如计算机可读命令、数据结构、程序模块或其他数据的信息的 任意方法或技术而实现的易失性和非易失性介质、可拆卸和不可拆卸介质。 通信介质通常包括计算机可读命令、数据结构、程序模块或者其他传输装置， 并且包括任意信息传输介质。

示例性实施例可以以许多不同的形式来体现，且不应被解释为局限于前 述的示例性实施例。例如，单个组件可以被分为多个组件，多个组件可以组 合成一个组件。

虽然具体示出和描述了前述的示例性实施例，但本领域普通技术人员将 会理解，在不脱离由权利要求及其等同物限定的本发明构思的精神和范围的 情况下，可以进行形式上和细节上的各种改变。