显示控制器、屏幕图像传送装置和屏幕图像传送方法

摘要

本发明提供显示控制器、屏幕图像传送装置和屏幕图像传送方法。该显示控制器用于从帧缓冲器读取帧数据，并且生成要显示在显示器上的屏幕输出图像，其中，所述显示控制器配备有用于提取所述屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像的路径，并且将该用于传送的屏幕图像写入与帧缓冲器分离地提供的专用存储器。

说明书

技术领域

本技术涉及传送屏幕图像的技术。

背景技术

高图像质量的图形的使用已经展开为其中诸如例如个人计算机或者专 用游戏机使用高质量三维计算机图形执行诸如游戏、仿真等的应用或者再现 通过将实际拍摄的图像与计算机图形组合而获得的视频内容的使用。

另一方面，已经增强了诸如智能手机、平板终端等的移动设备的显示面 板的显示性能，并且也在移动设备中使用高图像质量的计算机图形和视频。

发明内容

移动设备一般具有小屏幕。由此需要在电视机的大屏幕、固定游戏机等 的监视器等上显示并观看移动设备的屏幕图像。也需要将移动设备连接到另 一设备，以使得家庭或者朋友观看相同的屏幕图像，或者在多个用户之间共 享屏幕图像以享受诸如游戏等的应用。

已经鉴于这些问题作出本技术。期望提供用于传送由特定设备生成的屏 幕图像到另一设备并且在其他设备上显示该屏幕图像的技术。

根据本技术的模式的显示控制器是显示控制器，用于从帧缓冲器读取帧 数据，并且生成要显示在显示器上的屏幕输出图像，其中，显示控制器配备 有用于提取屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像的 路径，并且将该用于传送的屏幕图像写入与帧缓冲器分离地提供的专用存储 器。

根据本技术的另一模式是屏幕图像传送装置。该装置包括：主存储器， 包括帧缓冲器；显示控制器，配置为从帧缓冲器读取帧数据，并且生成要显 示在显示器上的屏幕输出图像；专用存储器，与主存储器分离地布置；以及 系统互连，配置为相互互连主存储器、显示控制器和专用存储器。提供用于 从显示控制器提取屏幕输出图像作为要传送到另一设备的用于传送的屏幕 图像的路径，并且在用于传送的屏幕图像不通过该系统互连的情况下将用于 传送的屏幕图像写回到专用存储器。

本技术的另一模式也是屏幕图像传送装置。该装置包括：主存储器，包 括帧缓冲器；显示控制器，配置为从帧缓冲器读取帧数据，并且生成要显示 在显示器上的屏幕输出图像；专用存储器，配置为存储由显示控制器生成的 屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像；以及编码器， 配置为压缩编码用于传送的屏幕图像。该编码器在不执行帧间预测的情况下 压缩编码用于传送的屏幕图像。

本技术的另一模式是屏幕图像传送方法。该方法是用于传送装置中的屏 幕图像的方法，该装置包括由系统互连来相互互连的主存储器、显示控制器 和专用存储器，该方法包括：从主存储器中包括的帧缓冲器读取帧数据，并 且由显示控制器生成要显示在显示器上的屏幕输出图像；从显示控制器提取 该屏幕输出图像作为要传送到另一设备的用于传送的屏幕图像，并且在用于 传送的屏幕图像不通过该系统互连的情况下将用于传送的屏幕图像写回到 专用存储器；以及压缩编码用于传送的屏幕图像，用于传送的屏幕图像被写 回到专用存储器，并且传送用于传送的屏幕图像到其他设备。

要注意，上面组成元件和通过在方法、装置、系统、计算机程序、数据 结构、记录介质等之间转换本技术的表达而获取的模式的任意组合也和本技 术的模式一样是有效的。

根据本技术，由特定设备生成的屏幕图像可以被高效地传送到另一设备 并且被显示在另一设备上。

附图说明

图1A是从移动设备向TV(电视)/监视器传送屏幕图像的系统的框图；

图1B是从移动设备向固定设备发送屏幕图像的系统的框图；

图1C是从移动设备向另一移动设备发送屏幕图像的框图；

图1D是分发平台经由云服务器传送屏幕图像到云服务客户端的系统的 框图；

图1E是从移动设备向运动图像共享服务上载屏幕数据的系统的框图；

图2是移动设备的框图；

图3A是帮助解释图2中的系统LSI中的屏幕图像传送功能的实现的示 例的示图；

图3B是帮助解释图2中的系统LSI中的屏幕图像传送功能的实现的另 一示例的示图；

图3C是帮助解释在屏幕图像传送处理和向下兼容处理之间共享图2中 的专用存储器的配置的示图；

图4是图2中的显示控制器的框图；

图5A到图5C是帮助解释使用用于传送的写回路径从显示控制器提取 的屏幕图像的示图；

图6是帮助解释配备有两个信道的图像输出的显示控制器的配置的示 图；

图7A到7C是帮助解释使用具有两个输出信道的显示控制器的示例的 示图；

图8A到8C是帮助解释使用具有两个输出信道的显示控制器的另一示 例的示图；

图9A到9C是帮助解释使用具有两个输出信道的显示控制器的另一示 例的示图；以及

图10是帮助解释屏幕图像发送系统和屏幕图像接收系统之间的软件握 手的例程的流程图。

具体实施方式

根据实施例的屏幕图像传送系统实时地从特定设备向另一设备传送屏 幕图像。另外，当用户在作为传送目的地的设备上提供一些操作输入时，操 作内容被传送到作为传送源的设备，并且反映操作内容的更新后的屏幕图像 被传送到作为传送目的地的设备。将参考图1A到1E描述根据本实施例的 屏幕图像传送系统的配置的一些示例。

图1A是从移动设备100向TV/监视器300传送屏幕图像的系统的框图。

通过诸如无线LAN(局域网)等的网络相互连接移动设备100和TV/ 监视器300。移动设备100例如是诸如便携式游戏机、智能手机、写字板等 的便携式设备。移动设备100具有下面要描述的屏幕图像传送功能模块200。

屏幕图像传送功能模块200通过诸如MPEG-4AVC(运动画面专家组-4 高级视频编码)等的运动画面压缩编码系统来压缩编码由移动设备100的显 示控制器生成的屏幕图像(该屏幕图像没有必要是在移动设备100的显视器 上显示的屏幕图像)，并且经由诸如无线LAN等的网络来传送压缩编码后的 屏幕图像到TV/监视器300。

TV/监视器300具有AVC(高级视频编码)解码器400。TV/监视器300 解码从移动设备100接收到的压缩后的屏幕数据，并且在大屏幕显示器上显 示解码后的屏幕数据。在移动设备100的小屏幕上观看的图像由此可以在 TV/监视器300的大屏幕上显示。

图1B是从移动设备100发送屏幕图像到固定设备310的系统的框图。

由诸如无线LAN(局域网)等的网络相互连接移动设备100和固定设 备310。移动设备100的屏幕图像传送功能模块200压缩编码由显示控制器 生成的屏幕图像，并且经由诸如无线LAN等的网络传送压缩编码后的屏幕 图像到固定设备310。固定设备310例如是固定游戏机、电视接收器、记录 器、CATV(有线电视)的机顶盒等。

固定设备310具有AVC解码器400。固定设备310解码从移动设备100 接收到的压缩后的屏幕数据，并且在与通过HDMI(高清多媒体接口)(注 册商标)、MHL(移动高清链接)连接到固定设备310的TV/监视器300上 显示解码后的屏幕数据。由此可以在TV/监视器300的大屏幕上显示在移动 设备100的小屏幕上观看到的图像。此外，当固定设备310具有记录功能时， 可以记录从移动设备300传送的视频。

图1C是从移动设备100向另一移动设备110发送屏幕图像的系统的框 图。

通过诸如无线LAN等的网络相互连接第一移动设备100和第二移动设 备110。第一移动设备100具有屏幕图像传送功能模块200。第二移动设备 110具有AVC解码器400。屏幕图像传送功能模块200压缩编码在第一移动 设备100的显示器上显示的屏幕图像，并且经由诸如无线LAN等传送压缩 编码后的屏幕图像到第二移动设备110。第二移动设备110解码从第一移动 设备100接收到的压缩后的屏幕数据，并且在显示面板上显示解码后的屏幕 数据。

另外，第二移动设备110接收来自用户的输入，并且发送该输入的内容 到第一移动设备100。第一移动设备100生成反映来自用户的输入的内容(该 内容从第二移动设备110接收)的屏幕图像，并且传送该屏幕图像到第二移 动设备110。由此，在战斗游戏的情形下，在第一移动设备100和第二移动 设备110之间共享游戏屏幕图像，以使得多个用户可以参与该游戏。此外， 在第一移动设备100和第二移动设备110之间共享屏幕图像使得多个用户能 够进行网络会议。

图1D是分发平台502经由云服务器500传送屏幕图像到云服务客户端 510的系统的框图。

分发平台502具有屏幕图像传送功能模块200。分发平台502经由诸如 PCI(外围部件互连)Express(PCIe)、USB(通用串行总线)等的接口连接 到云服务器500。屏幕图像传送功能模块200压缩编码期望被传送到云服务 客户端510的屏幕图像，并且供应压缩编码后的屏幕图像到云服务器500。 云服务器500经由因特网发送压缩后的屏幕数据到云服务客户端510。

云服务客户端510具有AVC解码器400。云服务客户端510解码压缩后 的屏幕数据，并且在显示器上显示解码后的屏幕数据。另外，云服务客户端 510接收来自用户的输入，并且发送该输入的内容到云服务器500。分发平 台502生成反映来自用户的输入的内容(从云服务器500接收到该内容)的 屏幕图像，压缩编码该屏幕图像，并且供应该压缩编码后的屏幕图像到云服 务器500。云服务客户端510从云服务器500接收反映了来自用户的输入的 内容的屏幕图像。

图1E是从移动设备100向运动图像共享服务600上载屏幕数据的系统 的框图。

移动设备100具有屏幕图像传送功能模块200。移动设备100压缩编码 在显示器上显示的屏幕图像，并且经由因特网发送压缩编码后的屏幕图像到 运动图像共享服务600。由此将在移动设备100的显示器上显示的屏幕图像 作为运动图像上载到运动图像共享服务600。

将图1A到1E的配置示例中已经描述的具有屏幕图像传送功能模块200 的发送侧上的移动设备100、分发平台502等共同称为“屏幕图像发送系统”。 此外，将具有AVC解码器400的接收侧上的TV/监视器300、固定设备310、 移动设备110、云服务客户端510等共同称为“屏幕图像接收系统”。下面， 通过采用移动设备100作为“屏幕图像发送系统”的示例并且采用TV/监视器 300作为“屏幕图像接收系统”的示例，将描述配置和处理例程。然而，“屏幕 图像发送系统”和“屏幕图像接收系统”的示例不限于移动设备100和TV/监 视器300。

图2是移动设备100的框图。移动设备100包括系统LSI(大规模集成) 270。系统LSI270包括CPU(中央处理器)10、图形处理单元(GPU)20、 外围30、主存储器50、显示控制器(DISPC)60、专用存储器70、AVC编 码器80和I/O(输入/输出)90。通过系统互连40相互连接这些组成元件。

CPU10执行应用，并且控制系统LSI270的每个组成元件。GPU20执 行图形处理，由此生成运动图像，并且在主存储器50的帧缓冲器52中存储 运动图像。外围30控制各种外围装置。

系统互连40是相互连接系统部件的连接。系统互连40具有诸如共享总 线、跨接开关、环形总线、树形网络等的任意物理形式。系统互连40可以 采用诸如握手系统、基于分组的网络等任意数据传输系统。这些物理形式和 数据传送系统是例示性的，并且系统互连40的物理形式和数据传送系统不 限于上面提及的示例。

移动设备100具有触摸面板280，包括LCD(液晶显示器)/OLED(有 机发光二极管)面板230和触摸垫240。

主存储器50包括存储运动图像的帧的多个帧缓冲器52。DISPC60以线 为单位读取多个帧缓冲器52中存储的图像，使图像经受转换处理，以特定 刷新率生成最终屏幕图像，并且输出最终屏幕图像到LCD/OLED面板230。 此外，作为一种选择，DISPC60可以输出最终屏幕图像到HDMI/MHL(高 清多媒体接口/移动高清链接)连接器260，以在通过HDMI/HML连接到 HDMI/MHL连接器260的外部显示器等上显示屏幕图像。

根据本实施例的DISPC60配备有专用路经，用于提取生成的屏幕图像 作为用于传送的屏幕图像(该路径将被称为“用于传送的写回路径”)。作为 启动器(总线主控)的DISPC60可以经由用于传送的写回路径输出用于传 送的屏幕图像到专用路径或者系统互连40，并且将用于传送的屏幕图像写回 到与主存储器50分离地提供的专用存储器70。

AVC编码器80读取其屏幕图像被存储在专用存储器70中的用于传送的 屏幕图像，通过诸如MPEG-4AVC等的运动图像压缩编码系统压缩编码该用 于传送的屏幕图像，并且将压缩编码后的屏幕数据写入到专用存储器70。

在MPEG-4AVC中，通常执行使用I帧的帧间预测(内编码帧)、P帧 (预测帧)和B帧(双向预测帧)。然而，根据本实施例的AVC编码器80 可以在不执行帧间预测的情况下仅使用I帧来编码压缩图像，以确保屏幕图 像传送的实时特性。

当执行帧间预测时，减少压缩之后的数据量，以使得可以减小传送带宽。 然而，预测花费处理时间，并且增加屏幕图像传送的时延。相应地，鉴于已 经通过WLAN(无线局域网)、蓝牙(商标)等在速度上增加设备之间的连 接的事实，根据本实施例的AVC编码器80采用这样的系统：利用牺牲的压 缩效率和赋予减小时延优先级，在不执行帧间预测的情况下，仅仅使用I帧 来压缩编码图像。当设备之间的连接的带宽受限时，虽然劣化了图像质量， 但是可以通过增加压缩率以提供等于帧间预测的数据量的数据量来减小必 要带宽。

顺便提及，在时延不是问题的使用中，如在上载运动图像到图1E中所 示的运动图像共享服务600的情形下，可以利用赋予压缩率优先级，通过普 通帧间预测来执行压缩编码。

MPEG-4AVC标准允许在不执行帧间预测的情况下仅仅使用I帧的运动 图像的压缩编码。由此，与标准兼容的解码器可以仅仅使用I帧来解码压缩 编码后的运动图像。因此，屏幕图像接收系统不需要专用硬件或者软件，并 且可以通过仅并入通用AVC解码器400来解码用于传送的屏幕图像。因此 能够应对多种设备。

I/O90读取来自专用存储器70的压缩后的屏幕数据，并且输出压缩后 的屏幕数据到诸如WLAN天线220a、以太网(注册商标)、连接器220b、 USB端口220c、PCIe插槽220d等之类的外部连接接口，以发送压缩后的屏 幕数据到外部。也使用这些外部连接接口以发送音频数据和通用处理结果到 外部。

此外，I/O90接收来自按钮、键盘、传感器250和触摸垫240的用户输 入，并且供应用户输入到CPU10。按照要求，CPU10经由I/O90输出从用 户输入的数据到诸如WLAN天线220a、以太网连接器220b、USB端口220c、 PCIe插槽220d等之类的外部连接接口，以发送数据到外部。

上代装置兼容硬件210是用于保持与诸如上代游戏机等之类的上代装置 的兼容性的上代装置硬件配置。上代装置兼容硬件210例如包括CPU、如执 行矢量运算的FPU(浮点单元)的VFPU(矢量浮点单元)、GPU、DMA(直 接存储器存取)控制器等的电路。上代装置兼容硬件210被连接到系统互连 40，并且使用专用存储器70作为用于读取和写入数据的缓冲器。

将参考图3A到3C描述系统LSI270内实现的屏幕图像传送功能模块 200的配置。

图3A是帮助解释系统LSI270中的屏幕图像传送功能模块200的实现 的示例的示图。在本实现示例中，系统LSI270内由虚线120包围的DISPC 60、专用存储器70、AVC编码器80和I/O90用作参考图1A到1E描述的 屏幕发送系统的屏幕图像传送功能模块200的主块。

DISPC60以线为单位读取来自主存储器50的多个帧缓冲器52的帧数 据，使帧数据根据LCD/OLED面板230的尺寸经受诸如放大、缩小、综合 等的转换处理，以LCD/OLED面板230的刷新率生成最终屏幕数据，并且 在LCD/OLED面板230上显示最终屏幕数据。

另一方面，DISPC60配备有专用路径62，用于提取已经经受诸如放大、 缩小、综合等的转换处理的屏幕数据，并且将该屏幕数据写回到专用存储器 70。转换处理之后的屏幕图像被写回到专用存储器70。AVC编码器80经由 专用路径82从专用存储器70读取转换处理之后的屏幕图像(该屏幕图像被 存储在专用存储器70中)，压缩编码该屏幕图像，并且经由转换路径82将 压缩编码后的屏幕图像写回到专用存储器70。I/O90经由专用路径92从专 用存储器70读取压缩编码后的屏幕图像，并且传送作为用于传送的屏幕图 像的该屏幕图像到作为传送目的地的设备。

在图3A的实现示例中，使用专用路径62、82、92，并且当由DISPC60 生成的屏幕图像作为传送屏幕图像被提取、被压缩编码并且被输出到外部 时，系统互连40不干预从专用存储器70读取数据和向专用存储器70写入 数据。也就是，专用存储器70和专用路径62、82和92被用于压缩后的传 送屏幕图像的数据流，并且数据路径与使用系统互连40的普通数据处理分 离。这使得能够在不使系统互连40的数据传送带宽变窄的情况下执行屏幕 图像传送处理。此外，可以以低时延执行屏幕图像传送处理，这是因为通过 专用路径62、82和92直接存取专用存储器70，并且没有必要经由系统互连 40存取主存储器50。

图3B是帮助解释在系统LSI270中的屏幕图像传送功能的实现的另一 示例的示图。在本实现示例中，系统LSI270内由虚线120包围的DISPC60、 专用存储器70、AVC编码器、I/O90和系统互连40用作参考图1A到1E描 述的屏幕发送系统的屏幕图像传送功能模块200的主块。

图3B的实现示例与图3A的实现示例的不同在于当由DSIPC60生成的 屏幕图像作为传送屏幕图像被提取，被压缩编码并且被输出到外部时，在从 专用存储器70读取数据和向专用存储器70写入数据中使用系统互连40。

系统互连40由QoS(服务的质量)功能保留传送屏幕图像的数据流的 带宽，并且将数据路径与普通处理分离。即使当在屏幕图像传送处理和普通 处理之间共享系统互连40时，该QoS控制可以防止如下情况：作为正在由 普通处理影响屏幕图像传送处理的结果，由于屏幕图像的传送引起的延迟引 起损失实时特性，并且反过来防止如下情况：作为正在由屏幕图像传送处理 变窄系统互连40的数据传输带宽的结果，响应由于普通处理的数据处理引 起的延迟而恶化。

图3C是帮助解释在屏幕图像传送处理和向下兼容处理之间共享图2中 的专用存储器70的配置的示图。

上代装置兼容硬件210是诸如上代游戏机等的上代装置的硬件块。上代 装置兼容硬件210使用专用存储器70而不是主存储器50来读取和写入数据。 为了保持与上代装置的兼容性，设计专用存储器70以具有与上代装置中包 括的视频存储器的延时和带相等的延时和带宽。经由系统互连40被存取的 主存储器50具有比上代装置中包括的视频存储器更高的延时，并且由此不 适用于保持兼容性。

当上代装置兼容硬件210操作时，专用存储器70被用作视频存储器， 并且上代装置兼容硬件210的GPU写入呈现数据到专用存储器70。另一方 面，如参考图3A和图3B描述的，屏幕图像传送处理需要在不受普通处理 影响的情况下被实时操作。为了这个目的，与主存储器50分离地包括专用 存储器70，并且用于传送的屏幕图像被写入到专用存储器70。在上代装置 兼容处理和屏幕图像传送处理之间共享一个专用存储器70。同时实现保持与 上代装置的兼容性的目的和确保屏幕图像传送处理的实时特性的目的二者。 因此能够减小电路大小并且有效地执行上代装置兼容处理和屏幕图像传送 处理。

图4是DISPC60的框图。DISPC60以线为单位经由系统互连40从主 存储器50的多个帧缓冲器52读取帧数据，执行格式转换、位扩展处理、缩 放处理和颜色空间转换，通过由阿尔法混合(alpha blending)综合图像来生 成最终屏幕数据，并且输出最终屏幕数据到面板。DISPC60的管线(pipeline) 以显示屏幕图像的刷新率执行屏幕图像更新。例如，当刷新率是60Hz时， 每秒生成最终屏幕图像60次。

路径a(附图标记160a)包括格式转换/位扩展部分150a、缩放处理部 分152a和颜色空间转换部分154a，并且使从第一帧缓冲器52读取的帧数据 经受格式转换、位扩展处理、缩放处理和颜色空间转换。

路径b(附图标记160b)包括格式转换/位扩展部分150b、缩放处理部 分152b和颜色空间转换部分154b，并且使从第二帧缓冲器52读取的帧数 据经受格式转换、位扩展处理、缩放处理和颜色空间转换。

格式转换/位扩展部分150a和150b读取帧缓冲器的各种格式信息，并且 转换数据格式以扩展数据格式为在后级的处理中使用的位长度。

缩放处理部分152a和152b根据显示器的尺寸放大和缩小帧图像，并且 使用双线性滤波器等改进图像质量。

颜色空间转换部分154a和154b根据显示器的规范转换帧的颜色空间。 颜色空间转换部分154a和154b例如转换帧数据为诸如RGB、YCbCr等的 像素格式。

阿尔法混合部分156通过使路径a中的转换之后的帧数据和路径b中的 转换后的帧数据的输入经受阿尔法混合来生成合成图像，并且输出合成图像 到MIPI(移动工业处理接口)接口部分158。MIPI接口部分158向面板输 出从阿尔法混合部分156接收到的图像作为最终屏幕数据。

图4示出假设帧数据的输入来自两个帧缓冲器的配置示例。当要支持三 个或者更多帧缓冲器时，提供三个或者更多配置是足够的，每个配置包括由 相互平行的虚线160a包围的格式转换/位扩展部分150a、缩放处理部分152a 和颜色空间转换部分154a，并且形成作为接收并且综合来自三个或者更多路 径的输入的多输入单输出配置的阿尔法混合部分156。

DISPC60配备有用于传送的写回路径64，用于提取生成的屏幕图像作 为用于传送的屏幕图像。路径a和路径b的输出(也就是，来自帧缓冲器的 帧数据经受格式转换、位扩展、缩放处理和颜色转换之后的屏幕图像)被提 取为路径a输出(路径a输出)和路径b输出(路径b输出)。此外，路径c 的输出(也就是，路径a的输出和路径b的输出经受阿尔法混合之后的屏幕 图像)被提取为路径c输出(路径c输出)。作为路径a输出、路径b输出 和路径c输出的屏幕图像经由图3A的实现示例中的专用路径62或者经由图 3B的实现示例中的系统互连40作为用于传送的屏幕图像被写回到专用存储 器70中。

因为作为路径a输出和路径b输出的屏幕图像经由专用路径62或者系 统互连40被写回到专用存储器70，所以可以分别提取两个屏幕图像的综合 之前的屏幕图像。因为路径c输出经由专用路径62或者系统互连40被写回 到专用存储器70，所以可以提取两个屏幕图像的综合之后的屏幕图像。

图5A到图5C是帮助解释使用用于传送的写回路径从DISPC60提取的 屏幕图像的示图。

图5A示出作为路径a输出的、在该情形下是运动图像流的屏幕图像。 图5B示出作为路径b输出的、在该情形下是菜单屏幕或者图像屏幕的屏幕 图像。图5c示出作为路径c输出的、在该情形下是通过综合作为路径b输 出的菜单屏幕和作为路径a输出的运动图像而获取的图像的屏幕图像。可以 通过使用DISPC60的用于传送的写回路径64提取这三种屏幕图像。

将作出使用提取为用于传送的屏幕图像的三种屏幕图像的几个示例的 描述。作为第一使用示例，在具有屏幕图像传送功能模块200的屏幕图像发 送系统的显示面板上显示作为路径c输出的合成图像，并且将相同的屏幕图 像传送到具有AVC解码器400的屏幕图像接收系统。例如当期望在发送侧 和接收侧之间共享该屏幕图像时，或者当期望在接收侧上的大屏幕显示器上 观看发送侧上的屏幕图像时，使用该方法。

作为第二使用示例，在屏幕图像发送系统的显示面板上显示作为路径c 输出的合成图像，并且传送作为路径a输出的运动图像流到图像接收系统。 该方法例如适用于当在大屏幕显示器上观看电影的同时期望菜单屏幕在发 送侧上的移动设备100上显示并且在手上操作。菜单屏幕可以被分开地生成 并且显示在屏幕图像接收系统上，而不显示在发送侧上的移动设备100上。

作为第三使用示例，作为路径c输出的合成屏幕图像被显示在屏幕图像 发送系统的显示面板上，作为路径a的屏幕图像被传送到两个屏幕图像接收 系统之一，并且作为路径b输出的屏幕图像被传送到其他屏幕图像接收系统。 例如，运动图像可以被显示在一个屏幕图像接收系统的显示器上，并且游戏 屏幕图像可以被显示在另一屏幕图像接收系统的显示器上。

作为第四使用示例，在屏幕图像发送系统的显示面板上不显示路径输出 图像，并且作为路径c输出的合成图像传送到屏幕图像接收系统。例如当在 发送侧上的移动设备100上观看到的屏幕图像被期望切换到接收侧上的TV/ 监视器300的大屏幕上，并且在接收侧上的TV/监视器300的大屏幕上被观 看时，使用该方法。

虽然图4示出具有一个信道的图像输出的DISPC60的配置，但是可以 提供两个信道的图像输出。图6是帮助解释配备有两个信道的图像输出的 DISPC60的配置的示图。第一信道CH1(附图标记161)的配置和第二信道 CH2(附图标记164)的配置与图4中的相同。此外，与图2中所示，在正 常使用中，向LCD/OLED面板230供应第一信道CH1的最终屏幕数据，同 时向HDMI/MHL连接器260供应第二信道CH2的最终屏幕数据，以显示在 由HMDI/MHL连接到HDMI/MHL连接器260的监视器等上。

此外，在图6的DISPC60中，对于第一信道CH1提供用于提取在第一 信道CH1的路径a和路径b中阿尔法混合之前的图像的路径路径a输出和路 径b输出以及用于提取在第一信道CH1的路径c中阿尔法混合之后的合成 图像的路径路径c输出。此外，对于第二信道CH2提供用于提取在第二信 道CH2的路径a和路径b中阿尔法混合之前的图像的路径路径a输出和路径 b输出以及用于提取在第二信道CH2的路径c中阿尔法混合之后的合成图像 的路径路径c输出。如图4中，作为路径输出的这些屏幕图像作为用于传送 的屏幕图像经由图3A的实现示例中的专用路径62或者经由图3B的实现示 例中的系统互连40被写回到专用存储器70。

当使用图6中具有两个输出信道的DISPC60时，两种屏幕图像可以被 生成，然后作为用于传送的屏幕图像从用于传送的写回路径65(路径a输出、 路径b输出和路径c输出)被提取，并且被传送到作为传送目的地的设备。

图7A到7C是帮助解释使用具有两个输出信道的DISPC60的示例的示 图。在第一信道CH1上，生成如图7A所示的1280像素宽×720像素高的 低分辨率的屏幕A作为用于发送侧上的移动设备100的屏幕。同时，在第二 信道CH2，生成如图7B所示的1980像素宽×1080像素高的高分辨率的屏 幕B作为用于接收侧上的TV/监视器300的屏幕。根据移动设备100的面板 的刷新率更新第一信道CH1上的屏幕。根据TV/监视器300的刷新率更新第 二信道CH2上的屏幕。

如图7C中所示，向发送侧上的移动设备100的显示面板输出DISPC60 的第一信道CH1上的屏幕A，同时第二信道CH2上的屏幕B从用于传送的 写回路径被提取为用于传送的屏幕图像，被压缩编码并且此后被传送到作为 传送目的地的TV/监视器300。TV/监视器300接收压缩编码后的屏幕图像， 由AVC解码器400解码压缩编码后的屏幕图像，并且在显示器上显示屏幕 图像。由此，在发送侧上的移动设备100上显示低分辨率的屏幕A，并且在 接收侧上的TV/监视器300上显示高分辨率的屏幕B。然而，当屏幕A不需 要显示在发送侧上的移动设备100上时可以取消显示屏幕A。

当由此使用具有两个输出信道的DISPC60时，可以生成示出相同图像 但是分辨率和刷新率相互不同的屏幕图像。因此能够直接向移动设备100输 出低分辨率屏幕图像，同时向TV/监视器300传送高分辨率屏幕图像，并且 在TV/监视器300上显示高分辨率屏幕图像。与提供用于不同分辨率的两个 帧缓冲器的现有技术方法相比，本实施例可以在不增加占用存储器或者CPU 负荷的情况下，生成分辨率和刷新率相互不同的两个屏幕图像。

图8A到8C是帮助解释使用具有两个输出信道的DISPC60的另一示例 的示图。在第一信道CH1上，生成图8A中所示的触摸操作菜单的屏幕A 作为发送侧上的移动设备100的屏幕。同时，在第二信道CH2上，生成图 8B中所示的游戏视频的屏幕B作为接收侧上的TV/监视器300的屏幕。根 据移动设备100的面板的刷新率更新第一信道CH1上的屏幕。根据TV/监视 器300的刷新率更新第二信道CH2上的屏幕图像。

如图8C中所示，向发送侧上的移动设备100的显示面板输出DISPC60 的第一信道CH1上的屏幕A，同时第二信道CH2的屏幕B从用于传送的写 回路径被提取为用于传送的屏幕图像，被压缩编码并且此后被传送到作为传 送目的地的TV/监视器300。TV/监视器300接收压缩编码后的屏幕图像，由 AVC解码器400解码压缩编码后的屏幕图像，并且在显示器上显示屏幕图 像。由此，在发送侧上的移动设备100上显示触摸操作菜单的屏幕A，并且 在接收侧上的TV/监视器300上显示游戏视频的屏幕B。

当由此使用具有两个输出信道的DISPC60时，可以生成不同的屏幕图 像。因此，可以直接向移动设备100输出触摸操作菜单的屏幕图像以在手上 操作，同时可以向TV/监视器300传送游戏视频的屏幕图像以被显示在大屏 幕上。

图9A到9C是帮助解释使用具有两个输出信道的DISPC60的另一示例 的示图。在第一信道CH1上，生成图9A中所示1280像素宽×720像素高 的低分辨率的屏幕A作为用于发送侧上的移动设备100的屏幕。同时，在第 二信道CH2上，生成图9B中所示1980像素宽×1080像素高的高分辨率的 屏幕B作为用于接收侧上的TV/监视器300和个人计算机的屏幕。

如图9C中所示，向发送侧上的移动设备100的显示面板输出DISPC60 的第一信道CH1上的屏幕A，同时第二信道CH2上的屏幕B从用于传送的 写回路径被提取为用于传送的屏幕图像，被压缩编码并且此后被传送到作为 传送目的地的TV/监视器300和个人计算机320。TV/监视器300和个人计算 机320接收压缩编码后的屏幕图像，由AVC解码器400解码压缩编码后的 屏幕图像，并且在显示器上显示屏幕图像。由此，在发送侧上的移动设备100 上显示低分辨率的屏幕图像，并且在接收侧上的TV/监视器300和个人计算 机320上显示高分辨率的屏幕B。然而，当屏幕A不需要显示在发送侧上的 移动设备100上时可以取消显示屏幕A。

当由此使用具有两个输出信道的DISPC60时，可以生成示出相同图像 但是分辨率和刷新率相互不同的屏幕图像。因此能够直接向移动设备100输 出低分辨率屏幕图像，同时向TV/监视器300和个人计算机320传送高分辨 率屏幕图像，并且在TV/监视器300和个人计算320上显示高分辨率屏幕图 像。向多个接收系统传送高分率屏幕图像使得多个用户能够共享相同的屏幕 图像。

图10是帮助解释屏幕图像传送系统和屏幕图像接收系统之间的软件握 手的例程的流程图。

屏幕图像发送系统发送屏幕连接请求到屏幕图像接收系统(S10)。屏幕 连接请求包括指示诸如游戏、电影等的视频的屏幕内容、分辨率、刷新率、 AVC压缩格式、音频的存在或者不存在、音频格式、关于在屏幕图像接收系 统中用户输入的存在或者不存在的询问等作为附加信息。

屏幕图像发送系统通过初始化DISPC60、AVC编码器80和I/O90来准 备视频传送，准备音频传送并且准备TCP/IP和UDP(用户数据报协议) (S12)。

接收到屏幕连接请求时，屏幕图像接收系统初始化AVC解码器400和 I/O90，准备音频处理，准备用户输入的传送，并且准备TCP/IP和UDP(S14)。 屏幕图像接收系统返回屏幕连接应答到屏幕图像发送系统(S16)。屏幕连接 应答包括作为附加信息的用户输入的存在或者不存在。下面将作出存在用户 输入的情形的描述。屏幕图像发送系统准备接收来自屏幕图像接收系统的用 户输入(S18)。

屏幕图像接收系统对于完成初始化并且屏幕图像接收系统准备好接收 被传送的屏幕图像的结果，发送连接OK的通知到屏幕图像传送系统(320)。 屏幕图像发送系统确认屏幕图像传送的准备的完成(S22)，并且对于完成了 初始化并且屏幕图像传送要开始的结果，发送连接开始通知到屏幕图像接收 系统(S24)。

屏幕图像发送系统和屏幕图像接收系统通过TCP/IP的UDP无连接通信 发送并且接收数据(S26到S29)。屏幕图像发送系统发送屏幕图像和音频到 屏幕图像接收系统，并且接收来自屏幕图像接收系统的用户输入(S30)。屏 幕图像接收系统接收来自屏幕图像发送系统的屏幕图像和音频，并且发送用 户输入到屏幕图像发送系统(S32)。

根据本实施例的屏幕图像传送系统，可以实时地从特定设备向另一设备 传送屏幕图像。此外，因为作为传送目的地的设备中的用户输入被传送到作 为传送源的设备，所以作为传送源的设备可以生成反映用户输入的屏幕图 像，并且传送更新后的屏幕图像到作为传送目的地的设备。由此，实时在被 传送的屏幕图像上反映用户输入，并且即使当用户使用作为传送目的地的设 备时，也不劣化响应。

通过提供用于从显示控制器提取用于传送的屏幕图像的路径并且将用 于传送的屏幕图像写回到专用存储器，可以以低时来延传送屏幕图像到作为 传送目的地的设备。此外，通过与系统互连分离地提供用于屏幕图像传送处 理的专用数据路径，可以避免屏幕图像传送处理和普通处理相互竞争系统资 源并且因此延迟了应用改变或者屏幕图像传送的行为的情况。

具体地，当增加屏幕图像传送时的系统负荷时，不可预测的改变出现在 软件的行为中，并且增加稳定软件的行为的开发成本。此外，用户不期望屏 幕图像传送使得应用的操作变慢或者减少屏幕更新频率。在本实施例中，通 过由专用路径或者QoS控制来相互分离屏幕图像传送处理和普通处理以避 免这种情况。

此外，因为用于传送的屏幕图像通过使用标准压缩编码被编码并且然后 被传送，所以可以仅通过将普通解码器并入到屏幕图像接收系统中来解码并 且显示屏幕图像。不执行帧间预测的压缩编码的使用尤其使得编码花费的处 理时间能够被减少，并且使得屏幕图像能够不延迟地被传送。

上面已经基于本技术的实施例描述本技术。这些实施例是示例性的，并 且本领域的技术人员要理解，本实施例的组成元件和处理过程的组合容许各 种修改并且这种修改也落入本技术的范围内。

本公开包含与2013年6月7日向日本专利局提交的日本优先权专利申 请JP2013-121131中公开的主题有关的主题，其全部内容以引用的方式并入 本文。