首页> 中国专利> 动态图像传输服务器、动态图像播放装置、控制方法、程序、及记录媒体

动态图像传输服务器、动态图像播放装置、控制方法、程序、及记录媒体

摘要

本发明的动态图像传输服务器依序获取描绘的画面、该画面的描绘中使用的视点信息、及对应于该画面的深度缓冲。动态图像传输服务器针对分割所获取的第1画面而得的多个区块分别设定评估像素,并针对评估像素中描绘的描绘物体,特定在第1画面之前获取的第2画面中的屏幕坐标及深度值。另外,对与第2画面对应的深度缓冲中的屏幕坐标的深度值、与评估像素中描绘的描绘物体的深度值进行比较,并针对视为2个深度值相同的区块,在与第2画面之间进行帧间编码。然后,将编码详细信息传送至外部装置,该编码详细信息包含第1画面的描绘中使用的视点信息、与第1画面对应的深度缓冲、及表示是否针对第1画面的各区块进行帧间编码的信息。

著录项

  • 公开/公告号CN103392189A

    专利类型发明专利

  • 公开/公告日2013-11-13

    原文格式PDF

  • 申请/专利权人 史克威尔·艾尼克斯控股公司;

    申请/专利号CN201380000762.5

  • 发明设计人 岩崎哲史;

    申请日2013-02-20

  • 分类号

  • 代理机构北京汉昊知识产权代理事务所(普通合伙);

  • 代理人冯谱

  • 地址 日本国东京都新宿区新宿6丁目27番30号

  • 入库时间 2024-02-19 21:10:10

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-10-31

    授权

    授权

  • 2015-02-04

    实质审查的生效 IPC(主分类):G06T13/20 申请日:20130220

    实质审查的生效

  • 2013-11-13

    公开

    公开

说明书

技术领域

本发明涉及一种动态图像传输服务器、动态图像播放装置、控制方法、程序、及记 录媒体,尤其涉及一种编码动态图像数据的流式传输技术。

背景技术

可连接于网络的个人电脑(PC)等客户端设备正在普及。由于这种设备的普及,因 特网中的网络人口正在增加。近年来,正开展针对网络用户的利用因特网的各种服务,也 提供游戏等娱乐服务。

作为针对网络用户的服务之一,有MMORPG(Massively Multiplayer Online  Role-Playing Game,大型多人在线角色扮演游戏)等多人数同时参加型的网络游戏。在多 人数同时参加型的网络游戏中,用户通过将使用的客户端设备连接至提供游戏的服务器设 备,而可与使用连接于该服务器设备的客户端设备的用户进行对战游戏或合作游戏。

在通常的多人数参加型的网络游戏中,客户端设备在与服务器设备之间进行游戏的 描绘所必需的数据的收发。客户端设备通过使用接收到的描绘所必需的数据来执行描绘处 理,并将生成的游戏画面显示于连接于客户端设备的显示装置上,而对用户提供游戏画面。 另外,通过由用户操作输入界面而将输入的信息传送至服务器设备,用于服务器设备中的 运算处理,或传送至连接于服务器设备的其他客户端设备。

然而,于这种通过客户端设备进行描绘处理的网络游戏中,有时需要用户使用具有 充分描绘性能的PC或专用游戏机。因此,网络游戏(1内容)的用户数依赖于内容所要 求的客户端设备的性能。高性能的设备当然高价,可拥有该设备的用户也有限。即,例如 提供漂亮的图画的游戏等要求较高的描绘性能的游戏难以增加用户数。

与此相对,近年来,也提供有不依赖于客户端设备的描绘性能等处理能力而可由用 户玩的游戏。在如专利文献1的游戏中,服务器设备获取在客户端设备中完成的操作的信 息,并对客户端设备提供使用该信息来执行描绘处理而获得的游戏画面。

[背景技术文献]

[专利文献]

专利文献1:国际公开第2009/138878号说明书。

发明内容

[发明要解决的问题]

在如所述专利文献1的游戏中,服务器设备对客户端设备提供的游戏画面,为了削 减传送的信息量而以已编码的动态图像数据的形态提供。虽然也依赖于所采用的编码方 式,但例如如MPEG规格般,在通常动态图像编码方式中,针对分割1帧图像而得的各区 块,进行不伴随有运动补偿的帧内编码(intra coding),或伴随有利用帧间预测的运动补 偿的帧间编码(inter coding)。在各编码方式中存在压缩效率较佳的被写体,通常针对各 区块,生成已分别进行帧内编码及帧间编码的区块(iblock、pblock),并将压缩效率较高 的区块包含在编码数据中。

帧内编码在不对压缩对象的区块的图像进行加工的情况下应用DCT变换(Discrete  Cosine Transform,离散余弦变换)及游程长度编码等进行压缩。另一方面,帧间编码生成 压缩对象的区块的图像与自前帧的图像抽出的与该区块对应的参照图像的差分图像,并应 用DCT转换及游程长度编码等来进行压缩。因此,在帧间编码中,包含针对前帧的图像, 特定与压缩对象的区块的图像的相关性最高的区域的处理。这种检测相关性最高的区域的 处理是针对前帧的图像一面使评估区域移动,一面计算与压缩对象的区块的图像的类似度 及距离并进行分析,因此存在分析处理花费时间的问题。

特别是在根据用户的输入而交互地使描绘内容变化的游戏等中,要求实时性、即对 输入的高速响应,而动态图像编码处理所需的时间受到限制。在这种情况下,要求高速地 进行判断进行针对各区块的编码处理、以及帧内编码及帧间编码中的何者的处理。然而, 关于高速且高效地对描绘的画面进行动态图像编码的具体方法,至今为止仍未有揭示。

本发明是鉴于所述问题点而完成的,其目的在于提供一种高速且高效地对通过描绘 处理而获得的画面进行动态图像编码的动态图像传输服务器、动态图像播放装置、控制方 法、程序、及记录媒体。

[解决问题的技术手段]

为了达成所述目的,本发明的动态图像传输服务器具备以下构成。

本发明的动态图像传输服务器,其特征在于,具有:获取构件,依序获取描绘的画 面、该画面的描绘中使用的视点信息、及对应于该画面的深度缓冲;分割构件,将通过获 取构件获取的第1画面分割成多个区块;设定构件,针对通过分割构件被分割的各区块设 定评估像素;特定构件,针对通过设定构件被设定的评估像素中描绘的描绘物体,特定在 第1画面之前获取的第2画面中的屏幕坐标及深度值;判断构件,对与第2画面对应的深 度缓冲中的屏幕坐标的深度值、和通过特定构件被特定的评估像素中描绘的描绘物体的深 度值进行比较,判断是否视为2个深度值相同;编码构件,针对通过判断构件被视为2个 深度值相同的区块,在与第2画面之间进行帧间编码,且针对通过判断构件未被视为2个 深度值相同的区块进行帧内编码;及传送构件,将编码详细信息传送至外部装置,编码详 细信息包含第1画面的描绘中使用的视角信息、与第1画面对应的深度缓冲、及表示是否 已针对第1画面的各区块通过编码构件进行帧间编码的信息;且传送构件在通过编码构件 被编码的第1画面的各区块的编码数据的生成结束之前,将编码详细信息传送至外部装置。

为了达成所述目的,本发明的动态图像播放装置具备以下构成。

本发明的动态图像播放装置,从动态图像传输服务器依序获取1帧画面被编码成的 编码动态图像数据,进行解码并播放,其特征在于,具有:第1接收构件,从动态图像传 输服务器接收编码详细信息,编码详细信息包含第1编码动态图像数据中已编码的第1画 面的描绘中使用的视点信息、与第1画面对应的深度缓冲、及表示是否已针对第1画面的 各区块进行帧间编码的信息;解码预处理构件,基于通过第1接收构件接收的编码详细信 息,从对在第1编码动态图像数据之前获取的第2编码动态图像数据进行解码而获得的第 2画面,生成第1编码动态图像数据的解码中使用的参照数据;第2接收构件,从动态图 像传输服务器接收第1编码动态图像数据;及解码构件,使用通过解码预处理构件生成的 参照数据,对通过第2接收构件接收到的第1编码动态图像数据进行解码并播放。

[发明的效果]

根据所述构成,通过本发明可对通过描绘处理而获得的画面高速且高效地进行动态 图像编码。

关于本发明的其他特征及优点,利用参照随附图式的以下说明来阐明。此外,在随 附图式中,对相同或同样的构成标注相同的参照编号。

附图说明

随附图式包含于说明书中并构成其一部分,表示本发明的实施方式,与其记述一同 用来说明本发明的原理。

图1是表示本发明的实施方式1的动态图像传输系统的系统构成的图。

图2是表示本发明的实施方式的PC100的功能构成的方块图。

图3是表示本发明的实施方式的动态图像传输服务器200的功能构成的方块图。

图4是例示利用本发明的实施方式1的动态图像传输服务器200执行的动态图像传 输处理的流程图。

图5是例示利用本发明的实施方式的动态图像传输服务器200执行的编码判断处理 的流程图。

图6是用来说明本发明的实施方式的评估深度值与前帧深度值的比较方法的图。

图7是例示利用本发明的实施方式的动态图像传输服务器200执行的编码处理的流 程图。

图8是例示利用本发明的实施方式的PC100执行的动态图像播放处理的流程图。

图9是例示利用本发明的实施方式的PC100执行的预解码处理的流程图。

图10是表示本发明的实施方式2的动态图像传输系统的系统构成的图。

图11是表示本发明的实施方式2的中央服务器1000的功能构成的方块图。

图12是例示利用本发明的实施方式2的动态图像传输服务器200执行的信息收集处 理的流程图。

图13是例示利用本发明的实施方式2的中央服务器1000执行的判断处理的流程图。

图14是例示利用本发明的实施方式2的动态图像传输服务器200执行的动态图像传 输处理的流程图。

[符号的说明]

100       PC

101       CPU

102       ROM

103       RAM

104       解码部

105       通信部

106       显示部

107       操作输入部

200       动态图像传输服务器

201       服务器CPU

202       服务器ROM

203       服务器RAM

204       服务器GPU

205       服务器VRAM

206       服务器编码部

207       服务器记录媒体

208       服务器通信部

300、1100 网络

601       游戏画面

602、603  评估像素

604、605  评估像素物体

606       前帧画面

607、608  对应像素

1000      中央服务器

1001      中央CPU

1002      中央ROM

1003      中央RAM

1004      中央通信部。

具体实施方式

[实施方式1]

以下,参照图式对本发明的例示性的实施方式进行详细说明。此外,以下说明的一 实施方式是说明在作为动态图像传输系统的一例的动态图像播放装置即PC100与传输动 态图像的动态图像传输服务器200中应用本发明的例。

《动态图像传输系统的构成》

图1是表示本发明的实施方式的动态图像传输系统的系统构成的图。

如图所示,PC100与动态图像传输服务器200是经由因特网等网络300而连接。在 本实施方式中,PC100作为动态图像传输内容的一例,接收在动态图像传输服务器200中 执行的游戏内容所涉及的游戏画面作为编码动态图像数据。在本实施方式中,动态图像传 输服务器200接收在PC100中进行的操作(用户输入),并逐帧地描绘与该操作对应的游 戏画面。然后,动态图像传输服务器200对描绘的游戏画面进行编码,并将所得的编码动 态图像数据传输至PC100。另外,PC100当从动态图像传输服务器200接收到编码动态图 像数据时,对该编码动态图像数据进行解码并播放,由此可对用户提供游戏画面。

此外,在本实施方式中,作为动态图像传输内容的一例,说明提供通过在网络300 上的动态图像传输服务器200中执行的游戏程序而描绘的游戏画面的内容,但本发明的实 施并不限定于此。动态图像传输服务器200只要为如下构成即可:通过描绘处理而描绘对 传输目的地提供的动态图像传输内容的1帧,并传输通过针对每一帧进行的编码处理而获 得的编码动态图像数据。另外,1帧的画面的描绘并非必须在动态图像传输服务器200中 执行,例如也可通过外部的描绘服务器执行。即,动态图像传输服务器200只要接收1帧 的画面、该画面的描绘中使用的视点信息(相机参数)、及对应于该画面的深度缓冲,并 执行下述编码处理即可。

另外,在本实施方式中,作为连接于动态图像传输服务器200的客户端设备,使用 PC100进行说明,但本发明的实施并不限定于此。例如与动态图像传输服务器200连接的 客户端设备只要是家庭用游戏机、便携式游戏机、手机、PDA、平板电脑等可对从动态图 像传输服务器200接收到的编码动态图像数据进行解码并播放的设备即可。

<PC100的构成>

图2是表示本发明的实施方式的PC100的功能构成的方块图。

CPU101控制PC100所具有的各区块的动作。具体来说,CPU101通过读出例如在 ROM102中记录的动态图像播放处理的动作程序,且在RAM103中解压并执行,从而控制 各区块的动作。

ROM102例如为可改写的非易失性存储器。ROM102除存储有动态图像播放处理等 动作程序以外,还存储有PC100所具有的各区块的动作所必需的常数等信息。

RAM103是易失性存储器。RAM103不仅用作动作程序的解压区域,也用作储存区 域,暂时性地存储在PC100所具有的各区块的动作中输出的中间数据等。

解码部104对下述的通信部105接收到的编码动态图像数据进行解码处理,生成1 帧的游戏画面。另外,解码部104在进行针对编码动态图像数据的解码处理之前,进行准 备该解码处理中使用的参照数据的预解码处理。关于在解码部104中执行的预解码处理及 解码处理,将在下述动态图像播放处理中进行详细叙述。

通信部105是PC100所具有的通信界面。通信部105在与经由网络300而连接的动 态图像传输服务器200等其他设备之间进行数据收发。于数据传送时,通信部105将数据 转换为在与网络300或传送目的地的设备之间规定的数据传输形式,并对传送目的地的设 备进行数据传送。另外,当数据接收时,通信部105将经由网络300而接收到的数据转换 为可由PC100读取的任意数据形式,并存储于例如RAM103中。

此外,在本实施方式中,说明PC100与动态图像传输服务器200为经由网络300而 连接,但应容易想象到也可为例如PC100与动态图像传输服务器200是直接利用电缆而连 接的形态。

显示部106例如为LCD监视器等连接于PC100的显示装置。显示部106进行将输入 的游戏画面显示于显示区域的显示控制。此外,显示部106既可如膝上型PC般为内置于 PC100中的显示装置,也可为使用电缆而自外部连接于PC100的显示装置。

操作输入部107是例如鼠标、键盘、游戏板等PC100所具有的用户界面。操作输入 部107当检测到由用户完成用户界面的操作时,对CPU101输出与该操作对应的控制信号。

<动态图像传输服务器200的构成>

图3是表示本发明的实施方式的动态图像传输服务器200的功能构成的方块图。

服务器CPU201控制动态图像传输服务器200所具有的各区块的动作。具体来说,服 务器CPU201通过读出例如服务器ROM202中存储的动态图像传输处理的动作程序,且在 服务器RAM203中解压并执行,而控制各区块的动作。

服务器ROM202例如为可改写的非易失性存储器。服务器ROM202除存储有动态图 像传输处理等的动作程序以外,还存储有动态图像传输服务器200所具有的各区块的动作 中必需的常数等信息。

服务器RAM203是易失性存储器。服务器RAM203不仅用作动作程序的解压区域, 也用作储存区域,暂时性地存储在动态图像传输服务器200所具有的各区块的动作中输出 的中间数据等。

服务器GPU204生成显示于PC100的显示部106的游戏画面。在服务器GPU204中 连接有服务器VRAM205。服务器GPU204当从服务器CPU201接收到描绘命令及游戏画 面的描绘中使用的相机的位置及方向的信息(视点信息)时,从例如下述的服务器记录媒 体207读出该描绘命令所涉及的描绘物体,并储存于GPU存储器中。服务器GPU204在 对连接的服务器VRAM205进行描绘的情况下,在进行向高速缓冲存储器解压描绘物体之 后,将该解压后的描绘物体写入服务器VRAM205。

服务器编码部206对通过服务器GPU204而在服务器VRAM205中生成的游戏画面进 行编码处理。服务器编码部206将编码对象的游戏画面分割成区块,并对各区块进行帧内 编码(intra coding)或帧间编码(inter coding)。编码处理的详细情况将于下文叙述,但 但在本实施方式中,服务器编码部206针对YCbCr之色通道之每一个而对各区块进行离散 余弦变换(DCT)后,利用游程长度编码而进行压缩。

服务器记录媒体207为例如HDD等可装卸地连接于动态图像传输服务器200的记录 装置。在本实施方式中,在服务器记录媒体207中,记录有于描绘处理中用于画面的生成 的描绘物体的模型数据或光源信息等。

服务器通信部208是动态图像传输服务器200所具有的通信界面。在本实施方式中, 服务器通信部208在与经由网络300而连接的PC100等其他设备之间进行数据收发。此外, 服务器通信部208与通信部105同样地,依照通信规格进行数据形式的转换。

《动态图像传输处理》

对于在具有所述构成的本实施方式的动态图像传输系统的动态图像传输服务器200 中执行的动态图像传输处理,使用图4的流程图来说明具体处理。该流程图所对应的处理 可通过由服务器CPU201读出例如服务器ROM202中存储的对应的处理程序,于服务器 RAM203中解压并执行而实现。此外,说明例如当服务器CPU201检测到从PC100接收到 动态图像传输服务器200提供的游戏内容的提供请求时开始本动态图像传输处理,并针对 游戏的每一帧而反复执行。

此外,在本实施方式中,说明动态图像传输服务器200以编码动态图像数据的形态 将描绘有三维场景的游戏画面提供至PC100。然而,如上所述,由动态图像传输服务器200 传输的内容并不限定于此,可以是提供描绘有三维场景的画面的任意内容。另外,于以下 说明中为了简化说明,而说明描绘的游戏画面中包含的描绘物体均为不进行移动的静态目 标。

在S401中,服务器CPU201更新接下来要描绘的游戏画面的视点信息。具体来说, 服务器CPU201参照例如服务器通信部208接收到的在PC100中由用户完成的与游戏相关 的操作输入的信息,更新接下来要描绘的游戏画面的视点信息。可产生视点信息的更新的 由用户进行的操作例如有视点位置及方向的变更操作、或用户的操作对象的角色的移动 等。此外,用于游戏画面的描绘的视点信息的更新并不仅由在PC100中进行的用户操作而 更新,例如也可根据游戏的进展状况而变更。

在S402中,服务器CPU201使服务器GPU204描绘与在S401中更新的视点信息对 应的游戏画面。具体来说,服务器CPU201特定要描绘的游戏画面中包含的描绘物体,并 决定该描绘物体的描绘顺序。然后服务器CPU201根据决定的描绘顺序而向服务器GPU204 传输针对描绘物体的描绘命令。另外,服务器CPU201从服务器记录媒体207读出要使服 出要使服务器GPU204描绘的描绘物体的模型数据(或顶点数据及接线数据)、纹理数据、 及关于描绘物体的位置、旋转信息的参数,并传输至服务器GPU204。服务器GPU204将 传输的关于描绘物体的信息储存在GPU存储器中。

服务器GPU204依照接收到描绘命令的关于描绘物体的位置、旋转信息的参数,使 GPU存储器中储存的模型数据进行移动及旋转。然后,服务器GPU204对该描绘物体应用 纹理或光源效果后,在服务器VRAM205的帧缓冲区进行描绘。

此外,在画面的描绘中,以像素(pixel)为单位考虑因描绘物体的前后关系而产生的 遮蔽(遮挡(occlusion))。即,对于特定的像素,于在对象的描绘物体之前,已经进行 了较该描绘物体位于更靠视点侧(近前)的其他描绘物体的描绘的情况下,省略向对象的 描绘物体的描绘物体的像素的描绘。

描绘物体的前后关系的把握是参照深度缓冲(也称为z缓冲、深度图等)来进行的。 深度缓冲是由各像素的像素值表示该像素中描绘的描绘物体与视点(相机)的直线距离(z 值:深度值)的二维图像,且储存在服务器VRAM205中。服务器GPU204当依照描绘顺 序而描绘画面中包含的各描绘物体时,特定描绘对象的描绘物体的像素并参照其深度值, 与要描绘的描绘物体的该像素中的深度值进行大小比较。如果要描绘的对象的描绘物体的 深度值较小,则表示对象的描绘物体配置于近前,因此服务器GPU204在服务器VRAM205 的该像素中描绘对象的描绘物体。此时,服务器GPU204通过将深度缓冲的该像素的深度 值变更为对象的描绘物体的深度值,而更新深度缓冲。

如此,当针对所有描绘物体的描绘结束时,在服务器VRAM205中描绘的游戏画面 所对应的深度缓冲完成。

在S403中,服务器CPU201将描绘的游戏画面、该游戏画面的描绘中使用的视点信 息、及该游戏画面所对应的深度缓冲储存在服务器RAM203中。本实施方式的动态图像传 输服务器200针对向PC100提供的编码动态图像数据的各帧,将描绘的游戏画面、该游戏 画面的描绘中使用的视点信息、及该游戏画面所对应的深度缓冲储存在服务器RAM203 中,并至少保持到下一帧的编码处理结束为止。这些信息除用于当前帧的编码动态图像数 据的制作以外,还用于下一帧的编码处理或下述的编码判断处理。

在S404中,服务器CPU201在YCbCr空间中对描绘的游戏画面进行色转换之后,将 游戏画面分割成特定的像素数(例如16pixel×16pixel)的区块。

在S405中,服务器CPU201执行编码判断处理,决定对各区块进行帧内编码或进行 帧间编码。

<编码判断处理>

此处,对于通过本实施方式的动态图像传输服务器200而执行的编码判断处理,使 用图5的流程图来说明详细情况。

在S501中,服务器CPU201选择描绘的游戏画面(对象游戏画面)的区块中的未决 定编码方法的区块。

在S502中,服务器CPU201将选择区块内的像素中的1个像素设定为评估像素。此 外,服务器CPU201将关于设定的评估像素的在对象游戏画面中的屏幕坐标(Scurrent)储 存于服务器RAM203中。

在S503中,服务器CPU201特定设定的评估像素中描绘的描绘物体(评估像素物体) 的三维坐标(Dcurrent)。具体来说,服务器CPU201首先从对象游戏画面所对应的深度 缓冲获取评估像素的屏幕坐标Scurrent中的深度值(zcurrent)。其次,服务器CPU201根 据对象游戏画面的描绘中使用的视点信息、及评估像素的屏幕坐标Scurrent而特定朝向评 估像素物体的方向。然后,服务器CPU201根据视点信息、特定的朝向评估像素物体的方 向、及评估像素的深度值zcurrent而特定评估像素物体的三维坐标Dcurrent。

在S504中,服务器CPU201计算在当前帧的前1帧所描绘的游戏画面(前帧画面) 中的评估像素物体的屏幕坐标(Sprevious)及深度值(评估深度值zestimate)。具体来说, 服务器CPU201读出服务器RAM203中储存的前帧画面的描绘中使用的视点信息,将评估 像素物体的三维坐标Dcurrent转换为前帧画面中的屏幕坐标Sprevious。另外,服务器 CPU201计算前帧画面的描绘中使用的视点信息中包含的视点位置、与评估像素物体的三 维坐标Dcurrent的距离即深度值zestimate。

在S505中,服务器CPU201自服务器RAM203读出前帧画面所对应的深度缓冲,获 取屏幕坐标Sprevious中的深度值(前帧深度值zprevious)。

在S506中,服务器CPU201判断是否可以视为前帧画面中的评估像素物体的评估深 度值zestimate与前帧深度值zprevious相同。具体来说,服务器CPU201判断评估深度值 zestimate与前帧深度值zprevious的差分的绝对值是否为视为相同的阈值以下。在本步骤 中,服务器CPU201判断评估像素物体是否在前帧的游戏画面中被遮蔽。

例如,如图6所示,对针对视点A而描绘的当前帧的游戏画面(对象游戏画面)601 中的评估像素602及603进行考虑。评估像素602所对应的评估像素物体604在针对视点 B而描绘的前帧的游戏画面(前帧画面)606中被描绘在对应像素607的位置上。此时, 由于评估像素物体604在前帧画面606中未被遮蔽,因此评估深度值zestimate与前帧深度 值zprevious一致。另一方面,评估像素603所对应的评估像素物体605在前帧画面606中 被描绘在对应像素608的位置上。然而,此时,由于评估像素物体605在前帧画面606中 被遮蔽,因此评估深度值zestimate与前帧深度值zprevious不同。

如此,在本实施方式的编码判断处理中,通过使用当前帧与前帧的视点信息及深度缓 冲,而判断在选择区块中描绘的描绘物体是否已描绘在前帧画面中。

服务器CPU201在判断视为前帧画面中的评估像素物体的评估深度值与前帧深度值相 同的情况下使处理移至S507,在判断无法视为相同的情况下使处理移至S508。

在S507中,服务器CPU201更新服务器RAM203中储存的评估深度值与前帧深度值 一致的次数。

在S508中,服务器CPU201判断针对选择区块设定的评估像素的数量是否达到预先 规定的评估样本数。服务器CPU201在判断针对选择区块设定的评估像素的数量达到评估 样本数的情况下使处理移至S509,在判断未达到的情况下使处理返回S502。

在S509中,服务器CPU201判断服务器RAM203中储存的评估深度值与前帧深度值 一致的次数是否超过阈值。服务器CPU201在判断评估深度值与前帧深度值一致的次数超 过阈值的情况下,设为选择区块的遮蔽状态未产生变化而使处理移至S510。另外,服务器 CPU201在判断评估深度值与前帧深度值一致的次数未超过阈值的情况下,使处理移至 S511。

在S510中,服务器CPU201对选择区块关联表示进行帧间编码的编码识别信息。编 码识别信息例如可以是1bit的逻辑型信息。即,在本实施方式中,通过选择区块中包含的 描绘物体在前帧中是否为遮蔽状态而决定对选择区块执行帧内编码及帧间编码的何者。 即,在选择区块中包含的描绘物体在前帧中不是遮蔽状态的情况下,成为在前帧画面中存 在具有与选择区块类似度较高的图案(纹理等)的区域。因此,服务器CPU201判断进行 帧间预测压缩效率较高,从而设为在该选择区块中进行帧间编码来生成编码动态图像数 据。

在S511中,服务器CPU201判断是否已对对象游戏画面的所有区块执行S502至S510 的处理。服务器CPU201在判断存在仍未执行处理的区块的情况下使处理返回S501,在判 断不存在的情况下结束本编码判断处理。

服务器CPU201以这种方式判断对利用编码判断处理而描绘的游戏画面的各区块进行 帧内编码与帧间编码中的何者。

在S406中,服务器CPU201将描绘的游戏画面的各区块的编码识别信息、该游戏画 面的描绘中使用的视点信息、及与描绘的游戏画面对应的深度缓冲作为编码详细信息传输 至服务器通信部208,并传送至PC100。编码详细信息用于在PC100中执行的下述的预解 码处理。

在S407中,服务器CPU201对描绘的游戏画面执行编码处理,生成编码动态图像数 据。

<编码处理>

此处,对于在本实施方式的动态图像传输服务器200中执行的编码处理,参照图7进 行详细说明。

在S701中,服务器CPU201选择描绘的游戏画面的区块中的未进行编码的区块。

在S702中,服务器CPU201判断选择区块是否与编码识别信息建立关联。即,服务 器CPU201通过编码识别信息来判断是否对选择区块进行帧间编码。服务器CPU201在判 断选择区块与编码识别信息建立关联的情况下使处理移至S703,在判断未建立关联的情况 下使处理移至S705。

在S703中,服务器CPU201从在当前帧的前1帧所描绘的游戏画面(前帧画面)内 的选择区块所对应的区域的图像,生成帧间编码中使用的参照图像(参照数据)。具体来 说,服务器CPU201首先利用与所述编码判断处理相同的方法,通过将选择区块的四角的 像素转换为前帧画面的屏幕坐标而特定对应的区域的四角的坐标。然后,服务器CPU201 通过使该对应的区域的图像乘以例如自前帧画面与当前帧的游戏画面的描绘中使用的视 点信息生成的转换矩阵,而生成与选择区块相同的像素数的参照图像。

在S704中,服务器CPU201生成选择区块的图像与参照图像的差分作为差分图像, 并设定为编码对象图像。具体来说,服务器CPU201通过从选择区块的图像的各像素值中 减去参照图像的对应的像素的像素值而生成差分图像(pblock)。

另一方面,于在S702中判断选择区块未与编码识别信息建立关联的情况下,服务器 CPU201在S705中,将选择区块的图像设定为编码对象图像。

在S706中,服务器CPU201将编码对象图像传输至服务器编码部206,并执行DCT 处理而转换为频率区域的数据。

另外,服务器CPU201通过使服务器编码部206对利用转换而获得的频率区域的数据 进行游程长度编码,从而生成选择区块的编码数据。

在S707中,服务器CPU201判断是否已对描绘的游戏画面的所有区块执行S702至 S706的处理。服务器CPU201在判断存在仍未执行处理的区块的情况下使处理返回S701, 在判断不存在的情况下结束本编码处理。

如此,服务器CPU201根据描绘的游戏画面而生成编码动态图像数据。此外,通过本 实施方式的编码处理而生成的编码动态图像数据无需针对进行帧间编码的区块包含运动 矢量。即,在本实施方式的动态图像传输服务器200中,未如以往般进行与区块的图像相 关性最高的区域的检索等,而是使用画面的描绘中使用的视点信息及深度缓冲来进行该区 域的特定,因此在编码动态图像数据中不包含运动矢量。另外,在S406中,特定相关性 最高的区域所必需的信息也已作为编码详细信息而传送至PC100,因此在PC100中也同样 地进行解码时所必需的参照图像的生成即可,而无需使用运动矢量。

在S408中,服务器CPU201将在S407中生成的编码动态图像数据传输至服务器通信 部208,并对PC100传送,从而结束当前帧的动态图像传输处理。

《动态图像播放处理》

其次,关于在本实施方式的PC100中执行的动态图像播放处理,使用图8的流程图来 对具体处理进行说明。该流程图所对应的处理可通过CPU101读出例如ROM102中记录的 对应的处理程序,且在RAM103中解压并执行而实现。此外,说明例如于在PC100中接 收动态图像传输服务器200提供的游戏内容的应用程序执行时开始本动态图像播放处理, 并针对游戏的每一帧反复执行。

在S801中,CPU101判断通信部105是否从动态图像传输服务器200接收到编码详细 信息。CPU101在判断从动态图像传输服务器200接收到编码详细信息的情况下使处理移 至S802,在判断未接收到的情况下反复进行本步骤的处理。

在S802中,CPU101参照编码详细信息,执行准备当前帧的游戏画面的解码所必需的 参照数据的预解码处理。

<预解码处理>

此处,使用图9的流程图对利用本实施方式的PC100而执行的预解码处理进行详细说 明。

在S901中,CPU101选择当前帧所接收的游戏画面的区块中的未进行使用的编码方式 的判定的区块。

在S902中,CPU101参照编码详细信息,判断选择区块是否已经与表示进行帧间编码 的编码识别信息建立关联。CPU101在判断选择区块已经与编码识别信息建立关联的情况 下使处理移至S903,在判断未建立关联的情况下使处理移至S904。

在S903中,CPU101从在当前帧的前一帧中解码的游戏画面(前帧画面)内的选择区 块所对应的区域的图像,生成选择区块的解码中使用的参照图像(参照数据)。本实施方 式的PC100与动态图像传输服务器200同样地,将在前一帧中解码的前帧画面、前帧画面 的描绘中使用的视点信息、及前帧画面所对应的深度缓冲保持在RAM103中。CPU101利 用与所述动态图像传输服务器200的编码处理相同的方法生成与选择区块相同像素数的参 照图像。

在S904中,CPU101判断是否已对在当前帧中接收的游戏画面的所有区块执行S902 至S903的处理。服务器CPU201在判断存在仍未执行处理的区块的情况下使处理返回 S901,在判断不存在的情况下结束本预解码处理。

如此,在本实施方式的PC100中,通过参照在编码动态图像数据之前接收的编码详细 信息,而可先于接收到编码动态图像数据之后进行的解码处理,准备解码处理中使用的参 照数据。

在S803中,CPU101判断通信部105是否从动态图像传输服务器200接收到编码动态 图像数据。CPU101在判断从动态图像传输服务器200接收到编码动态图像数据的情况下 使处理移至S804,在判断未接收到的情况下反复进行本步骤的处理。

在S804中,CPU101将接收到的编码动态图像数据传输至解码部104,使该解码部104 执行解码处理而生成游戏画面。具体来说,解码部104通过对编码动态图像数据的各区块 进行游程长度编码数据列的解码、及逆DCT处理而生成当前帧的游戏画面的区块数据。 另外,通过使已进行帧间编码的区块与通过所述预解码处理而生成的参照数据相加,从而 解码部104生成当前帧的游戏画面。

在S805中,CPU101将在S804中生成的当前帧的游戏画面传输至显示部106,并显 示在对应的显示区域中,从而结束当前帧的动态图像播放处理。

如此,本实施方式的动态图像传输系统中的动态图像传输服务器200可在编码动态图 像数据的生成结束而进行传输之前,将编码方法的信息传送至作为动态图像播放装置的 PC100。即,可在编码动态图像数据的接收前准备参照图像作为前处理,因此可缩短接收 编码动态图像数据后进行的解码处理。即,与参照接收的编码动态图像数据中包含的运动 矢量而根据前一帧的图像,生成已进行帧间编码的区块的解码中使用的参照图像的以往的 方法相比,本实施方式的动态图像传输方法可缩短解码的动态图像的播放前所需的时间。

另外,本实施方式的动态图像传输服务器200无须针对进行帧间编码的区块进行类似 度的计算,以自前帧的游戏画面中探索相关性最高的区域。例如,在计算欧几里德距离作 为图像间的类似度的计算的情况下,一面使设定为基准图像的图像相对于对象图像偏移像 素单位或半个像素单位,一面特定距离成为最短的位置。因此,计算量对应于在探索范围 内使基准图像移动的次数而增大。另一方面,在本实施方式的动态图像传输服务器200中, 可通过参照与帧的画面一同生成的深度缓冲及该画面的描绘中使用的视点信息,而进行相 关性成为最高的区域的特定及相关度的高度的推定。即,可利用使用坐标转换矩阵的单纯 的计算来特定成为参照图像的区域,因此与以往的方式中使用的方式相比可减少计算量, 结果为可缩短编码处理所需的时间。此外,针对2帧的向屏幕坐标的转换中使用的转换矩 阵是分别根据2帧的描绘中使用的视点信息而计算的,因此可对帧内的所有区块进行再利 用。

此外,在本实施方式中帧间编码或其解码中参照的参照图像,是作为从在当前帧的前 一帧中描绘的画面生成者来说明的,但本发明的实施并不限定于此。参照图像的生成只要 为在当前帧之前的帧中描绘的画面即可。

另外,在本实施方式中为了简化说明,描绘范围中包含的描绘物体是作为不活动的静 态目标来进行说明,但本发明的实施并不限定于此。由于进行深度值的比较,因此优选静 态目标,但考虑到例如若为1帧间则各描绘物体的变化也较小。因此,只要是视为评估深 度值与前帧深度值相同的范围,即可应用本发明。在该情况下,也可考虑评估像素中描绘 的描绘物体的自前帧的移动量,而判断是否进行深度值的比较。即,在描绘物体的移动量 为阈值以上的情况下,也可决定不进行深度值的比较而进行帧内编码。

另外,在所述动态图像传输处理中,说明对当前帧的画面的所有区块进行编码判断处 理后,将所得的编码详细信息传送至PC100,但可容易想象到编码详细信息的传送时序并 不限定于此。即,在获得是否对各区块进行帧间编码的判断结果的情况下,服务器CPU201 也可不等待获得所有区块的判断结果便将该区块的编码详细信息传送至PC100。

如以上说明,本实施方式的动态图像传输服务器可对通过描绘处理而获得的画面高速 且高效地进行动态图像编码。具体来说,动态图像传输服务器依序获取描绘的画面、该画 面的描绘中使用的视点信息、及对应于该画面的深度缓冲。动态图像传输服务器分别对分 割所获取的第1画面而得的多个区块设定评估像素,并针对评估像素中描绘的描绘物体, 特定在第1画面之前获取的第2画面中的屏幕坐标及深度值。另外,对与第2画面对应的 深度缓冲中的屏幕坐标的深度值、与评估像素中描绘的描绘物体的深度值进行比较,并针 对视为2个深度值相同的区块决定在与第2画面之间进行帧间编码。然后将编码详细信息 传送至外部装置,所述编码详细信息包含第1画面的描绘中使用的视点信息、与第1画面 对应的深度缓冲、及表示是否对第1画面的各区块进行帧间编码的信息。

由此,可减低帧间编码处理的计算量,并在接收编码动态图像数据之前准备外部装置 的解码中使用的参照数据。因此,可在动态图像传输服务器传输根据动态图像播放装置中 的用户输入而变化的动态图像内容的情况下,对动态图像播放装置的用户提供对于用户输 入的响应性提高的动态图像内容。

[变形例]

在所述的实施方式中,说明与帧的画面的描绘一同获得深度缓冲,但本发明可通过画 面的描绘方法而特别高效地实施。

以往的描绘方法为依序选择游戏画面中包含的各描绘物体,并对该描绘物体进行如下 处理来描绘,即该处理为:

1.利用顶点着色器的移动、旋转处理

2.利用几何形状着色器的顶点处理

3.利用像素着色器的包含像素单位的阴影处理的效果处理。

即,针对各描绘物体进行具有阴影处理→描绘的流程的所谓Forward Rendering(正向 渲染)。在Forward Rendering中,由于逐次对各目标进行处理,因此根据像素而存在如下 情况,即在描绘1个目标后,通过位于更靠近相机的位置上的(位于较该目标更靠前的) 其他目标的描绘,而对描绘内容进行覆写。在该情况下,对于被其后描绘的目标遮蔽的先 前描绘的目标的一部分区域应用的阴影处理变为无用。另外,例如描绘的场景中存在的光 源等对于场景中存在的目标而言为共用,但在Forward Rendering中难以将描绘1个目标时 共用的计算内容再利用于其他目标的描绘。因此,尤其在进行复杂的阴影处理的游戏画面 的描绘中,Forward Rendering的效率不高。

与此相对,在Deferred Rendering(延迟渲染)中,与Forward Rendering不同,先进行 阴影处理中使用的几何形状的计算,其后集中地对所有描绘物体进行阴影处理。即,进行 具有几何形状描绘→阴影处理→描绘的流程的2阶段的描绘处理。在Deferred Rendering 中,在前段的描绘中,不进行照明而一并使用阴影处理中所使用的参数来进行几何形状的 描绘处理,生成阴影处理中使用的表示中值的多个中值图(散射图、深度图、法线图、反 射图、扩散图等)。然后,在后段的描绘处理中,一面利用生成的多个中值图,一面描绘 应用光源并进行阴影处理的画面。

如此,在动态图像传输服务器200中,在利用Deferred Rendering而描绘帧的游戏画面 的情况下,于获得最终游戏画面之前,在前段的描绘中生成深度缓冲(深度图)。即,由 于所述编码判断处理可在最终游戏画面的描绘之前执行,因此动态图像传输服务器200可 可在早于所述实施方式的阶段,对PC100传输编码详细信息。另外,针对已通过编码判断 处理而决定执行帧间编码的区块,也可在第2行程的描绘中移至参照图像的准备,因此可 进一步缩短生成最终游戏画面后至结束编码处理为止的时间。

【实施方式2】

在所述实施方式及变形例中,说明了如下方法:通过使用在不同帧的描绘中生成的深 度缓冲,来决定游戏画面的编码处理采用帧内编码及帧间编码中的哪一编码方式,而对游 戏画面高速且高效地进行动态图像编码。在本实施方式中,说明对动态图像传输服务器200 连接有多个作为动态图像播放装置的PC100的情况下的游戏画面的高速动态图像编码、及 动态图像编码数据的高效的传输方法。

《动态图像传输系统的构成》

图10是表示本实施方式的动态图像传输系统的系统构成的图。此外,在本实施方式 的说明中,对与所述实施方式1相同的构成及装置标注相同的参照编号,并省略说明。

如图所示,在本实施方式的动态图像传输服务器200中,经由网络300而连接有多个 PC100。在本实施方式中,动态图像传输服务器200接收在各PC100中完成的操作,并逐 帧地描绘与该操作对应的游戏画面。此时,动态图像传输服务器200同时并行地执行分别 对多个PC100提供的游戏画面的描绘处理及画面的编码处理。而且,动态图像传输服务器 200对各PC100同时并行地传输编码动态图像数据。

另外,在本实施方式的动态图像传输系统中,动态图像传输服务器200经由网络1100 而连接于中央服务器1000。通常,在联机的游戏服务中,为了分散服务的负荷而在多个地 点配置服务提供用动态图像传输服务器200。在本实施方式中,由中央服务器1000统一管 理以这种方式分散配置在多个地点的多个动态图像传输服务器200。中央服务器1000从各 动态图像传输服务器200收集动态图像传输状况的信息并进行判断处理,且对动态图像传 输服务器200指示可实现高效的动态图像传输的适当的参数,由此实现高效的动态图像传 输。

此外,在本实施方式中,动态图像传输服务器200与中央服务器1000经由网络1100 而连接,但本发明的实施并不限定于此,中央服务器1000也能够与PC100同样地以经由 网络300而连接于动态图像传输服务器200的方式进行设计。另外,在本实施方式中,设 想实际的实施态样而说明由中央服务器1000统一管理分散配置在多个地点的动态图像传 输服务器200,但本发明的实施并不限定于此。多个动态图像传输服务器200既可分别独 立地存在于同一地点,也能够以由中央服务器1000统一管理其等的方式进行设计。在该 情况下,动态图像传输服务器200与中央服务器1000也可不经由网络1100连接,而各设 备彼此直接有线连接。

在所述本实施方式的动态图像传输系统中,对于动态图像传输服务器200,要求具有 同时并行地处理对连接的多个PC100传输编码动态图像数据的能力。然而,如联机游戏服 务般,在连接于动态图像传输服务器200的客户端数随时间而变动的服务的情况下,动态 图像传输服务器200的性能设计较为困难。例如,在以连接的客户端数处于流量的峰值时 间带中的服务提供为基准进行性能设计的情况下,在峰值时间带以外的时间带中基础设施 性能变得过剩。这种性能设计会导致动态图像传输服务器200的导入成本不必要地增加。 另外,在以例如峰值时间带以外的时间带中的服务提供为基准而进行性能设计的情况下, 在峰值时间带中无法对超过允许客户端数的客户端提供服务,因此需要增加动态图像传输 服务器200的导入数,结果导致导入成本不必要地增加。

在本实施方式的动态图像传输系统中,提出在如此以峰值时间带以外的时间带为基准 而进行动态图像传输服务中的动态图像传输服务器200的性能设计的情况下的、高速动态 图像编码及动态图像编码数据的高效的传输方法及高效的负荷分散。

<中央服务器1000的构成>

图11是表示本发明的实施方式的中央服务器1000的功能构成的方块图。

中央CPU1001控制中央服务器1000所具有的各区块的动作。具体来说,中央CPU1001 通过读出例如中央ROM1002中存储的各区块的动作程序,在中央RAM1003中解压并执 行而控制各区块的动作。

中央ROM1002例如为可改写的非易失性存储器。中央ROM1002除存储中央服务器 1000所具有的各区块的动作程序以外,还存储在各区块的动作中所必需的常数等信息。

中央RAM1003为易失性存储器。中央RAM1003不仅用作动作程序的解压区域,也 用作储存区域,暂时性地存储中央服务器1000所具有的各区块的动作中输出的中间数据 等。在本实施方式中,在中央RAM1003中,储存表示连接于中央服务器1000的动态图像 传输服务器200中的动态图像传输状况的信息。

中央通信部1004是中央服务器1000所具有的通信界面。在本实施方式中,中央通信 部1004从经由网络1100而连接的动态图像传输服务器200,接收表示在动态图像传输服 务器200中执行的动态图像传输处理所涉及的动态图像传输状况的信息。另外,中央通信 部1004将作为中央服务器1000中的动态图像传输状况的判断处理的结果而获得的、在对 各动态图像传输服务器200的动态图像传输处理中提供的编码动态图像数据的品质调整的 参数传送至各动态图像传输服务器200。

《信息收集处理》

首先,对于收集信息的信息收集处理,使用图12的流程图来说明具体处理,所述信 息是表示在各动态图像传输服务器200中执行的动态图像传输处理的动态图像传输状况的 信息。该流程图所对应的处理可通过由服务器CPU201读出例如服务器ROM202中储存的 对应的处理程序,且在服务器RAM203中解压并执行而实现。此外,说明本信息收集处理 例如在动态图像传输服务器200进行对PC100的动态图像传输期间,以特定的时间间隔而 定期地执行。

在S1201中,服务器CPU201获取当前连接于动态图像传输服务器200的客户端数。 当前连接的客户端数例如通过当服务器通信部208接受来自各PC100的连接请求时,更新 服务器RAM203中储存的连接数的信息来进行管理即可。

在S1202中,服务器CPU201计算于动态图像传输时每台客户端使用的平均CPU使用 率。具体来说,服务器CPU201通过使当前的总CPU使用率除以在S1201中获取的客户端 数,而计算出平均CPU使用率。此外,所谓CPU使用率是指1台客户端使用CPU可提供 的资源中的百分之几的资源。

在S1203中,服务器CPU201同样地计算出于动态图像传输时每台客户端使用的平均 GPU使用率。此外,所谓GPU使用率是指1台客户端使用GPU可提供的资源中的百分之 几的资源。

在S1204中,服务器CPU201计算出于动态图像传输时每台客户端传送的编码动态图 像数据的平均动态图像数据大小。在如本实施方式的动态图像传输系统中,设想在各PC100 中以各种显示分辨率来阅览编码动态图像数据。即,在PC100中,用户或应用程序根据 PC100的性能或喜好而从480p、720p、1080p等中选择接受提供的编码动态图像数据的分 辨率,并从动态图像传输服务器200接收对应的编码动态图像数据。另外,由于根据描绘 的场景而编码效率也会改变,因此对各PC100提供的编码动态图像数据的数据大小只要未 以编码比特率加以固定,则有可能成为各种数据大小。如此,设想到对各PC100传送的编 码动态图像数据的数据大小不同,因此服务器CPU201在本步骤中计算出平均动态图像数 据大小。此外,在本实施方式中,说明对各PC100提供的编码动态图像数据作为显示分辨 率及数据大小不同的数据而计算出平均动态图像数据大小,但在保证这些为固定的情况 下,也可不进行本步骤的处理。

在S1205中,服务器CPU201将利用S1202~S1204中的处理而计算的平均CPU使用 率、平均GPU使用率、及平均动态图像数据大小作为动态图像传输状况的信息而经由服 务器通信部208传送至中央服务器1000,从而结束本信息收集处理。

《判断处理》

对于在已获取通过如此般在动态图像传输服务器200中执行的信息收集处理而获得的 动态图像传输状况的信息的中央服务器1000中执行的判断处理,使用图13的流程图来说 明具体处理。该流程图所对应的处理可通过使中央CPU1001读出例如中央ROM1002中存 储的对应的处理程序,且在中央RAM1003中解压并执行而实现。此外,说明本判断处理 例如于从各动态图像传输服务器200接收到动态图像传输状况的信息时执行,或以特定的 时间间隔而定期地执行。

另外,在以下的说明中,在中央服务器1000中接收到的各动态图像传输服务器200 的动态图像传输状况的信息是通过中央CPU1001而储存在中央RAM1003中。

在S1301中,中央CPU1001参照从连接于中央服务器1000的各动态图像传输服务器 200接收到的动态图像传输状况的信息,计算作为系统整体的平均CPU使用率、平均GPU 使用率、及平均动态图像数据大小。具体来说,中央CPU1001通过针对从所有动态图像 传输服务器200接收到的各信息计算平均值,而特定作为系统整体的传输状况。

在S1302中,中央CPU1001根据作为当前系统整体的动态图像传输状况的信息,计 算出作为系统整体可支持的客户端数的预测值。在本实施方式的中央服务器1000中,使 用如下3种运算式来计算可支持的客户端数的预测值。

1.每台服务器的CPU数×动态图像传输服务器200数/平均CPU使用率

2.每台服务器的GPU数×动态图像传输服务器200数/平均GPU使用率

3.网络300可传输的最大数据大小/平均动态图像数据大小

中央CPU1001将根据所述3式而获得的预测值分别设为预测值1、预测值2、及预测 值3,并储存在中央RAM1003中。

在S1303中,中央CPU1001判断在S1302中计算出的预测值中最小的客户端数的预 测值是否小于预先规定为进行最低限度服务提供的客户端数的客户端数Z。中央CPU1001 在判断预测值小于进行最低限度服务提供的客户端数Z的情况下使处理移至S1304,在判 断不小于的情况下结束本判断处理。

在S1304中,中央CPU1001决定从各动态图像传输服务器200提供至PC100的编码 动态图像数据的最大分辨率,以使计算出最小客户端数的预测值的运算式的解成为大于进 行最低限度服务提供的客户端数Z的值。如上所述,编码动态图像数据的最大分辨率已预 先规定有可提供的分辨率。在本步骤中,中央CPU1001选择其中的任一分辨率作为提供 的编码动态图像数据的最大分辨率。

此外,通过变更提供的编码动态图像数据的最大分辨率而减少的CPU使用率、GPU 使用率、及平均动态图像数据大小的信息例如可预先获取,并作为表格而储存在中央 ROM1002等中即可。然后,中央CPU1001通过参照该表格而决定满足条件的最大分辨率 即可。另外,即使不作为表格而预先存储,也可通过其他方法获取从各动态图像传输服务 器200对各PC100提供的编码动态图像数据的分辨率的信息,并根据该信息而决定最适当 的最大分辨率。

在S1305中,中央CPU1001将决定的编码动态图像数据的最大分辨率的信息经由中 央通信部1004而传送至各动态图像传输服务器200,从而结束本判断处理。

如此,在本实施方式的动态图像传输系统中,中央CPU1001考虑到各动态图像传输 服务器200中的动态图像传输状况,决定动态图像传输中的编码动态图像数据的最大分辨 率而对各动态图像传输服务器200进行通知。由此,即使于在系统整体中,对动态图像传 输服务器200连接有超过性能设计的客户端数的情况下,也可在降低传输的编码动态图像 数据的分辨率,从而维持最低限度的服务品质的状态下进行服务提供。

此外,在本实施方式中,说明中央CPU1001以作为系统整体保证最低限度的服务品 质的方式,决定提供的编码动态图像数据的最大分辨率,但此时针对即使设为该最大分辨 率,也无法在资源内对连接的各PC100提供服务的动态图像传输服务器200,也能够以使 连接于该服务器的一部分客户端连接到连接数较少的网络1100上的其他动态图像传输服 务器200的方式,进行工作负载的平衡调整。

《动态图像传输处理》

以下,对于在本实施方式的动态图像传输系统的动态图像传输服务器200中执行的动 态图像传输系统,使用图14的流程图来说明具体处理。此外,在本动态图像传输处理中 对进行与实施方式1的动态图像传输处理相同的处理的步骤标注相同的参照编号并省略说 明,在本实施方式中,以下仅对特征性的处理进行说明。

在S1401中,服务器CPU201判断是否已设定编码动态图像数据的最大分辨率。具体 来说,服务器CPU201通过从中央服务器1000接收到的编码动态图像数据的最大分辨率的 信息是否储存在服务器RAM203中来进行本步骤的判断。服务器CPU201在判断设定有编 码动态图像数据的最大分辨率的情况下使处理移至S1402,在判断为未设定最大分辨率的 情况下使处理移至S401。

在S1402中,服务器CPU201判断游戏画面的提供目的地的PC100是否请求以大于最 大分辨率的分辨率提供编码动态图像数据。服务器CPU201在判断请求的编码动态图像数 据的分辨率大于最大分辨率的情况下使处理移至S1403,在判断为未达最大分辨率的情况 下使处理移至S401。

在S1403中,服务器CPU201将在S402中描绘的游戏画面的分辨率设定为由中央服 务器1000提供的最大分辨率,并使处理移至S401。

由此,可设定在动态图像传输处理中描绘的游戏画面的最大分辨率。另外,通过如此 般设定游戏画面的最大分辨率,而同时生成的深度缓冲的分辨率及最大分辨率也得以被规 定,因此也可降低所述编码判断处理中的处理量。

如以上说明,在本实施方式的动态图像传输系统中,可根据连接于系统的客户端数及 动态图像传输状况,可对游戏画面高速地进行动态图像编码,并高效地传输动态图像编码 数据。此外,在本实施方式中,说明中央服务器1000考虑系统整体的动态图像传输状况 而设定传输的编码动态图像数据的最大分辨率,但本发明的实施并不限定于此,所述判断 处理也可例如通过各动态图像传输服务器200来执行。即,亦可不考虑系统整体,而考虑 针对连接的客户端的动态图像传输状况,由各动态图像传输服务器200进行判断处理,从 而一面动态地变更动态图像传输中的最大分辨率一面进行动态图像传输。

本发明并不限定于所述实施方式,可在不脱离本发明的精神及范围的情况下进行各种 变更及变形。因此,为了公开本发明的范围而随附以下的技术方案。

本申请案基于2012年2月23日提出的日本专利申请案特愿2012-037769、及2012年 4月25日提出的日本专利申请案特愿2012-100328并主张其优先权,将其记载内容全部引 用于此。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号