图像处理装置、内容生成辅助装置、图像处理方法、内容生成辅助方法、及图像文件的数据结构

摘要

硬盘驱动器（50）中存储有图像的阶层数据（116）、针对将图像划分为预定的大小而成的各平铺图像分别保持描绘平铺图像所需要的处理时间的指标的速度地图（118）、以及规定视点的移动的脚本数据（119）。在具有显示图像的功能的信息处理装置的控制部（100a）中，输入信息取得部（102）取得用户对输入装置（20）进行的操作的相关信息。载入部（108）从硬盘驱动器（50）载入图像显示所需的数据。移动条件调整部（104）基于速度地图调整视点的移动速度。帧坐标决定部（105）依次决定显示区域的帧坐标。解码部（106）将压缩图像数据解码。显示图像处理部（114）描绘显示图像。

说明书

技术领域

本发明涉及使显示在显示器上的图像放大／缩小、或上下左右移动的图 像处理技术。

背景技术

已提出有不仅执行游戏程序，还能再现动图像的家庭用娱乐系统。在该 家庭用娱乐系统中，GPU生成使用了多边形（polygon）的三维图像（例如参 照专利文献1）。

〔在先技术文献〕

〔专利文献〕

〔专利文献1〕美国专利第6563999号公报

发明内容

〔发明所要解决的课题〕

在这样的图像显示技术中，在实现能基于显示对象图像的放大、缩小、 滚动进行视点的移动那样的显示方式时，希望视点连续且顺畅地变化。然而， 因图像的数据尺寸、显示系统的处理能力等各种各样的原因，移动视点期间 内的连续显示的更新处理有时会跟不上，发生丢帧等，给观赏者带来不协调 感。

本发明是鉴于这样的课题而研发的，其目的在于提供一种能顺畅地进行 视点的移动的图像处理技术。

〔用于解决课题的手段〕

本发明的一个方案涉及图像处理装置。该图像处理装置的特征在于，包 括：输入信息取得部，取得使视点相对于显示对象图像移动的输入信息；速 度地图存储部，存储有速度地图，该速度地图保持为局部描绘图像所需要的 处理时间的指标的分布；移动条件调整部，基于速度地图保持的与移动路径 对应的指标，调整与输入信息相应的视点的移动速度；帧坐标决定部，基于 调整后的移动速度决定应显示的帧的帧坐标；以及显示图像处理部，处理与 帧坐标对应的图像数据，描绘显示图像。

本发明的另一方案涉及内容生成辅助装置。该内容生成辅助装置是对在 一边移动视点一边显示图像的内容中规定视点的移动的脚本数据的生成进行 辅助的内容生成辅助装置，其特征在于，包括：设定信息取得部，取得用户 为规定视点的移动而设定的、作为帧的通过点的多个关键帧的坐标和关键帧 间的移动时间的设定信息；速度地图存储部，存储速度地图，该速度地图保 持为局部描绘图像所需要的处理时间的指标的分布；移动速度检验部，判断 与设定信息相应的视点的移动速度是否超过基于处理时间的指标而取得的移 动路径上的限制速度；设定信息修正部，当移动速度超过移动路径上的限制 速度时，修正设定信息；脚本数据生成部，根据设定信息修正部进行的修正 的结果，生成最终的脚本数据。

本发明再一个方案涉及图像处理方法。该图像处理方法的特征在于，包 括：取得使视点相对于显示对象图像移动的输入信息的步骤；从存储器读出 速度地图的步骤，该速度地图保持为局部描绘图像所需要的处理时间的指标 的分布；基于速度地图保持的与移动路径对应的指标，调整与输入信息相应 的视点的移动速度的步骤；基于调整后的移动速度决定应显示的帧的帧坐标 的步骤；以及处理与帧坐标对应的图像数据，在帧存储器中描绘显示图像的 步骤。

本发明的再一个方案涉及内容生成辅助方法。该内容生成辅助方法是对 在一边移动视点一边显示图像的内容中规定视点的移动的脚本数据的生成进 行辅助的内容生成辅助方法，其特征在于，包括：取得用户为规定视点的移 动而设定的、作为帧的通过点的多个关键帧的坐标和关键帧间的移动时间的 设定信息的步骤；从存储器读出速度地图的步骤，该速度地图保持为局部描 绘图像所需要的处理时间的指标的分布；判断与设定信息相应的视点的移动 速度是否超过基于处理时间的指标而取得的移动路径上的限制速度的步骤； 当移动速度超过移动路径上的限制速度时，修正设定信息的步骤；以及根据 进行修正的步骤中的修正结果，生成最终的脚本数据，存储到存储器中的步 骤。

本发明再一个方案涉及图像文件的数据结构。该数据结构是为一边移动 视点一边显示图像而被从存储装置读出的图像文件的数据结构，其特征在于， 使显示对象图像的数据和为确定视点的移动速度的上限而被参照的速度地图 建立了对应，其中，所述速度地图保持为局部描绘图像所需要的处理时间的 指标的分布。

此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、 系统、计算机程序等之间变换后的方案，作为本发明的实施方式也是有效的。

〔发明效果〕

通过本发明，能实现不依赖于显示条件地使视点顺畅移动的显示。

附图说明

图1是表示能适用于本实施方式的信息处理系统的使用环境的图。

图2是表示能适用于图1的信息处理系统的输入装置的外观构成的图。

图3是在本实施方式中使用的图像数据的阶层构造的概念图。

图4是表示本实施方式中的信息处理装置的构成的图。

图5是用于说明本实施方式中的图像数据的预读处理的图。

图6是本实施方式中的脚本数据的概念图。

图7是详细表示在本实施方式中具有显示图像的功能的控制部的构成的 图。

图8是用于说明在本实施方式中采用高斯函数作为传递函数时的、移动 速度相对于函数最大值的变化的变化的图。

图9是详细表示在本实施方式中具有辅助脚本数据的生成的功能的控制 部的构成的图。

图10是用于说明本实施方式中的设定信息修正部修正路径时的具体例 的图。

图11是表示在本实施方式中辅助脚本数据的生成的步骤的流程图。

具体实施方式

在本实施方式中成为处理对象的图像的数据具有由使原图像多阶段地缩 小而生成的不同分辨率的图像构成的阶层构造。各阶层的图像分割成一或多 个平铺图像。例如分辨率最低的图像由1个平铺图像构成，分辨率最高的原 图像由最多数量的平铺图像构成。图像显示时，将描绘所使用的平铺图像切 换成显示图像成为预定分辨率时所对应的不同阶层的平铺图像，从而迅速进 行放大显示或缩小显示。

首先，说明具有这样的阶层构造的图像的基本显示方式。图1表示能适 用本发明实施方式的信息处理系统1的使用环境。信息处理系统1具有执行 包括图像处理在内的程序的信息处理装置10、和输出信息处理装置10的处 理结果的显示装置12。显示装置12可以是具有输出图像的显示器和输出声 音的扬声器的电视。

显示装置12通过有线缆线连接于信息处理装置10，也可以通过无线LAN （Local Area Network）等进行无线连接。在信息处理系统1中，信息处理装 置10介由缆线14连接于因特网等外部网络，可以下载取得包含有被阶层化 了的压缩图像数据的内容（contents）文件等。当然，信息处理装置10也可 以通过无线通信连接于外部网络。

信息处理装置10根据用户的要求，进行显示于显示装置12的显示器的 图像的放大／缩小处理、以及向上下左右方向的移动处理等变更显示区域的 处理。这样的显示区域的移动和放大缩小可以看作是用户的虚拟视点的移动。 用户一边看着显示在显示器上的图像一边操作输入装置要求移动视点时，输 入装置将该视点移动要求信号发送给信息处理装置10。信息处理装置10还 根据被作为图像显示内容而与图像数据一并提供的、预先规定了视点的变化 的数据，进行自动变更显示区域的处理。

图2表示输入装置20的外观构成。输入装置20作为用户可操作的操作 手段，具有十字键21、模拟摇杆27a、27b、4种操作按钮26、及手持部分28a、 28b。4种操作按钮26由○按钮22、×按钮23、□按钮24及△按钮25构成。

在信息处理系统1中，输入装置20的操作手段除被分配内容的起动／结 束要求、与内容相应的各种功能的执行要求外，还被分配用于输入显示区域 的放大／缩小要求、以及向上下左右方向的滚动要求的功能。例如图像的放 大／缩小要求的输入功能被分配给右侧的模拟摇杆27b。用户通过将模拟摇 杆27b向身前拉，能输入显示图像的缩小要求，通过向前推，能输入显示图 像的放大要求。此时，也可以使得能根据模拟摇杆27b的倾倒角度来调节放 大率的变更速度。

此外，显示区域的滚动的输入功能被分配给模拟摇杆27a。用户通过使模 拟摇杆27a向某方向倾倒，能输入向该方向的滚动要求。此时，也可以使得 能根据倾倒的角度来调节滚动的速度。此外，输入显示区域移动的要求的功 能也可以被分配给另一操作手段，例如可以对十字键21分配滚动要求的输入 功能。

为实现后述的各种功能，输入装置20还被分配使显示于图像上的光标移 动、或选择文件及指令的功能。或者，输入装置20也可以用指示器件、鼠标、 键盘、触摸板等一般的输入装置实现。上述那样的功能分配可以根据输入装 置20的种类适当决定。

输入装置20具有将所被输入的视点移动要求信号等传送给信息处理装 置10的功能，在本实施方式中，被构成为能与信息处理装置10之间进行无 线通信。输入装置20和信息处理装置10可以采用Bluetooth（蓝牙）（注册商 标）协议或IEEE802.11协议等建立无线连接。当然，输入装置20也可以介 由缆线与信息处理装置10连接，将视点移动要求信号等传送给信息处理装置 10。

图3表示在本实施方式中使用的图像数据的阶层构造的概念图。图像数 据具有在深度（Z轴）方向上由第0阶层30、第1阶层32、第2阶层34及 第3阶层36构成的阶层构造。该图中仅表示了4阶层，但阶层数并不限定于 此。以下，将具有这样的阶层构造的图像数据称作“阶层数据”。

图3所示的阶层数据具有4叉树的阶层构造，各阶层由1个以上的平铺 图像38构成。所有平铺图像38都被形成为具有相同像素数的同一尺寸，例 如具有256×256像素。各阶层的图像数据以不同的分辨率表现一个图像，将 具有最高分辨率的第3阶层36的原图像多阶段地缩小，生成第2阶层34、 第1阶层32、第0阶层30的图像数据。例如第N阶层的分辨率（N为0以 上的整数）可以在左右（X轴）方向、上下（Y轴）方向上都是第（N＋1） 阶层的分辨率的1／2。

在信息处理装置10中，阶层数据被以按预定的压缩格式压缩了的状态保 存在存储装置中，在显示于显示器之前被从存储装置读出并解码。本实施方 式的信息处理装置10具有与多种压缩格式对应的解码功能，例如可解码S3TC 格式、JPEG格式、JPEG2000格式的压缩数据。

阶层数据的阶层构造如图3所示那样，将左右方向设定为X轴，将上下 方向设定为Y轴，将深度方向设定为Z轴，构建虚拟的3维空间。信息处理 装置10从输入装置20所提供的视点移动要求信号中导出显示图像的变更量 后，使用该变更量导出虚拟空间中的帧的4角的坐标（帧坐标）。或者，依次 读出预先规定在内容中的、应显示的区域的帧坐标。

虚拟空间内的帧坐标被用于向后述的主存储器的压缩数据的载入及显示 图像的生成处理。此外，信息处理装置10也可以导出确定阶层的信息和该阶 层中的纹理坐标（UV坐标），来取代虚拟空间内的帧坐标。以下，将阶层确 定信息和纹理坐标的组合也称作帧坐标。

下面说明本实施方式的信息处理装置的基本构成。图4表示了信息处理 装置10的构成。信息处理装置10包括无线接口40、开关42、显示处理部 44、硬盘驱动器50、记录介质安装部52、盘驱动器54、主存储器60、缓存 器70及控制部100。显示处理部44具有用于缓存要显示于显示装置12的显 示器的数据的帧存储器。

开关42是以太网开关（以太网是注册商标），是通过有线或无线与外部 的设备连接进行数据的收发的器件。开关42被构成为介由缆线14连接于外 部网络，能从服务器接收内容文件等。此外，开关42连接于无线接口40， 无线接口40通过预定的无线通信协议与输入装置20相连接。在输入装置20 中由用户输入的信号被经由无线接口40、开关42而提供给控制部100。

硬盘驱动器50作为存储数据的存储装置来发挥功能。介由开关42接收 到的内容文件等的数据被存储在硬盘驱动器50中。记录介质安装部52在被 安装了存储卡等可移动记录介质时，从可移动记录介质读出数据。盘驱动器 54在被安装了只读的ROM盘时，驱动并识别ROM盘，读出数据。ROM盘 可以是光盘或光磁盘等。图像数据和内容文件可以被存储在这些记录介质中。

控制部100具有多核CPU，1个CPU中具有1个通用处理器核和多个单 处理器核。通用处理器核被称作PPU（PowerPC Processor Unit），其余处理器 核被称作SPU（Synergistic Processor Unit）。

控制部100具有连接于主存储器60和缓存器70的存储器控制器。PPU 具有寄存器，并具有主处理器作为运算执行主体，将作为要执行的应用程序 中的基本处理单位的任务高效地分配给各SPU。此外，PPU自身也可以执行 任务。SPU具有寄存器，并具有作为运算执行主体的副处理器和作为本地存 储区域的本地存储器。本地存储器可以作为缓存器70来使用。

主存储器60和缓存器70是存储装置，被构成为RAM(随机存取存储器）。 SPU具有专用的DMA（Direct Memory Access）控制器作为控制单元，能高 速地进行主存储器60与缓存器70间的数据传输，并且能在显示处理部44中 的帧存储器与缓存器70间实现高速的数据传输。本实施方式的控制部100通 过使多个SPU并行动作来实现高速的图像处理功能。显示处理部44连接于 显示装置12，输出与用户的要求相应的图像处理结果。

信息处理装置10为在进行显示图像的放大／缩小处理及滚动处理时顺 畅地更新显示，预先从硬盘驱动器50将压缩图像数据的一部分载入到主存储 器60中。此外，还可以基于之前的视点的移动方向，预读可能将来要显示的 区域，将载入到主存储器60中的图像数据的再一部分解码后存储到缓存器 70中。由此，能在以后必要的定时（timing）瞬时地切换显示图像的生成所 使用的图像。

图5是用于说明预读处理的图。图5表示了阶层数据的构造，各阶层被 表现为L0（第0阶层）、L1（第1阶层）、L2（第2阶层）、L3（第3阶层）。 在图5所示的阶层数据结构中，深度（Z轴）方向上的位置表示分辨率，越 是靠近L0的位置，分辨率越低，越是靠近L3的位置，分辨率越高。若关注 显示于显示器的图像的大小，则深度方向上的位置对应于缩放率，若使L3 的显示图像的缩放率为1，则L2的缩放率为1／4，L1的缩放率为1／16， L0的缩放率成为1／64。

因此，在深度方向上，显示图像在从L0侧向L3侧的方向变化时，显示 图像逐渐放大，在从L3侧向L0侧的方向变化时，显示图像逐渐缩小。箭头 80表示了用户的视点移动要求信号要求显示图像的缩小，跨过了缩放率1／4 （L2）的情况。在信息处理装置10中，将作为平铺图像38而准备的L1、L2 的深度方向的位置设定为深度方向的预读边界，若图像变更要求信号跨过预 读边界，则开始预读处理。

显示图像的缩放率处于L2附近时，使用L2（第2阶层）的平铺图像生 成显示图像。具体来说，当要显示的图像的缩放率处于L1平铺图像和L2平 铺图像的切换边界82、与L2平铺图像和L3平铺图像的切换边界84之间时， 使用L2平铺图像。因此，在如箭头80所示那样被要求图像的缩小处理时，L2 的平铺图像从被放大了的图像变换成被缩小了的图像进行显示。另一方面， 预先确定并解码从图像变更要求信号预测出的将来需要的平铺图像38。在图 5的例子中，当视点移动要求信号的要求缩放率跨过了L2时，信息处理装置 10从硬盘驱动器50或主存储器60预读出处于缩小方向上的L1的对应的平 铺图像38进行解码，并写入缓存器70。

以上针对深度方向的预读处理进行了说明，上下左右方向的预读处理也 是同样地处理。具体来说，对解压缩于缓存器70中的图像数据预先设定预读 边界，当基于图像变更要求信号的显示位置跨过预读边界时，就开始预读处 理。

信息处理装置10除如上述那样针对用户对输入装置20的视点移动要求 依次使显示区域移动地显示图像外，还能按预先规定的运动使显示区域移动。 在该情况下，预先生成规定帧坐标的时间变化的数据（以后称为“脚本数据”） 作为阶层数据的附加数据，由此形成内容文件。信息处理装置10通过参照载 入到主存储器60中的脚本数据，使视点移动，以使得在规定的定时显示所规 定的帧。由此，能实现使显示依次移动到显示对象图像中的、认为内容生成 者想要看的区域的表现方式。

图6是脚本数据的概念图。针对该图所示的阶层数据300，如箭头302 那样规定了脚本数据。在此，各阶层上所示的虚线矩形表示在脚本数据中规 定的帧、即关键帧。即，在该例中，规定了使第0阶层30上的关键帧304、 第1阶层32上的关键帧306、第2阶层34上的关键帧308、第3阶层36上 的关键帧310按此顺序显示这样的视点移动。

脚本数据是设定显示对象阶层数据的识别信息、关键帧的帧坐标、到达 下一关键帧的时间间隔等的文件。脚本数据可以用信息处理装置10可解釈的 XML等标记语言记述。此时信息处理装置10从主存储器60读出脚本数据， 以用线性插值或样条（spline）插值等对关键帧进行插值的方式，算出基于帧 率的各时刻的帧的帧参数。通过与此相应地执行解码、描绘，帧被依次显示。

下面表示用XML记述的脚本数据的例子。在该例中，采用了由相对于 预先已知帧坐标的基准帧的“（X方向偏置、Y方向偏置、放大率比）”构成 的帧参数来取代帧坐标。

〔表1〕

在上述记述中，第（7）～（11）行设定了以图像数据名“INDEX”为显 示对象，以该图像中的帧参数（－0.2，－0.2，0.6）的帧为初始图像进行显 示的情况。接下来在（12）～（24）中，进行了使视点移动的设定。具体来 说，设定了如下视点移动：间隔4秒（第15行）、线性（第16行）、将始点 的时刻记为0、将终点的时刻记为1.0时，在0、0.5、1.0的各时刻（第17行）， 分别显示帧参数为（－0.2，－0.2，0.6）、（－0.1，－0.1，0.5）、（－0.1，－ 0.1，0.25）的帧（第19～21行）。这样，在使视点移动的情况下，作为通过 点而记述在脚本数据中的帧是关键帧。

通过像这样用脚本数据规定多个帧坐标及其显示定时，用户仅进行使内 容开始的输入，就能实现如动图像内容那样显示逐渐变化的方式。另一方面， 在脚本数据中，可以使用户对输入装置20的操作或视点的位置等与据此显示 的帧的坐标建立对应。

例如在某区域被显示的状态下按下输入装置20的○按钮22时，使显示 移动到脚本数据所记述的帧中最近的帧。或者，在通过输入装置20的十字键 21等进行了快进／快退的操作时，使显示区域按脚本数据所记述的帧的顺序 移动。通过这样处理，例如在显示对象是报纸或杂志的内容时，能使显示对 象按文章单位移动，或使显示引导到想要关注的区域。

此外，在当显示区域重合于显示对象图像中预先规定的链接区域时、使 显示向另一图像的阶层数据切换这样的方式中，一旦进入到包含链接区域的 预定范围内，就将显示区域引导到链接区域。例如在排列有表示电器产品等 装置具有的各种功能的图标的图像的数据中，将各图标的区域作为链接区域， 与图标所代表的功能的说明文档的图像数据分别建立对应。这样，能实现如 下这样的方式：在显示排列有图标的图像的过程中、用户使显示区域接近某 图标时，该图标所代表的功能的说明文档就被显示出来。

不论用户的视点移动要求的输入或脚本数据等成为视点移动之契机的输 入手段如何，本实施方式的图像显示技术都能实现视点在阶层数据所形成的 虚拟三维空间中连续移动这样的表现方式。在这样的方式中，与依次显示多 个帧的动图像显示不同，视点看起来自然地移动是非常重要的。

在视点移动过程中，需要一边按取决于显示装置的垂直同步频率等的帧 率连续错开位置，一边解码并描绘显示区域的新的图像。此时，为使得能追 随于移动地顺畅地更新显示，预读处理或将周边区域解码到比帧足够大的尺 寸的缓存器70中这样的方法是有效的。

然而，有如下倾向，即，所要求的移动速度越大，移动范围越宽大，新 的压缩图像数据的载入及解码等显示更新前所需的处理越增加，故显示更新 跟不上的可能性变高。于是，显示会在移动途中暂停或断续地显示。移动速 度的容许值因显示系统的处理能力及图像的压缩格式等而不同，并且根据图 像的疏密，在图像内也有变化。因此，在生成图像显示内容的阶段，需要考 虑显示系统及图像数据的条件等地改换各种各样的移动控制条件。

因此在本实施方式中，将视点的移动速度的上限的分布预先准备为与图 像平面上的位置对应的地图（map），作为图像的阶层数据的附加数据。该地 图针对阶层数据的各阶层而分别准备，例如具有按形成各阶层的各平铺图像 分别保持限制速度的指标值的阶层构造。以后，将该数据称为“速度地图”。 例如在生成图像的阶层数据时等，基于各平铺图像的数据尺寸及所设想的显 示系统的处理能力生成速度地图。在该情况下，预先针对该显示系统取得后 述的处理能力。此外，指标也可以不按平铺图像，而是按多个平铺图像、或 按以预定规则划分图像而得到的各区域、或按图像上的各素材图像的区域等 而定。

通过参照速度地图，在显示图像的阶段调整从某视点向另一视点移动时 的最大移动速度。此外，在生成脚本数据的阶段，调整脚本数据所规定的关 键帧间的移动时间或路径。下面说明参照速度地图进行图像显示的装置和参 照速度地图辅助脚本数据生成的装置。不论哪个装置，都能通过与图4所说 明的信息处理装置10同样的构成实现。下面将具有各功能的信息处理装置 10的控制部100的构成相区别地进行说明，但它们也可以设置在同一信息处 理装置10中。

图7详细表示了具有显示图像的功能的控制部100a的构成。此时，硬盘 驱动器50中存储有阶层数据116、速度地图118、以及脚本数据119。在仅以 针对用户的视点移动要求逐次移动显示区域的方式进行图像显示时，也可以 没有脚本数据119。

控制部100a包括取得用户对输入装置20进行的操作的相关信息的输入 信息取得部102、从硬盘驱动器50载入图像显示所需要的数据的载入部108、 基于速度地图调整移动速度的移动条件调整部104、依次决定显示区域的帧 坐标的帧坐标决定部105、对压缩图像数据进行解码的解码部106、描绘显示 图像的显示图像处理部114。

在图7和后述的图9中，作为进行各种各样的处理的功能块而记载的各 要素在硬件上可以通过CPU（Central Processing Unit）、存储器、其它LSI构 成，软件上通过被载入主存储器60的程序等实现。如前所述控制部100、100a、 100b具有1个PPU和多个SPU，PPU和SPU能够分别单独或协同地构成各 功能块。因此，本领域技术人员当理解这些功能块能够仅由硬件、仅由软件、 或者由它们的组合以各种形式实现，并不限定于某一种。

输入信息取得部102按照输入装置20的用户操作，从输入装置20取得 内容的起动／结束、视点移动等的要求信号，将该信息根据需要通知给移动 条件调整部104、帧坐标决定部105、载入部108。载入部108被从输入信息 取得部102通知到进行了内容的起动要求时，从硬盘驱动器50读出阶层数据 116所包含的初始图像的图像数据、速度地图118、脚本数据119等图像显示 所需要的数据，存储到主存储器60中。初始图像由解码部106适当解码，通 过被显示图像处理部114描绘在显示处理部44的帧存储器中而显示于显示装 置12。

用户对输入装置20进行了指示开始基于脚本数据的视点移动的输入时， 帧坐标决定部105从输入信息取得部102收到该情况的通知，读出被存储在 主存储器60中的脚本数据119。然后，以对所规定的关键帧进行插值的方式， 算出基于预定的帧率而确定的下一显示更新时刻的帧坐标。具体来说，基于 记述在脚本数据中的作为下一移动目标的帧坐标和到达那里所需的移动时 间，通过预定的插值方法决定各显示更新时刻的帧坐标。

在生成脚本数据时，若以后述的方法进行了时间调整或路径调整，则无 需在显示阶段进行速度调整。另一方面，若在生成脚本数据时没有进行调整， 则与接下来所述的基于用户输入的视点移动同样地调整移动速度。

当用户操作了分配给输入装置20的用于图像的放大／缩小及滚动的装 置时，帧坐标决定部105从输入信息取得部102接收表示该操作状况的信号， 基于此决定下一显示更新时刻的帧坐标。例如模拟摇杆27a被操作了时，基 于与其倾斜方向和倾倒角度相应的速度矢量算出新的帧坐标。或者通过十字 键21等进行了快进／快退的操作时或发生了应引导显示的状况时，读出脚本 数据中所规定的接下来应显示的关键帧的坐标，与当前的显示区域间进行插 值，由此算出下一显示更新时刻的帧坐标。

若将模拟摇杆27a的倾斜方向和倾倒角度等用户对输入装置20的操作量 直接换算成该时点的视点的速度矢量，则移动可能过急而难以看出来，成为 不连续的运动。因此，帧坐标决定部105通过对从输入装置20得到的表示所 要求的移动量的矩形波信号与预定的传递函数进行卷积运算，来使速度矢量 平缓地变化。在此，传递函数可以采用高斯函数。即使以1次按钮操作向脚 本数据所规定的关键帧移动时，通过产生同样的矩形波信号并与传递函数进 行卷积运算，也能表现出没有唐突感的移动。详细情况在后面叙述。

在帧坐标决定部105求取速度矢量或对至下一关键帧的帧进行插值前， 移动条件调整部104调整视点的移动速度，使得不论在路径上的哪个区间， 都不超过从速度地图118取得的限制速度。帧坐标决定部105按照移动条件 调整部104的调整结果求取速度矢量或对帧进行插值。移动条件调整部104 可以直接调整速度值，也可以通过调整例如传递函数的最大值等间接地调整 速度。具体例子在后面叙述。

解码部106从主存储器60读出图像数据的一部分进行解码，将解码后的 数据保存在缓存器70中。解码部106解码的数据可以是包含显示区域的预定 尺寸的图像数据。通过预先对广范围的图像数据进行解码而存储到缓存器70 中，能减少从主存储器60的读取次数，能实现顺畅的视点移动。显示图像处 理部114取得帧坐标决定部105所决定的应新显示的区域的帧坐标，从缓存 器70读出对应的图像数据，描绘到显示处理部44的帧存储器中。

接下来说明速度地图的具体例子。如上所述至显示区域实际被显示所需 要的时间取决于显示图像的系统的处理能力、主要取决于解码处理能力SD［i］ 和向显示装置12的数据传输能力ST、以及图像数据的数据尺寸m。在此， 变量i是用于识别能在解码部106中解码的压缩格式的识别编号。此外，数 据尺寸m在本实施方式中是各平铺图像的值。

此时解码处理时间Td、数据传输时间Tt分别成为

Td＝m／SD［i］、

Tt＝m／ST

，故这些处理时间的合计T可以表示为

T＝m（1／SD［i］＋1／ST）。

在此，将相对于在成为基准的系统中处理基准数据尺寸M的图像数据时 的基准处理时间Tst的、想要求取速度地图的显示系统中的相同图像数据的处 理时间T的比例记作L［i］。此时，在该系统中处理数据尺寸m的图像数据 的时间T相对于基准处理时间Tst的比R成为

R＝T／Tst＝L［i］m／M。

该变量R是取决于平铺图像的数据尺寸、显示系统的处理能力、以及数 据的压缩格式的变量，称作处理时间系数。

若按各显示系统、各压缩格式预先求出变量L［i］，并在阶层数据生成时 等取得平铺图像的数据尺寸m，则能针对各平铺图像分别唯一地决定处理时 间系数R。该处理时间系数R是将移动时能容许的速度的上限、即限制速度 的逆数相对于标准处理进行标准化后的值。在本实施方式中将针对各平铺图 像分别保持处理时间系数R作为表示限制速度的指标的阶层构造的数据作为 速度地图。使用速度地图调整移动速度的方法有多种多样。作为最单纯的方 法，考虑从速度地图算出当前的视点的限制速度，将其作为之后的微小时间 的移动时的限制速度。在该情况下，就按每微小时间反复进行速度调整。

另一方面，考虑通过调整卷积运算所使用的传递函数来间接地调整速度 的方法。图8是用于说明采用高斯函数作为传递函数时、移动速度相对于函 数的最大值的变化而变化的图。在该图中，位置的时间变化202表示输入信 息，表示进行了使视点从位置A移动到位置B这样的输入的情况。例如在用 户操作输入装置20的十字键21要移动到脚本数据所规定的下一关键帧时， 得到这样的输入信息。此时，移动时间并不特别规定。

针对该输入信息，用高斯函数204进行卷积运算后，得到位置的时间变 化208。即，能实现从位置A缓慢地移动，在中间地点达到最大速度，然后 缓慢地到达位置B的移动。在此，规定最大速度的是高斯函数204的最大值 Fa。因此，若以最大值比Fa小的Fb的高斯函数206进行卷积运算，则成为 最大速度变慢，到达位置B的时间变长的位置时间变化210这样的移动。

因此，通过根据速度地图所表示的处理时间系数R的变化而调整高斯函 数的最大值，能使得在位置A至位置B的全期间内移动速度不超过限制速度。 具体来说，算出将从位置A至位置B的路径上的各帧所包含的平铺图像所对 应的处理时间系数R的逆数根据各帧所包含的面积而加权平均后的值，作为 表示该帧位置的限制速度的指标、即限制速度指标。

然后确定路径上最小的限制速度指标，与之相应地增减高斯函数的最大 值。路径上限制速度指标最小的区域，其数据尺寸最大。因此，通过调整移 动的最大速度使之与限制速度指标的最小值相对应，不论数据尺寸最大的区 域在路径上的何处，都能无迟滞地移动该区域，结果，在移动中的全期间内 都能规避丢帧等状态的发生。

此时，例如预先求出进行上述基准处理时的最佳的高斯函数的最大值等 作为基准值，能根据限制速度指标的比而相对地调整高斯函数的最大值。该 例是根据用户的操作知道移动目标的视点的位置B的情况，但根据用户的输 入而依次移动视点时，只要通过上述预读处理将预测的移动目标作为位置B， 也能进行同样的调整。

接下来说明辅助脚本数据的生成的装置。图9详细表示了具有辅助脚本 数据的生成的功能的控制部100b的构成。此时硬盘驱动器50中存储有阶层 数据116、速度地图118，按照用户进行的开始脚本数据生成的指示输入而被 载入到主存储器60中。速度地图118可以根据处理能力不同的显示系统而存 储有多个。在该情况下，针对各速度地图进行下述的设定信息的修正，作为 结果，按各显示系统分别生成脚本数据。

控制部100b包括取得脚本数据生成者所进行的脚本数据的设定信息的 设定信息取得部120、检查按设定信息移动视点时的移动速度的正确与否的 移动速度检验部122、在按照设定信息的移动中速度超速了时，将该情况通 知给脚本数据生成者的超速通知部126、在按照设定信息的移动中速度超速 了时修正该设定信息的设定信息修正部124、生成无超速的最终的脚本数据 的脚本数据生成部128。

设定信息取得部120取得脚本数据生成者对输入装置20输入的多个关键 帧的坐标和关键帧间的移动时间等，存储到主存储器60中。例如使脚本数据 生成用的GUI（Graphical User Interface：图形用户接口）显示在显示装置12 中，敦促脚本数据生成者进行关键帧的指定、和从前一关键帧至本关键帧的 移动时间的设定。

例如设定信息取得部120具有与具备图7所示的显示功能的控制部100a 同样的构成。脚本数据生成者一边确认着显示装置12上所显示的图像一边用 输入装置20移动视点，在显示出所希望的帧的状态下按下输入装置20的预 定按钮等来指定关键帧的帧坐标。此外，通过输入装置20的数字键（ten key） （未图示）等进行移动时间的输入。设定信息取得部120根据需要用直线或 预定的曲线对所指定的多个关键帧坐标进行插值，由此在路径上追加插入关 键帧。

或者，设定信息取得部120也可以使文本编辑画面显示在显示装置12上， 脚本数据生成者用输入装置20的键盘（未图示）等输入字符串，由此登录关 键帧的信息。例如使脚本数据生成者用XML文档等标记语言设定关键帧的 坐标及其显示时间、到达下一关键帧的移动时间这样的项目。

移动速度检验部122参照设定信息取得部120所取得的帧坐标和移动时 间的信息，取得移动速度。另一方面，参照已载入主存储器60中的速度地图 118，根据所设定的路径中包含的平铺图像的处理时间系数R，取得路径上的 限制速度指标。然后，通过将其进行比较，来判断有无超速。

例如在关键帧间按高斯函数状的速度变化移动时，如上述那样根据路径 中的限制速度指标的最小值求出高斯函数的最大值。然后，将求出的高斯函 数所定的关键帧间的移动所需要的时间、和设定信息所设定的关键帧间的移 动时间进行比较。当所设定的移动时间比移动所需要的时间短时，判断为按 所设定的移动时间速度会过快，有丢帧等的危险性。也可以对将相邻关键帧 的位置的时间变化线性连接而得到的速度与将限制速度指标换算成实际的限 制速度后的值进行比较等。

在移动速度检验部122中判断为按所设定的移动时间速度会过快时，超 速通知部126将该情况介由显示装置12等通知给脚本数据生成者。此时脚本 数据生成者能进行加长移动时间等设定值的调整。

当在移动速度检验部122中判断为若按所设定的移动时间，速度会过快 时，设定信息修正部124修正设定信息。具体来说，加长关键帧间的移动时 间，直到速度不超速。或者，移动时间保持不变，修正移动路径。此时，例 如通过在脚本生成者设定的关键帧间插入处于修正后的路径上的帧作为关键 帧，在显示系统显示图像时，能使视点按修正后的路径移动。路径变更的具 体例子在后面叙述。

在任一种情况下，可以由移动速度检验部122同上述一样地检验修正后 是否已不超速。在修正时，也可以由超速通知部126进行用于由脚本数据生 成者确认是否进行修正的通知，仅在脚本数据生成者允许的情况下进行实际 的修正。此外，还可以进一步请脚本数据生成者确认修正结果的正确与否。

脚本数据生成部128生成对最终决定的关键帧的坐标和移动时间记述了 图像的阶层数据116的识别信息等必要信息的脚本数据，输出到主存储器60 等。也可以与图像的阶层数据116汇总在一起成为一个文件，由此生成内容 文件。

图10是用于说明设定信息修正部124修正路径时的具体例子的图。假定 在该图所示的阶层数据400中，判定为按路径402（单点划线）会超速。在 该情况下，按阶层数据400形成的虚拟空间的Z轴方向变更路径，使得在移 动中的任一期间内，都使用用于显示修正前的路径402的阶层的上一阶层的 图像数据。在该图中，变更在第3阶层36上移动的路径的一部分，使得在第 2阶层34上移动，作为修正后的路径404（实线）。

通过使图像数据的阶层提高1阶层，图像的分辨率会比所设定的要下降， 但由于能减小要处理的数据尺寸，故处理时间系数R减少，结果，限制速度 指标増加。因此，即使是同样的移动，路径中的速度限制有所缓和，能不变 更关键帧间的移动时间地到达移动目标关键帧。实际的修正可以如上述那样 通过将修正后的路径中的帧、在图10的例子中是第2阶层34上的帧作为关 键帧插入1个以上来实现。

此外，也可以变更路径，使得使用上两阶层以上的阶层的图像数据。路 径的变更方法可以是按照根据超速的状况而预先设定的规则、或者一点点地 变更，将速度变得不超速的时点的路径作为最终的修正结果的方法等。此外， 图10是改变所使用的阶层的例子，但也可以不改变阶层，而是使用速度地图 搜索速度限制较缓和的路径。

接下来说明辅助脚本数据的生成的信息处理装置10的动作。图11是表 示辅助脚本数据的生成的步骤的流程图。在图11所示的流程图中，通过表示 步骤的S（Step的首字母）与数字的组合来表示各部的处理步骤。此外，当 在由S与数字的组合表示的处理中直线某种判断处理，其判断结果为肯定时， 附加“是”，例如表示为（S10的“是”），相反，如果其判断结果为否定，则 附加“否”，表示为（S10的“否”）。

图11的流程图中的处理在脚本数据生成者输入了脚本数据生成开始的 指示时开始。首先，脚本数据生成者进行开始脚本数据的生成的指示输入 （S30），设定信息取得部120使重合有用于在成为对象的图像上指定关键帧 的矩形的画面和移动时间设定画面显示在显示装置12上等，然后接受来自脚 本数据生成者的输入，由此取得设定信息（S32）。

此时，根据需要按预先确定的插值方法对关键帧进行插值。然后，移动 速度检验部122参照速度地图检验设定信息中的关键帧间的各移动中是否存 在超速的移动位置（S34）。发现有超速时（S34的“否”），超速通知部126 将该情况通知给脚本数据生成者等后，设定信息修正部124修正设定信息 （S38或S40）。

此时，超速通知部126敦促脚本数据生成者进行是使速度优先还是使图 像的质量优先的指定输入。或者，读出预先所设定的使哪者优先的信息。然 后，根据该优先信息，分歧到路径的修正或移动时间的修正的处理。即，在 使速度优先时，向上1个或上多个阶层变更路径的一部分等，使移动时间如 设定的那样（S36的“是”、S38）。另一方面，若不使速度优先而是使画质优 先，则延长移动时间的设定值（S36的“否”、S40）。此时，通过同时由移动 速度检验部122进行修正结果的检验而确认已无超速时，最终决定修正后的 路径或移动时间。

然后，脚本数据生成部128通过按预定的格式记述最终决定的关键帧和 其之间的移动时间、以及图像的阶层数据的识别信息等必要的数据，来生成 脚本数据并输出（S42）。在S34中判定为无超速时也是一样（S34的“是”、 S42）。此外，也可以不进行S38和S40的修正处理，仅由超速通知部126向 脚本数据生成者通知超速。在该情况下，脚本数据生成者按自己的考虑修正 输入设定信息，由移动速度检验部122对其再次检验，若有超速则通知，可 以通过反复进行这样的处理，来由脚本数据生成者自己决定最终的设定。

根据以上所述的本实施方式，使显示对象图像与按多种分辨率准备的图 像数据相对应，生成能导出移动视点时的限制速度的指标的速度地图。速度 地图是按划分各分辨率的图像而成的各平铺图像等区域分别保持处理时间系 数的数据。处理时间系数是取决于平铺图像的数据尺寸、显示图像的系统的 处理能力、图像的压缩格式的值，表示平铺图像的解码及传输所需的时间的 大小。

通过预先生成这样的速度地图，能在容许范围内调整移动速度，在显示 对应的图像时，能防止视点的移动过快而丢帧等非理想的状况。速度地图能 按各显示系统分别生成，故例如通过将与多个显示系统分别对应地生成的多 个速度地图同图像数据一起包含在内容文件中，在显示系统进行显示时，通 过选择并读出与本机对应的速度地图，能进行适应性的速度调整。

在视点的移动中用卷积运算决定始点至终点的速度的情况下，通过使运 算所用的高斯函数等函数基于速度地图而变化，来进行速度的调整。由此， 能实现平滑且无超速的视点移动。此时，通过按照路径上最苛刻的限制速度 决定最高速度，能可靠地消除超速的情况。

此外，在按预先由脚本数据设定的路径移动视点的方式中，脚本数据生 成者通过速度地图确认在所设定的关键帧的运动中是否不发生超速。由此， 能进行用于生成恰当的脚本数据的辅助。若发生了超速，则修正所设定的关 键帧间的移动时间、或修正路径的一部分以使用分辨率低的图像数据。通过 使得能由脚本数据生成者指定是使速度优先还是使图像的质量优先，能决定 接近脚本数据生成者的意图的、无超速的脚本数据。

以上基于实施方式说明了本发明。上述实施方式是个例示，本领域技术 人员当理解其各构成要素和各处理过程的组合可以有各种各样的变形例，并 且这样的变形例也包含在本发明的范围内。

例如在本实施方式中生成脚本数据时，按照速度地图进行了路径的修正。 另一方面，在显示系统显示图像时，也可以用同样的方法进行路径的修正。 在按照脚本数据使视点移动时、和根据用户的输入使显示区域向所希望的关 键帧移动时，移动条件调整部不改变传递函数的最大值，而是提高阶层数据 中的路径的阶层，由此使得没有超速的情况。或者，也可以按预先规定的规 则组合速度调整和路径调整。也可以使得能由内容生成者或观赏者选择进行 什么样的调整。

此外，在本实施方式中，准备相对于图像平面上的位置表示出代表限制 速度的指标的分布的速度地图，通过参照随视点移动而移动的显示区域的路 径中的指标来调整移动速度。另一方面，也可以使速度地图成为相对于视点 位置的分布。例如，按预定的粒度（granularity）对由图像平面和距该平面的 距离构成的3维空间内的视点坐标进行采样，通过使与各视点坐标对应的显 示区域的处理时间系数R的分布与视点坐标建立对应，来生成速度地图。在 该情况下，也能用与实施方式同样的处理调整移动速度，例如通过使视点路 径周围的指标的值根据距路径的距离而加权平均，来算出路径上的限制速度 指标等。

〔标号说明〕

1信息处理系统、10信息处理装置、12显示装置、20输入装置、38平 铺图像、50硬盘驱动器、60主存储器、100控制部、102输入信息取得部、 104移动条件调整部、105帧坐标决定部、106解码部、108载入部、114显 示图像处理部、116阶层数据、118速度地图、119脚本数据、120设定信息 取得部、122移动速度检验部、124设定信息修正部、126超速通知部、128 脚本数据生成部。

〔工业可利用性〕

如上所述，本发明能适用于计算机、内容执行装置、图像显示装置、图 像处理装置、游戏机等信息处理装置。