多视点摄像系统、三维空间重构系统及三维空间识别系统

摘要

本发明提供多视点摄像系统、三维空间重构系统及三维空间识别系统。多视点摄像系统(1000)具备：多台相机，在规定空间内从相互不同的位置拍摄影像；状况感知部，生成表示上述多台相机各自的位置的变化及姿势的变化中的至少一方的运动信息；以及控制部，在上述运动信息表示超过第1阈值的变化的情况下，判定为执行相机校正，生成表示被执行的上述相机校正的相机校正信息，在上述运动信息表示超过第2阈值的变化的情况下，生成表示在上述多台相机的至少一部分中执行的摄影区域的调整的相机调整信息。

说明书

本申请是申请日为2017年8月23日、申请号为201780052760.9、发明名称为“多视点摄像系统、三维空间重构系统及三维空间识别系统”的发明专利申请的分案。

技术领域

本发明涉及对拍摄用于三维空间重构的影像的多台相机进行校正的技术。

背景技术

在专利技术文献1中公开了从由多台相机分别拍摄的影像将被摄体的三维形状进行再现的技术。根据专利技术文献1，使用该三维形状生成自由视点影像。

现有技术文献

专利文献

专利文献1：日本特开2015－022510号公报

发明内容

发明要解决的课题

希望有三维空间重构及三维空间识别的精度及可利用性的稳定性更高的多视点摄像系统。本发明提供一种通过在三维空间重构的执行中适时地执行多台相机各自的校正，提高了三维空间重构及三维空间识别的精度及可利用性的稳定性的多视点摄像系统。

用来解决课题的手段

本发明的多视点摄像系统具备：多台相机，在规定空间内从相互不同的位置拍摄影像；状况感知部，生成表示上述多台相机各自的位置的变化及姿势的变化中的至少一方的运动信息；以及控制部，在上述运动信息表示超过第1阈值的变化的情况下，判定为执行相机校正，生成表示被执行的上述相机校正的相机校正信息，在上述运动信息表示超过第2阈值的变化的情况下，生成表示在上述多台相机的至少一部分中执行的摄影区域的调整的相机调整信息。

发明效果

本发明的多视点摄像系统通过在三维空间重构的执行中适时地执行多台相机各自的校正，提高三维空间重构及三维空间识别的精度及可利用性的稳定性。

附图说明

图1是表示三维空间识别的概要的图。

图2是表示实施方式1的多视点摄像系统的结构的框图。

图3是表示实施方式1的多视点摄像系统执行的一系列的动作的顺序图。

图4A是表示实施方式1的相机校正信息的数据结构的一例的图。

图4B是表示实施方式1的相机校正信息的数据结构的另一例的图。

图5是表示实施方式2的多视点摄像系统的结构的框图。

图6是表示实施方式2的多视点摄像系统执行的一系列的动作的顺序图。

图7是表示实施方式2的相机调整信息的数据结构的另一例的图。

图8是表示影像信息处理系统的结构的图。

图9是表示在相机启动时显示的通知画面的一例的图。

图10是实现内容分发服务的内容供给系统的整体结构图。

图11是数字广播用系统的整体结构图。

图12是表示智能电话的一例的图。

图13是表示智能电话的结构例的框图。

具体实施方式

(作为本发明的基础的认识)

在三维空间中的自由视点影像的生成中，利用进行被摄体的三维形状的重构(建模)的三维空间重构装置的三维空间重构结果。三维空间重构装置使用从包括拍摄同一个场面的影像的多台相机的多视点摄像系统提供的影像数据、和通过校正得到的表示各相机的位置及姿势等的相机参数进行建模。因而，如果在校正后相机的位置等变化，则因为相机参数没有反映相机的位置等的实际的状态，所以不能适当地执行三维空间重构，结果，自由视点影像的画质劣化或生成本身失败。所以，可以考虑如下方法等：在校正中及摄像中将相机固定，以使得在校正后相机的位置等不变化，由此适当地执行三维空间重构。但是，根据相机的设置环境，有可能因相机设置场所的振动或风等而相机的位置等移动，所以这样的方法只能在有限的环境中利用。

此外，三维空间重构结果也可在下一代监视系统中利用，该下一代监视系统不仅包括自由视点影像的生成功能，还包括三维空间中的场景解析或特定被摄体的跟踪等功能。在没有适当地执行三维空间重构的情况下，这些功能也不能高精度地执行。

此外，三维空间中的自由视点影像的生成、场景解析或被摄体的跟踪的功能(以下，将这些功能也统称为三维空间识别)在多视点摄像系统所具备的各相机的相机参数反映了相机的实际的状态时被高精度地执行。鉴于这一点，发明者们考虑在各相机的位置等有变化的情况下最好在该变化后能够执行该相机的校正。此外，发明者们考虑最好能抑制各相机的校正(以下，也称作相机校正)的执行对三维空间重构的影响的程度及时间。

以下，适当参照附图详细地说明实施方式。但是，有将所需以上详细的说明省略的情况。例如，有将已经周知的事项的详细说明及对于实质上相同的结构的重复说明省略的情况。这是为了避免以下的说明不必要地变得冗长，使本领域技术人员的理解变得容易。

另外，发明者们为了使本领域技术人员充分地理解本发明而提供附图及以下的说明，并不意味着由它们限定权利要求书所记载的主题。

(实施方式1)

以下，使用图1～图4B说明实施方式1。

[1.三维空间识别的概要]

首先，使用图1对使用有关本实施方式的多视点摄像系统的三维空间识别的概要进行说明。

多视点摄像系统具备多台用来拍摄规定空间内的同一个场面的相机。举具体例如下，规定空间是进行体育事件的会场，同一个场面是指在该会场中进行的比赛的场面。作为其他的例子，规定空间是使用监视相机来监视的空间，同一个场面可以举出该监视对象空间内的人或物的样子。

多台相机分别在该空间内从相互不同的位置拍摄至少一部分重复的区域的影像。例如，如图1(a)所示，多台相机100被设置在将作为体育的比赛会场的空间包围且相互不同的位置。此外，相机100取相互不同的姿势，将该空间的至少一部分容纳到各自的摄影区域中。使各相机100的摄影区域的至少一部分重复，是因为从多个视点对同一个被摄体进行摄像而生成的影像数据用于三维空间的虚拟的重构(三维空间重构)。

另外，关于摄影区域的重复，不需要一个相机100的摄影区域与其他全部的相机100的摄影区域重复，也可以是与其他相机100中的一部分的相机100的摄影区域的重复。

这样设置的多台相机100与多视点摄像系统具备的后述的控制装置可通信地连接。

如果设置了相机100，则执行相机校正。

相机校正是指通过取各相机100的摄影区域内的实际的点与影像上的点的对应(在图1(b)中用曲线连结的白三角所表示的点彼此的对应)、或不同的相机100的各影像间的点的对应(在图1(b)中用曲线连结的白圈所表示的点彼此的对应)，来计算表示各相机100的位置及摄像方向的角度(姿势)等的参数。表示相机100的位置及姿势的参数是在作为三维空间的规定空间中的共通的坐标系上被表示的，是之后用于三维空间重构的相机参数。关于相机参数在后面叙述。

这些相机参数被计算出并变为已知，是执行三维空间识别的准备，在三维空间识别的开始前执行。计算出的相机参数被发送至进行三维空间重构的后述的三维空间重构装置。

在这样的准备后，各相机100基于来自控制装置的信号，拍摄同步影像，由此执行多视点摄像(图1(c))。通过该摄像生成的影像数据被发送至三维空间重构装置。

在三维空间重构装置进行的三维空间重构中，使用上述的影像数据和相机参数，生成处于摄影区域中的各被摄体的三维模型数据(图1(d))。三维模型数据被发送至执行三维空间识别的后述的三维空间识别装置。

作为通过由三维空间识别装置使用三维模型数据执行的三维空间识别(图1(e))来提供的功能的例子，可以举出上述的自由视点影像生成、场景解析及跟踪。

示出自由视点影像生成的方法的简单的例子。首先，基于三维模型数据，计算用户或系统管理者指定或从自动设定的虚拟视点看到的、摄影区域内的各被摄体的构造及距虚拟视点的距离。接着，从各相机100中的处于与虚拟视点近的距离的相机100的影像数据，优先地取得各被摄体的颜色及纹理的信息。最后，使用该颜色及纹理的信息和在上述中计算出的各被摄体的构造及距离，进行从虚拟视点看到的影像的生成(绘制)。绘制出的影像被分发至用户的影像显示终端。

这样的自由视点影像生成的功能可以在例如电视的体育节目等的娱乐领域中利用。由此，例如视听者能够再现从自己希望的视点的精彩场景的影像。此外，自由视点影像生成的功能也可以在监视系统中利用。在此情况下，能够将从现实的相机捕捉不到的视点看到的可疑者的推断外观提示给警察而使其警戒。

此外，在场景解析及跟踪中，也与自由视点影像生成同样，基于三维模型数据，计算摄影区域内的各被摄体的从虚拟视点看到的构造及距虚拟视点的距离，进而也可以利用从处于与虚拟视点近的距离的相机100优先地取得了各被摄体的颜色及纹理的信息。

场景解析通过用软件、或人通过画面观察对表示摄影区域内的各被摄体例如人或物的某个瞬间的样子的影像进行解析来执行。通过基于三维模型数据进行该场景解析，能够观察摄影区域内的人的三维姿势及物的三维形状，与仅使用二维影像相比能够进行更高精度的状况识别及预测。

在跟踪中，例如，首先通过由各相机100拍摄的影像的场景解析，确定摄影区域内的某个被摄体。此外，将在某个瞬间由各相机100拍摄的影像上确定的被摄体中的相同者，用软件或手动建立对应。并且，进一步通过将这样的被摄体的确定及对应建立沿着时间轴进行来执行跟踪。但是，例如在由各相机100得到的二维影像中，有时因所关注的被摄体被其他被摄体暂时遮挡而不能继续该确定。在这样的情况下，也如果使用三维模型数据，则通过使用被摄体各自的三维位置信息或三维形状信息，能够继续被摄体的确定。

这样的场景解析及跟踪的功能例如可以在上述的下一代型监视系统中利用。由此，有望实现可疑的现場的早期发现及发现的精度提高。此外，即使在可设置的相机的台数受限制的场所，也能够与以往相比实现安全性的强化。

另外，自由视点影像生成、场景解析及跟踪中的哪种三维空间识别的功能，都可以想到事后的使用及实时的使用这两者。只要根据使用目的来选择功能就可以，各功能例如安装到包括与选择相符的性能、特别是与影像处理有关的性能的计算机的系统中。

这样，在哪种三维空间识别的功能中都使用基于三维模型数据的三维影像数据。并且，该三维模型数据通过基于由各相机100拍摄的影像数据和由相机校正计算出的各相机100的相机参数进行的三维空间重构(建模)来生成。

该相机参数由表示三维空间中的相机的位置及姿势的外部参数、和表示相机的焦距、像差、图像中心等的光学系统的特性的内部参数构成。根据该相机参数，导出相机拍摄的二维影像上的点(u，v)与作为在该二维影像中拍到的三维空间的摄影区域内的点(x，y，z)的对应关系。即，通过使用相机参数，能够将该相机拍摄的二维影像上的各点投影到被拍摄的三维空间中。这种向三维空间的投影是上述的三维空间重构(图1(d))。

此外，将上述多台相机100的相机参数在对摄影区域设定的共通的三维坐标系上表示。并且，计算各相机100的相机参数，以使在多台相机100拍摄的各影像中拍到的摄影区域内的相同的场所(点)从各影像投影到该三维坐标系上的相同的点(图1(b))。

该相机参数是为了从各相机100拍摄的影像数据生成三维模型数据而需要的，其精度左右着三维空间重构的精度。这里所述的精度是指相机参数所表示的在三维空间中的相机100的位置等的正确度、即与相机100的现实的状态的一致程度。在相机参数的精度不充分的情况下不能得到三维模型数据。

如参照图1说明那样，在摄像的紧前执行了相机校正的情况下，相机参数的精度虽然在摄像刚开始后是充分的，但因为相机100的设置场所的振动、对相机100的操作等因素，通常会随着时间的经过而降低。以下，对如下多视点摄像系统进行说明：通过在摄像中也适时地执行相机参数的精度下降的相机100的相机校正，抑制相机参数的精度下降对三维空间重构的不良影响，进而实现三维空间识别的精度和可利用性的稳定。

[2.多视点摄像系统的结构]

图2是表示实施方式的多视点摄像系统的结构的框图。另外，关于利用从多视点摄像系统接收到的数据的三维空间重构装置及三维空间识别装置、以及从三维空间识别装置接收自由视点影像等并显示的用户设备，也参照图2进行说明。

实施方式的多视点摄像系统1000具备多个摄像装置10A～10N、控制装置200及用户接口500。摄像装置10A～10N与控制装置200可通信地连接。

[2－1.摄像装置的结构]

多个摄像装置10A～10N是分别具备用于拍摄规定空间的相当于图1的相机100的相机100的装置，由于可取的结构是共通的，所以以摄像装置10A为例进行说明。另外，这里所述的规定空间，是多台相机100各自的摄影区域的和集合。

摄像装置10A具备相机100、架台120及状况感知部160。

相机100具备存储部101、控制部102、光学系统103及图像传感器104。

在存储部101中，存储有控制部102读出并执行的程序。此外，在存储部101中，暂时地存储有使用图像传感器104拍摄的摄影区域的影像数据、对该影像数据赋予的时间戳等元信息、后述的状况感知部160感知到的信息、相机100的相机参数、以及应用中的帧速率或分辨率等摄影设定。

这样的存储部101例如使用闪存存储器等的可改写的非易失性的半导体存储器实现。此外，根据保存的数据的改写的需要与否或需要的保存期间等，也可以使用不可改写的ROM(Read－Only Memory)或易失性的RAM(Random Access Memory)作为存储部101。

另外，多视点摄像系统1000具备的摄像装置只要是多个，个数没有被限定。此外，各摄像装置10的特性也可以不是共通的。此外，并不限定于单视角相机，也可以包括立体相机。

控制部102例如使用CPU(Central Processing Unit)实现，通过将存储在上述的存储部101中的程序读出并执行，对相机100具备的各构成要素进行控制，发挥摄像及其他功能。在其他功能中，也包括相机参数的计算、即相机校正。控制部102中包含的相机校正部102a是通过由控制部102执行用于相机校正的程序而实现的功能性的构成要素。

相机校正部102a根据用户的操作、或者如果从后述的控制装置200输入相机校正信息，按照其内容执行相机校正。相机校正例如通过将作为摄影区域的三维空间上的特定的点(或包括多个点的线或面)的坐标与二维影像上的点(或包括多个点的线或面)的坐标建立对应来执行。或者，通过在由摄像装置10～10N间的各个拍摄的二维影像中的、至少一部分重复的摄影区域的影像之间将影像上的特定的点(或包括多个点的线或面)彼此建立对应来执行。该对应建立既可以由执行程序的相机校正部102a自动进行，也可以由用户以手动进行。作为相机校正的结果而被计算出的相机参数作为例如在三维空间重构中使用的数据被发送至三维空间重构装置3000。

光学系统103是使来自摄影区域的光成像在图像传感器104上的构成要素，使用包括透镜的光学元件实现。此外，也可以是，焦距及视场角能够变更。此外，也可以使用广角透镜或鱼眼透镜那样的超广角透镜。例如在将多视点摄像系统1000拍摄的影像用于监视系统的情况下，为了得到大范围的摄影区域而有使用广角透镜的情况。另外，该光学系统103的焦距、像差、图像中心等特性作为上述的内部参数，用于三维空间重构。即，在光学系统103的焦距被变更或透镜被更换的情况下，与相机的位置有变更的情况同样，需要变更用于三维空间重构的相机参数。即，需要相机校正。

图像传感器104由通过受光面接受由光学系统103汇聚的光、并将该接受到的光变换为表示图像的电信号的CCD图像传感器、CMOS图像传感器或MOS图像传感器等固体摄像元件实现。由图像传感器104生成的影像数据为了用于三维空间重构及三维空间识别而被发送至三维空间重构装置3000及三维空间识别装置4000。

图2所示的相机100还具备运动传感器105、动作检测部106及集音器107。关于这些，作为后述的状况感知部160的构成要素进行说明。

架台120是用来将正在通过摄像而生成在三维空间重构中使用的影像数据的相机100在规定位置固定并支承的构成要素，例如由三脚架实现。另外，作为该摄像的准备，为了调整相机100的固定位置，架台120的腿部分也可以调整长度及角度。此外，架台120也可以具备为了使相机100横摆或倾斜而使云台旋转的机构、用来使其上下移动的升降器机构等。或者，架台120也可以包括移动台车或起降机等的支承相机100且使其移动的机构。

图2所示的架台120还具备运动传感器125及动作检测部126。关于这些，作为下述的状况感知部160的构成要素进行说明。

状况感知部160感知相机100(或摄像装置10A)的状况及包括相机100的摄影区域的规定空间的至少一方的状况，并将感知到的该状况作为摄像状况信息输出。如果使用别的表现，则状况感知部160是测定相机100及规定空间中的至少一方的事项的传感器或检测事项发生的检测器，输出表示该测定或检测的结果的信号。输出的信号被发送至控制装置200，用于在控制装置200中进行的关于是否执行相机校正的判定。

作为状况感知部160，只要是能够感知上述状况的传感器或检测器，也可以使用相机100或架台120具备的传感器或检测器，也可以是与它们另外地设置的传感器或检测器。

例如也可以使用相机100具备的图像传感器104作为状况感知部160。在此情况下，在控制装置200中，基于从图像传感器104输出的影像数据，关于是否执行相机校正做出判定。例如，基于影像数据中映现的背景区域的随着时间的变化、特征点的个数或特定的被摄体(例如人、球、监视对象的展示物)的有无的随着时间的变化来做出该判定。

此外，有以下情况：相机100具备对变位、加速度、振动、倾斜或地磁进行感知的传感器，或能够感知更大的平行移动的GPS(Global Positioning System)接收机等测位机构。也可以使用这样的能够检测相机100的运动(移动)的传感器(运动传感器105)作为状况感知部160。

此外，有以下情况：相机100具备对由用户进行的手动的操作或执行程序的控制部102的控制下的即自动的动作进行检测的机构。作为这里检测的动作的例子，可以举出开关的ON(接通)－OFF(断开)的切换、焦距、焦点等的光学系统103的设定变化的动作。也可以使用这样的能够检测相机100的动作的传感器(动作检测部106)作为状况感知部160。

此外，也可以是架台120具备对变位、加速度、振动、倾斜或地磁进行感知的传感器、或GPS接收机等测位机构。由于相机100的运动与固定着该相机100的架台120的运动同步，所以例如可以基于架台120的运动的有无来间接地感知相机100的运动的有无。也可以使用这样的能够检测相机100的运动的传感器(运动传感器125)作为状况感知部160。

此外，有架台120具备对由用户进行的操作带来的动作进行检测的机构的情况。这里被检测的动作，例如是云台的旋转或上下移动的动作。也可以使用这样的能够检测架台120的动作的传感器(动作检测部126)作为状况感知部160。

另外，在架台120中，通过其动作而发生机械性的运动，所以运动传感器125和动作检测部126虽然在图2所示的结构中为了说明的方便而做出了区分，但实际上也可以并不一定区分。

有相机100具备集音器107的情况。或者，有使用与相机100分体的集音器147用于收集由相机100拍摄的场面的声音的情况。这些集音器107或集音器147收集的声音可以表示相机100或包括相机100的摄影区域的规定场所的状况。例如可以根据声音来表示在相机100或架台120上施加了冲击、在体育事件中是精彩场景、或休息时间的开始或结束。也可以使用这样的用来收集声音的集音器107或147作为状况感知部160。

这样，作为本实施方式的多视点摄像系统1000的状况感知部160，可以使用各种各样的传感器。在图2中，在这样可以作为状况感知部160使用的构成要素中，将相机100必定具备的图像传感器104用实线框表示，将其以外用虚线框表示。

此外，状况感知部160不需要由相机100及架台120各自具备的传感器双方构成，只要具备至少1个上述例示的感知相机100(或摄像装置10A)的状况及包括相机100的摄影区域的规定空间的至少一方的状况的传感器及检测器中的某一个就可以。

摄像装置10B～10N也分别与摄像装置10A同样，具备相机100、架台120和状况感知部160。摄像装置10A～10N可取的结构如上述那样是共通的，但只要从各个相机100输出通过摄像生成的影像数据和相机参数、并从多视点摄像系统1000向三维空间重构装置3000输入，则摄像装置10A～10N的结构也可以不是共通的。此外，也可以是1个摄像装置具备多台相机100，相机100具备的光学系统及图像传感器也可以不是各1个。例如相机100也可以是立体相机。

[2－2.控制装置及用户接口的结构]

控制装置200具备存储部201、控制部202及定时器203。

控制装置200进行摄像装置10A～10N的控制、以及从摄像装置10A～10N接收到的数据的处理。此外，经由用户接口500将与该控制及数据的处理有关的信息向用户提示，从用户接受与该控制及数据的处理有关的指示的输入。这样的控制装置200例如是计算机。在此情况下，存储部201是该计算机的存储装置，由硬盘驱动器或各种半导体存储器、或它们的组合实现。此外，控制部202由该计算机的CPU实现，定时器203是该CPU所参照的、计算机中具备的定时器。此外，用户接口500由连接在该计算机上的显示装置、触摸屏、触控板、键盘、鼠标、其他的控制器类或它们的组合实现。

在存储部201中，存储有控制部202读出并执行的程序。此外，在存储部201中，存储从摄像装置10A～10N接收且作为控制部202的处理的对象的数据。图示的摄像状况信息是该数据的例子。

控制部202通过将存储在上述存储部201中的程序读出并执行，执行上述摄像装置10A～10N的控制、从摄像装置10A～10N接收到的数据的处理、与这些控制及处理有关的向用户的信息提示及对来自用户的指示的处理。作为这些处理之一，可以举出摄像装置10A～10N所具备的各相机100的同步影像的拍摄的控制。此外，这些处理之一中包括事件检测。控制部202中包含的事件检测部202a是通过由控制部202执行用于事件检测的程序来实现的功能性的构成要素。此外，控制部202中包含的相机校正指示部202b是通过由控制部202执行用于相机校正指示的程序来实现的功能性的构成要素。

事件检测部202a基于从摄像装置10A～10N提供的摄像状况信息，检测在摄像装置10A～10N分别具备的相机100的某个中可能成为执行相机校正的理由的规定事件的发生。可能成为执行相机校正的理由的事件，例如是发生相机100的移动或发生移动的可能性高的事件、或能够以高精度执行相机校正的可能性高的事件。关于更具体的例子，在多视点摄像系统1000的动作的说明中后述。在检测到这样的事件的发生的情况下，事件检测部202a对是否执行相机校正进行判定。在判定为执行相机校正的情况下，将表示要执行的相机校正的相机校正信息例如向相机校正指示部202b输出。此外，也可以将相机校正信息向作为用户接口500的显示装置输出而向用户提示。该相机校正信息中例如包含执行相机校正的相机100(或包括它的摄像装置10A～10N的某个)、以及作为执行相机校正的理由的事件的内容。

相机校正指示部202b基于从事件检测部202a接收到的相机校正信息，使相机校正信息所表示的相机100执行相机校正。此外，在相机校正信息表示的相机是2台以上的情况下，例如也可以基于相机校正信息表示的作为执行相机校正的理由的事件的内容，决定使各相机100执行相机校正的顺序。关于相机校正指示部202b的处理，在后面叙述具体例。

对定时器203而言，由控制部202在上述处理中为了计时而参照。

[2－3.三维空间重构装置及三维空间识别装置的结构]

三维空间重构装置3000使用计算机实现，具备未图示的存储装置及运算处理装置。图示的模型生成部302a是通过由该运算处理装置执行存储在存储装置中的用于生成三维模型数据(三维空间重构)的程序而实现的功能性的构成要素。

模型生成部302a基于三维空间重构装置3000从多视点摄像系统1000接收并存储在存储装置中的影像数据及相机参数，执行被摄体的三维形状的重构(建模)。将通过三维建模生成的三维模型的数据存储到存储装置中。并且，提供给三维空间识别装置4000。

三维空间识别装置4000使用计算机实现，具备未图示的存储装置及运算处理装置。图示的视点决定部402a、绘制部402b、场景解析部402c及跟踪部402d是通过由该运算处理装置执行存储在存储装置中的用于三维空间识别的程序来实现的功能性的构成要素。另外，三维空间识别装置4000根据其用途，也可以不包含这些功能性的构成要素的一部分。例如如果三维空间识别装置4000的用途是自由视点影像的生成，则也可以不具备场景解析部402c及跟踪部402d。如果三维空间识别装置4000被用作监视系统的一部分，则通过包含场景解析部402c及跟踪部402d，提供更高功能的监视系统。

视点决定部402a决定从三维空间重构装置3000提供的将三维模型投影的虚拟视点。该决定例如在从用户设备5000有特定时刻的从特定视点的影像的请求时，将该特定视点决定为将三维模型投影的虚拟视点。或者，也可以将预先设定的视点决定为将三维模型投影的虚拟视点。例如，也可以是，如果是体育事件的自由视点影像，则将在球门附近能从整面看到选手的脸的视点决定为将三维模型投影的虚拟视点，如果是监视装置的影像，则将能从整面看到出入口附近的人物的脸的视点决定为将三维模型投影的虚拟视点。或者也可以是，根据来自后述的场景解析部402c或跟踪部402d的请求而将新的视点决定为虚拟视点。如果决定了虚拟视点，则将表示所决定的虚拟视点的信息(以下称作虚拟视点信息)从视点决定部402a传递给绘制部402b。

绘制部402b使用从三维空间重构装置3000接收到的三维模型的数据、从视点决定部402a接收到的虚拟视点信息和从多视点摄像系统1000接收到的影像数据，生成自由视点影像。在自由视点影像的生成中，向虚拟视点信息所表示的虚拟视点投影三维模型。此时，在自由视点影像中包含的被摄体的颜色及纹理的决定中，优先地利用距虚拟视点的距离近的摄像装置的影像数据中包含的各被摄体的颜色及纹理的信息。将生成的自由视点影像既可以传递给场景解析部402c，也可以向用来显示自由视点影像的用户设备5000分发。此外，也可以由三维空间识别装置4000具备的存储装置或外部的存储装置保存为自由视点影像数据。

场景解析部402c将从三维空间重构装置3000接收到的三维模型的数据进行解析，例如进行被摄体的确定。解析结果既可以传递给跟踪部402d，也可以被与自由视点影像一起分发而显示于用户设备5000。此外，也可以由三维空间识别装置4000具备的存储装置或外部的存储装置保存为自由视点影像的解析结果的数据。此外，根据解析结果，也可以从场景解析部402c向视点决定部402a请求其他时刻或其他位置的虚拟视点的决定。

跟踪部402d基于从三维空间重构装置3000接收到的三维模型的数据进行特定被摄体的追踪。追踪的结果也可以被与自由视点影像一起分发而显示在用户设备5000上。此外，例如在不能进行特定的被摄体的追踪的情况下，也可以从跟踪部402d向视点决定部402a请求其他时刻或其他位置的虚拟视点的决定。

用户设备5000是分别具备未图示的通信部及显示部的电视接收机、个人计算机或便携终端等设备。经由通信部从三维空间识别装置4000接收到的自由视点影像显示在用户设备的显示部上。

此外，用户设备5000也可以具备由触摸屏、触控板、键盘、鼠标、麦克风、其他控制器类或它们的组合构成的输入装置。并且，也可以经由该输入装置受理来自用户的与三维空间重构或三维空间识别有关的请求的输入。例如如果受理了特定时刻的从特定视点的影像的显示请求的输入，则将该请求从用户设备5000的通信部发送给三维空间识别装置4000。此外，例如在受理了特定的被摄体的自由视点图像的显示请求的情况下，也可以将该请求从用户设备5000的通信部发送给三维空间重构装置3000或三维空间识别装置4000。此外，例如在受理了跟踪对象的特定的被摄体的指定请求的输入的情况下，也可以将该请求发送给三维空间识别装置4000。

[2－4.其他]

以上，对本实施方式的多视点摄像系统1000的结构、以及利用从多视点摄像系统1000接收到的影像数据及相机参数的三维空间重构装置3000及三维空间识别装置4000、以及从三维空间识别装置4000接收自由视点影像等并显示的用户设备5000各自的结构进行了说明。另外，它们的结构并不限定于上述说明。

例如，在上述中，关于相机校正，说到了在各相机100中相机校正部102a按照从控制装置200输入的相机校正信息执行的情况，但相机校正的执行主体并不限定于此。例如也可以是控制装置200的控制部202具备多视点摄像系统1000中的总括性的相机校正部。并且，也可以由控制部202的相机校正部按照来自相机校正指示部202b的相机校正信息，取得并利用由多台相机100拍摄的影像来执行相机校正。

此外，在上述中分别说明为使用计算机实现的控制装置200、三维空间重构装置3000及三维空间识别装置4000也可以将它们的一部分或全部组合而安装到1台以上的计算机上。

此外，用户接口500和用户设备5000也可以是同一个设备。即，用户接口500也可以与用户设备5000同样接收从三维空间识别装置4000分发的影像并将其向系统管理者显示。如果该系统管理者是多视点摄像系统的管理者、并且也是包括三维空间重构装置3000及三维空间识别装置4000的自由视点影像分发系统或监视系统的管理者，则可以根据显示的该影像来输入用于三维空间重构装置3000及三维空间识别装置4000的控制的请求。

[3.动作]

接着，对本实施方式的多视点摄像系统1000的实现相机校正的适时的执行的动作进行说明。

在多视点摄像系统1000中，为了适时地执行相机校正，当摄像装置或其周围的状况发生了变化(事件)时，进行是否执行相机校正的判定。图3是用来说明本实施方式的多视点摄像系统1000的、包括是否进行相机校正的判定的一系列的动作的顺序图。另外，在图3中，摄像装置10表示图2所示的摄像装置10A～10N中的任意一个。

在摄像中的摄像装置10中，状况感知部160总是或以规定周期感知相机100(或摄像装置10)的状况及包括相机100的摄影区域的规定空间的至少一方的状况(步骤S31)。将感知出的状况作为摄像状况信息从状况感知部160输出，向控制装置200发送。

在控制装置200中，基于接收到的摄像状况信息，事件检测部202a检测规定事件的发生(步骤S32)。

该规定事件是指成为现状的相机参数不再正确地表示相机100的位置等的契机的事件。具体而言，例如是在结构的说明中叙述的、产生相机100的移动的事件或产生移动的可能性高的事件。此外，即使在相机100没有移动的情况下，也可以检测使摄影区域变化的事件或产生摄影区域的变化的可能性高的事件作为该规定事件。

作为在这样的事件的检测中使用的摄像状况信息的例子，可以举出从图像传感器104输出的影像数据的信息、以及运动传感器105或125输出的表示相机100的位置、倾斜或振动等的信息。在影像数据的情况下，例如可以将影像进行解析，基于被推断为背景区域的区域内的变化或在影像中背景区域所占的范围的变化来推断相机100的位置等的变化的有无。

此外，摄像状况信息也可以是从动作检测部106或126输出的、表示相机100或架台120的规定动作的信息。更具体地讲，是表示相机100的焦距的变更、曝光的变更、电源的ON－OFF的切换、架台120的云台的移动等的信息。这些动作不论是通过人工的操作发生的、还是通过摄像装置10的自动控制发生的，都可以在摄像状况信息中表示。

有相机参数没有正确地反映规定动作后的相机100的状态的情况。例如如果焦距变化，则随之内部参数也变化。此外，有如下情况：在将电源暂时切断的电池更换的前后，尽管用户不是有意的、但相机100的位置或姿势变化。或者，在电源为OFF的期间中相机100被移动的情况下，相机100的运动传感器105检测不到该移动。因而，在相机100的电源再接通后，在将电源设为OFF之前曾使用的相机参数没有正确地反映相机100的位置及姿势。此外，架台120的云台的旋转或上下的动作伴随着相机100的位置及姿势的变化(以下，有将架台120的动作也包括在内称为相机100的动作的情况)。这样，检测伴随着相机100的状态的变化的可能性高的规定动作，基于该检测来判定相机校正的执行，由此实现相机参数的精度的维持。

此外，摄像状况信息也可以是从集音器107或147输出的摄像装置10周边的声音的信息。

事件检测部202a在这样的摄像状况信息表示的随着时间的变化超过规定阈值的情况下检测到事件的发生(步骤S32中是)。该规定阈值是本实施方式的第1阈值的例子。

在检测到事件的发生的情况下(步骤S32中是)，事件检测部202a例如基于该信息的随着时间的变化的大小，判定是否执行相机校正(步骤S33)。例如该规定阈值考虑对于摄像状况信息所表示的相机100的移动的大小、继续使用现状的相机参数的情况下的对三维空间重构的精度的影响的大小来决定。并且，是否执行相机校正的判定例如基于该变化是否超过比第1阈值大的规定阈值来判定。该比第1阈值大的规定阈值是本实施方式的第2阈值的例子。

此外，规定事件也可以是能够以高精度执行相机校正的可能性高的事件。例如在使用包括较多特征点的影像执行的相机校正中，容易得到精度(可靠度)更高的相机参数。

作为在这样的事件的检测中使用的摄像状况信息，也可举例从上述图像传感器104输出的影像数据所示的信息。例如通过影像的解析来提取特征点，在提取出的特征点的个数是规定个数以上的情况下，发生规定事件(步骤S32中是)，此外，也可以判定为执行相机校正(步骤S33中是)。

此外，规定事件也可以是对用户的方便性带来的影响少的事件。例如，在体育事件中，也可以当为中场休息等不开展比赛的时间段时，检测为规定事件的发生。或者，如果是球赛，则由于关注球和人都没有的场所的用户少，所以也可以当摄影区域的整体是球和人都没有的状态时，检测为规定事件的发生。此外，如果是监视系统，则也可以当为摄影区域或其周边也包括在内人及汽车都没有的状态时，检测为规定事件的发生。

作为在这样的事件的检测中使用的摄像状况信息，也可以举例从上述图像传感器104输出的影像数据所表示的信息，此外，从集音器107或147输出的摄像装置10周边的声音的信息。在影像数据的情况下，例如也可以在通过影像的解析而在影像中不包含人等的规定目标的图像的情况下，判定为发生规定事件(步骤S32中是)，进而判定为执行相机校正(步骤S33中是)。在声音的信息的情况下，也可以通过声音的解析，进行是否是比赛进行中、是否哨子被吹响、或在摄像装置10的周边是否有人的讲话声或脚步声、或是否有汽车的动力音或行驶音等的判定。

此外，也可以根据对相机100的操作的种类来判定为其发生是规定事件的发生。这是因为，例如在发生了相机100的重启、电池的更换或透镜的装卸的情况下，在该相机100的摄影区域中发生变化的可能性高。这样的事件的检测也基于从动作检测部106输出的信息来进行。例如由于电池的更换或透镜的更换在相机100的电源断开的状态下进行，所以在其后的摄像开始之前发生相机100的启动动作。因而，例如事件检测部202a也可以在接收到表示启动动作的检测的信息的情况下判定为规定事件的发生。在其后的步骤S33中，既可以判定为在启动后作为必须的动作而执行相机校正，也可以基于其他的摄像状况信息来判断。

此外，事件检测部202a也可以在从相机100的上次的相机校正起经过了规定时间时检测出规定事件的发生。例如，事件检测部202a在存储部201中保留相机校正执行的日志，参照控制装置200具备的定时器203表示的时刻计算从上次的相机校正起的经过时间，当该经过时间超过了规定时间时检测出规定事件的发生。

由此，以规定频度以上执行相机100的相机校正。例如在某个相机100中，在低于判定为执行相机校正的第2阈值的变化积蓄、在没有执行相机校正的状态下相机参数从相机100的实际的状态背离的情况下，确保相机参数的更新机会。

判定为不执行相机校正的事件检测部202a(步骤S33中否)，回到摄像状况信息的接收待机状态。

判定为执行相机校正的事件检测部202a(步骤S33中是)输出相机校正信息。

相机校正信息中，包含作为执行相机校正的对象的相机100(或包括该相机100的摄像装置10)及判定为执行相机校正的理由(上述事件)。图4A及图4B分别表示相机校正信息的数据结构的例子。

在图4A的例子中，使用包括相应的相机100的摄像装置10A表示执行相机校正的对象(“校正对象”一栏的“10A”)。此外，执行相机校正的理由与20这一理由代码一起在“理由”一栏中表示为“云台旋转移动”。这样的相机校正信息在事件检测部202a从摄像装置10A的状况感知部160接收到的摄像状况信息表示超过第1阈值及第2阈值的云台的旋转移动的情况下输出。

在图4B的例子中，表示执行相机校正的对象的相机100是包含在全部的摄像装置10中的相机100(“校正对象”一栏的“全部”)。此外，执行相机校正的理由在“理由”一栏中与100这一理由代码一起表示为“中场休息检测”。这样的相机校正信息在事件检测部202a根据从摄像装置10的某个状况感知部160接收到的摄像状况信息推断为在包括摄影区域的规定空间中进行的体育比赛的中场休息开始的情况下输出。这样，根据检测出的事件的内容，事件检测部202a也可以判定为执行作为摄像状况信息的发送源的摄像装置10所包括的相机100以外的相机校正。

相机校正信息被输入至相机校正指示部202b。接收到相机校正信息的相机校正指示部202b基于相机校正信息的内容生成相机校正指示，将所生成的相机校正指示发送给包括适当的相机100的摄像装置10。

此时，相机校正指示部202b例如在相机校正信息的“校正对象”一栏中表示了多个摄像装置10(或2台以上的相机100)的情况下(步骤S34A中是)，或者在一定的时间内接收到“校正对象”一栏的内容不同的多件相机校正信息的情况下，决定在相机100之间执行相机校正的顺序(步骤S35A)。并且，相机校正指示部202b使得以所决定的顺序执行相机校正。相机校正指示部202b为此例如也可以在相机校正指示的发送中设置时间差、或在相机校正指示中指定实施的时刻。

该顺序例如也可以基于在相机校正信息的“理由”一栏中表示的事件的内容来决定。事件的内容例如是事件的种类。例如在存储部201中存储有按事件的每个种类预先设定了执行相机校正的优先级的表。或者，也可以在存储部201中存储有按事件检测部202a如图4A及图4B那样对理由赋予的每个理由代码预先决定了执行相机校正的优先级的表。并且，接收到“校正对象”一栏的内容不同的多件相机校正信息的相机校正指示部202b也可以参照该表或基于理由代码来决定执行相机校正的相机100的顺序(步骤S35A)。越是发生更大的摄影区域的变化的可能性高的事件，则这样的优先级被设定得越高。此外，即使是同种事件、例如振动发生的事件，也可以根据其大小而设定不同的优先级。

此外，也可以按事件的每个种类预先决定该顺序。例如，在事件是中场休息的情况下，也可以决定为在全部的相机100中一齐执行相机校正。在此情况下，例如相机校正指示部202b将相机校正指示向摄像装置10A～10N广播。或者，在中场休息中也响应自由视点影像的生成的请求的情况下，也可以决定为在规定空间中的配置中每隔几台交替地执行相机校正，或从某1台相机100起依次执行相机校正。在此情况下，相机校正指示部202b按照该预先决定的顺序，决定执行相机校正的相机100的顺序(步骤S35A)。

此外，该顺序例如也可以基于通过由相机校正部102a执行的上次的相机校正来计算出的各相机100的相机参数来决定。例如，也可以根据全部的相机100的相机参数确定各个相机100的摄影区域，以将具有与其他相机100的摄影区域重复的部分小的摄影区域的相机100优先地进行校正的方式，决定执行相机校正的相机100的顺序。此外，也可以基于摄影区域中包含的对象，例如以将能够捕捉选手射门的场面的球门前的区域作为摄影区域的相机100优先地进行校正的方式来决定顺序。

另外，在本实施方式中说明的“执行相机校正的相机100的顺序”中，也包括多台相机100并行地执行相机校正的情况。

通过这样相机校正指示部202b一边调整一边决定执行相机校正的相机100的顺序，能够以适合维持适当地执行三维空间重构的状态、或对三维空间重构带来的影响尽可能小的顺序使各相机100执行相机校正。

此外，也可以将相机校正信息例如向用户接口500发送，提示给系统管理者等用户(步骤S34B)。用户基于该信息，经由用户接口500输入用来使对象的相机100进行相机校正的指示(步骤S35B中受理指示)。输入的指示经由相机校正指示部202b被发送至相机校正部102a。在此情况下，相机100间的执行相机校正的顺序既可以由用户指定，也可以由相机校正指示部202b决定。

在接收到相机校正指示的摄像装置10的相机100中，相机校正部102a执行相机校正(步骤S36)。通过相机校正的执行计算出的相机参数被输出至三维空间重构装置3000(步骤S37)。

[4.效果等]

如以上这样，在本实施方式中，多视点摄像系统1000具备多台相机100、状况感知部160和事件检测部202a。

多台相机100在规定空间内从相互不同的位置拍摄至少一部分重复的区域的影像。

状况感知部160感知多台相机100各自及上述规定空间中的至少一方的状况，将感知到的状况作为摄像状况信息输出。

事件检测部202a基于该摄像状况信息，检测规定事件的发生，在检测到上述规定事件的发生的情况下，对是否执行相机校正进行判定。此外，在判定为执行相机校正的情况下，输出表示被执行的上述相机校正的相机校正信息。

由此，基于摄像中的相机100的状况或进行摄像的场所的状况(事件)，判定是否需要执行相机校正或是否是适合执行相机校正的定时。并且，通过提供表示被执行的该相机校正的信息，能够执行对象及定时适当的相机校正。并且，在摄像中也确保用来将各相机100的实际的位置等反映到相机参数中的更新的机会。通过使用这样更新后的相机参数，维持适当地执行三维空间重构的状态，结果，提高三维空间识别的精度及可利用性的稳定性。

此外，多视点摄像系统1000也可以还包括使得执行多台相机100的相机校正的相机校正指示部202b。并且，相机校正信息表示多台相机100中的执行相机校正的相机100。输出的相机校正信息被输入到相机校正指示部202b中，相机校正指示部202b使该相机校正信息所表示的相机100执行相机校正。

由此，即使是例如处于人不能立即接近的位置的相机100，也能够迅速地执行基于相机校正信息的相机校正。因而，维持适当地执行三维空间重构的状态，结果，提高三维空间识别的精度及可利用性的稳定性。

此外，相机校正信息也可以还表示被检测到发生的规定事件的内容。并且，在相机校正信息所表示的执行相机校正的相机100是2台以上的情况下，相机校正指示部202b基于相机校正信息所表示的规定事件的内容，决定执行相机校正的相机100的顺序，使2台以上的相机100的相机校正以所决定的顺序执行。

根据规定空间的状况，有通过一齐执行而能够迅速地执行精度高的相机校正的情况。这样通过根据作为执行相机校正的理由的事件来决定执行相机校正的相机100的顺序，以适合维持适当地执行三维空间重构的状态的顺序执行相机100的相机校正。另外，在该“顺序”中，也包括多台相机100并行地执行相机校正的情况。

此外也可以是，状况感知部160包括多台相机100分别具备的图像传感器104，状况感知部160输出的摄像状况信息包含图像传感器104输出的影像。在此情况下，事件检测部202a也可以提取该影像中包含的特征点，在提取出的特征点的数量是规定个数以上的情况下，检测出规定事件的发生，判定为执行相机校正。

在使用较多地包含特征点的影像执行的相机校正中，容易得到精度(可靠度)更高的相机参数。即这样的时候是适合执行相机校正的定时。通过使用由在该定时执行的相机校正得到的相机参数，三维空间重构也以更高的精度执行，提高了三维空间识别的精度及可利用性的稳定性。

此外也可以是，状况感知部160包括多台相机100分别具备的图像传感器104，状况感知部160输出的摄像状况信息包含图像传感器104输出的影像。并且，在此情况下，事件检测部202a判定在该影像中是否包含规定目标的图像。也可以在不包含规定目标的图像的情况下，检测出规定事件的发生，判定为执行相机校正。

这里所述的规定目标，是表示相机100拍摄的场面的重要性的对象，例如是监视区域中的人、球赛的比赛中的选手或球。不包含这样的目标的图像的影像数据由于被用于自由视点影像的生成的可能性低，所以通过设为执行相机校正的对象，提高从用户观察的三维空间识别的精度及可利用性的稳定性。

此外，状况感知部160也可以包括多台相机100分别具备的图像传感器104、感知多台相机100各自的位置的变化及姿势的变化的运动传感器105或125、以及收集规定空间内的声音的集音器107或147中的至少1个。并且，状况感知部160输出的摄像状况信息也可以是图像传感器104、运动传感器105或125、以及集音器107或147中的至少1个分别输出的信息。在此情况下，事件检测部202a也可以在摄像状况信息呈现超过第1阈值的变化的情况下检测出规定事件的发生，在摄像状况信息呈现超过比第1阈值大的第2阈值的变化的情况下判定为执行相机校正。

根据从图像传感器104等输出的信息的变化，进行各相机100的移动等，使各相机100的摄影区域变化，能够掌握相机参数不反映相机100的实际的状态的可能性高的变化。但是，在该变化的程度小的情况下也执行相机校正，也有可能削减影像数据的可利用的时间，反而对三维空间重构带来不良影响。所以，根据各相机100的状况或摄像场所的状况的变化程度来判定是否执行相机校正。由此，在对三维空间重构的适当的执行有影响那样的变化的情况下执行相机校正，另一方面，在与状况的变化相比相机校正的执行自身对三维空间重构的影响更大的情况下不执行相机校正。因而，维持适当地执行三维空间重构的状态，结果，提高三维空间识别的精度及可利用性的稳定性。

此外也可以是，状况感知部160包括检测多台相机100各自的规定动作的动作检测部126，状况感知部160输出的摄像状况信息是动作检测部126输出的、所发生的规定动作的信息。在此情况下，事件检测部202a也可以基于作为摄像状况信息表示的所发生的规定动作的信息来检测规定事件的发生。

由此，根据由相机100或架台120的动作带来的相机100的状态的变化将相机参数更新，由此维持适当地执行三维空间重构的状态，结果，提高三维空间识别的精度及可利用性的稳定性。

此外，事件检测部202a也可以针对多台相机100，分别在从上次的相机校正的执行起经过了规定时间时检测出规定事件的发生，判定为执行相机校正。由此，以规定频度以上执行各相机的相机校正。例如针对低于判定为执行相机校正的阈值的变化积蓄的相机也执行相机校正，从而确保相机参数的更新的机会。

此外，多视点摄像系统1000也可以还具备用来向用户提示信息的用户接口500。并且，也可以经由用户接口500向用户提示相机校正信息。

由此，多视点摄像系统1000的用户能够知道例如计划执行相机校正的相机100或执行中的相机100。此外，用户也可以基于该提示的相机校正信息所表示的执行相机校正的理由(规定事件的内容)，决定计划执行相机校正的相机100之间的相机校正的执行顺序。

(实施方式2)

以下，使用图5～图7说明实施方式2。另外，使用实施方式2的多视点摄像系统的三维空间识别的概要与实施方式1相同，所以省略说明。

[1.多视点摄像系统的结构]

图5是表示实施方式的多视点摄像系统的结构的框图。本实施方式的多视点摄像系统1001的结构除了摄像装置11A具备相机调整部180这一点以外，与实施方式1的多视点摄像系统1000的结构是共通的。以下，以与实施方式1的不同点为中心进行说明。此外，与实施方式1共通的构成要素使用共通的参照符号表示，并省略说明。

相机调整部180在相机100的位置或姿势的变化是规定大小以上的情况下，执行相机100的摄影区域的调整。如果由相机100的位置等的变化带来的摄影区域的变化比某种程度大，则有相机校正的精度下降、或不能执行相机校正的情况、或不能拍摄想要的区域的影像的情况。在这样的情况下，为了抑制相机校正的精度的下降或使得能够进行相机校正，或者为了使得能够拍摄想要的区域的影像，相机调整部180调整摄影区域以使其接近于原来的范围。

这样的相机调整部180例如使用用来将架台120的云台进行移动及固定的、微型计算机及由该微型计算机控制的马达等实现。此外，相机调整部180也可以为了对通过这样的机械性的运动不能完成的调整进行补充、或相反进行都不至于进行机械性的运动的情况下的调整，而变更相机100的焦距。这样的相机调整部180与图示不同，但是是通过由相机100的控制部102执行程序而实现的功能性的构成要素。另外，在作为将相机100的焦距进行变更的功能性的构成要素实现的相机调整部180的情况下，也可以将由焦距的变化带来的摄影区域的变化复原，使得不需要执行相机校正。

[2.动作]

接着，对本实施方式的多视点摄像系统1001的实现包括相机调整在内的相机校正的适时的执行的动作进行说明。

图6是用来说明由本实施方式的多视点摄像系统1001进行的一系列的动作的顺序图。另外，在图6中，摄像装置11表示图5所示的摄像装置11A～11N中的任意一个。图6所示的多视点摄像系统1001的动作在除了图3所示的动作以外还加上相机调整部180这一点、以及包括与相机调整有关的步骤S61～S63这一点不同。以下，以与实施方式1的不同点为中心进行说明。

事件检测部202a在步骤S33中基于摄像状况信息判定是否执行相机校正后，进行关于相机调整的执行的判定(步骤S61)。关于相机调整的执行的判定，例如包括是否执行相机调整的判定、以及在执行相机调整的情况下是以人工进行还是使相机调整部180执行的判定。

是否执行相机调整的判定基于摄像状况信息、例如状况感知部160中包含的运动传感器105或运动传感器125输出的表示相机100的位置的变化及姿势的变化中的至少一方的运动信息来进行。例如在运动信息表示相机100的位置或姿势的超过规定阈值的变化的情况下，事件检测部202a判断为执行相机调整。该规定阈值(以下，称作第3阈值)例如是比第2阈值大的值，是有助于如下判定的大小的值，该判定为是否大到对相机校正的精度或能否执行有问题的程度的判定。由此，在步骤S33中由于运动信息表示的位置等的变化超过第2阈值、所以判定为进行相机校正的情况下，在步骤S61中，判定该运动信息表示的变化是否大到对相机校正的精度或能否执行有问题的程度。

另外，可以作为上述运动信息利用的信息并不限定于运动传感器105或运动传感器125输出的信息。也可以使用其他摄像状况信息，即从图像传感器104输出的影像数据、或从集音器107或147输出的基于摄像装置10周边的声音数据的信息，作为表示相机100的位置的变化及姿势的变化中的至少一方的运动信息。此外，也可以使用这些信息的组合作为运动信息。例如，也可以根据这些数据所表示的影像或声音的变化大小来推断相机100的运动(移动)的大小，将推断出的该运动的大小与第3阈值比较。

此外，在以人工进行还是使相机调整部180执行相机调整的判定中，例如在上述运动信息表示超过比第3阈值大的第4阈值的变化的情况下判定为以人工执行相机调整。第4阈值是有助于如下判定的大小的值，该判定是在相机100中发生的位置等的变化是否大到通过由相机调整部180进行的相机100的位置等的调整不能确保可执行相机校正或相机校正所需的精度、或想要的区域的摄影的程度的判定。在此情况下，优选的是人工进行相应的摄像装置11的状况确认和相机位置的再设定，为了敦促用户进行该操作而将相机调整信息向用户接口500输出。

这里，在相机调整信息中，包含作为摄影区域的调整的对象的相机100(或包括该相机100的摄像装置11)及调整的内容。图7表示相机调整信息的数据结构的例子。

在图7的例子中，使用包括对应的相机100的摄像装置11A表示摄影区域的调整的对象(“调整对象”一栏的“11A”)。此外，用云台的旋转角度及升降器的移动量表示调整内容。另外，该调整内容的显示形式是例子，并不限定于此。例如也可以用向3轴向的移动距离表示，也可以包括焦距的调整。这样的调整内容基于作为摄像状况信息的运动信息来决定。

接收到这样的相机调整信息的用户接口500向用户提示相机调整信息(步骤S62)。

此外，在步骤S61中判定为由相机调整部180执行相机调整的情况下，将相机调整信息向包括相应的相机100的摄像装置11输出。在摄像装置11中，该相机调整信息被输入至相机调整部180，相机调整部180基于该相机调整信息执行相机调整(步骤S63)。

如果由人工或相机调整部180进行的相机调整完成，则将相机调整完成通知发送给控制装置200。在接收到相机调整完成通知的控制装置200中，与实施方式1同样地执行步骤S34A以下或步骤S34B以下。

另外，也可以在不包括相机调整部180的实施方式1的多视点摄像系统1000中，也进行相机调整的执行的判定(步骤S61)。在此情况下，由于相机调整总是由人工进行，所以在判定为执行相机调整的情况下，即在运动信息超过第3阈值的情况下，向用户接口500输出相机调整信息。

[3.效果等]

在本实施方式的多视点摄像系统1001中，摄像状况信息也可以是图像传感器104、运动传感器105及125、以及集音器107及147中的至少1个输出的、表示多台相机100各自的位置的变化及姿势的变化中的至少一方的运动信息。并且，在此情况下，事件检测部202a也可以在运动信息表示超过第3阈值的变化的情况下，输出表示由多台相机100的至少一部分执行的摄影区域的调整的相机调整信息。

如果相机100的摄影区域的变化超过某种程度的大小，则相机校正的精度下降，或不能执行相机校正，或不能拍摄想要的区域的影像。所以，通过基于运动信息来检测相机的位置等的大的变化，能够在执行相机校正前进行应对以使相机的位置等接近原来的状态。由此，能够抑制相机校正的精度的下降、相机校正失败的可能性、以及想要的区域的影像的拍摄失败的可能性。

此外，多视点摄像系统1001也可以还包括执行对多台相机100的至少一部分的摄影区域进行控制的相机调整的相机调整部180。所输出的相机调整信息被输入至相机调整部180。并且，相机调整部180也可以基于该相机调整信息执行相机调整。

像这样，也可以使较大地变化的相机100的位置等在执行相机校正前不经由人工而接近于原来的状态。由此，即使是例如处于人不能立即接近的位置的相机100，也能够抑制相机校正的精度的下降、相机校正失败的可能性、以及想要的区域的影像的拍摄失败的可能性。

此外，多视点摄像系统1001也可以还具备用来向用户提示信息的用户接口500。并且，事件检测部202a也可以在运动信息表示超过比第3阈值大的第4阈值的变化的情况下，将相机调整信息经由用户接口500向上述用户提示。

在相机100的位置等中有较大的变化的情况下，有通过相机调整部180不能回到原来的状态、需要人工的情况。在这样的情况下，通过提示相机调整信息，能够向用户报告需要相机100的位置等的借助人工的恢复。能够抑制相机校正的精度的下降、相机校正失败的可能性、以及想要的区域的影像的拍摄失败的可能性。

(变形例)

以上，对实施方式1及2的多视点摄像系统进行了说明，但有关本发明的多视点摄像系统并不限定于这些实施方式。

例如，在图4A及图4B所例示的相机校正信息中，间接地表示了执行相机校正的优先级，但也可以将直接表示该优先级的信息包含在相机校正信息中。

此外，在上述的说明中，事件发生的判定(步骤S32)及与相机校正的执行有关的判定(步骤S33)例如基于表示架台120的振动的摄像状况信息那样的1件摄像状况信息来进行。但是，这些判定也可以基于多件摄像状况信息来进行。例如也可以根据摄像状况信息的内容设定分数，基于上次的相机校正的执行以后的累计分数来进行这些判定。或者，也可以以一定周期从状况感知部160中包括的各种传感器等取得摄像状况信息，基于按每个摄像状况信息的内容设定的分数的合计来进行这些判定。

此外，在上述说明中，事件发生的判定(步骤S32)及与相机校正的执行有关的判定(步骤S33)基于从摄像装置10或11发送的摄像状况信息来进行。但是，这些判定也可以根据从摄像装置10或11以外发送的其他信息或根据请求来进行。例如也可以由三维空间重构装置3000或三维空间识别装置4000对各装置中的处理的结果进行自我评价，将表示该评价的信息发送给控制装置200，用作事件发生的判定或与相机校正的执行有关的判定的材料。此外，也可以根据由观看自由视点影像的系统管理者经由用户接口500进行的相机校正的执行请求来进行与相机校正的执行有关的判定。

此外，在上述的说明中，为了向用户提示而从控制装置200向用户接口500发送相机校正信息及相机调整信息，但能够向用户提示的信息并不限定于这些。例如在摄像装置10或11中执行相机校正(步骤S36)的情况下，也可以基于相机校正指示，将表示计划相机校正的执行或当前正在执行相机校正的摄像装置10或11的信息经由用户接口500向用户提示。此外，在摄像装置10或11中执行相机调整(步骤S63)的情况下，也可以基于相机调整信息，将表示计划相机调整的执行或当前正在执行相机调整的摄像装置10或11的信息经由用户接口500向用户呈现。进而，也可以在相机校正或相机调整的执行中，将因其影响而自由视点影像的画质下降的区域、或不能生成自由视点影像的区域经由用户接口500向用户呈现。在能够从用户设备5000指定自由视点影像的虚拟视点的位置的情况下，也可以在用户设备5000中也显示这些信息。由此，在用户的自由视点影像的利用中提高方便性。

此外，也可以将关于相机校正或相机调整的执行中的相机100(或包括它的摄像装置10或11)的信息还提供给三维空间重构装置3000及三维空间识别装置4000。并且，例如在三维空间重构装置3000及三维空间识别装置4000中，也可以将相机校正或相机调整的执行中的相机100的数据从向三维空间重构或三维空间识别的利用对象中排除，或降低作为数据的权重。

此外，对于三维空间重构装置3000，也可以除了上述影像数据及相机参数以外，还从多视点摄像系统1000或1001提供该相机参数的可靠度。三维空间重构装置3000将已接收的相机参数与该可靠度一起向存储装置保存，参照可靠度选择要利用的相机参数。由此，即使在最新的相机校正因某种原因没有被适当地进行的情况下，三维空间重构装置3000也能够将可靠度高的相机参数优先地用于三维空间重构。例如也可以使用规定高度以上的可靠度的相机参数。或者，也可以使用以使可靠度高的相机参数被更强地反映到三维空间重构的结果中的方式进行了与可靠度的高度相应的加权的相机参数。

另外，在上述中，说明了如果影像中包含的特征点的数量更大，则能够得到可靠度更高的相机参数，但决定可靠度的要素并不限定于此。作为决定可靠度的其他要素，例如可以举出相机校正的结果中包含的误差(再投影误差)、以及从执行了相机校正的时刻起的经过时间。该可靠度也可以由各相机100具备的相机校正部102a计算。或者，也可以由控制装置200从各相机100接收相机参数，基于对应的摄像状况信息来计算该可靠度。本发明的技术也可以像这样被具体化为包括多视点摄像系统1000或1001及三维空间重构装置3000的三维空间重构系统。

此外，也可以对三维空间识别装置4000也提供相机参数的可靠度。在三维空间识别装置4000中，例如也可以由绘制部402b参照该可靠度，决定作为在自由视点影像的生成中利用的颜色及纹理的信息的来源的摄像装置10或11。例如在从距虚拟视点最近的摄像装置10得到的相机参数的可靠度不充分的情况下，绘制部402b也可以将其两旁的摄像装置10中的提供可靠度更高的相机参数的摄像装置10的影像数据的颜色及纹理的信息利用于自由视点影像的生成。或者，在此情况下，绘制部402b为了使得被摄体的图像中的不自然度变得不醒目，也可以将自由视点影像的颜色或纹理模糊化、或提高再现速度。本发明的技术也可以像这样被具体化为包括多视点摄像系统1000或1001及三维空间识别装置4000的三维空间识别系统。

通过这样利用相机参数的可靠度，三维空间重构及三维空间识别的精度提高。此外，对于用户提供画质更好或粗糙不易变得醒目的自由视点影像。

此外，各实施方式中的、控制装置200中的事件检测部202a及相机校正指示部202b的功能分担是一例，并不限定于上述。例如也可以是事件检测部202a对事件的发生进行检测，由控制装置200的控制部202进行关于相机校正的执行及相机调整的执行的判定。

以上，基于实施方式说明了有关本发明的一个或多个技术方案的多视点摄像系统，但该多视点摄像系统并不限定于上述说明的内容。只要不脱离本发明的主旨，对本实施方式实施本领域技术人员想到的各种变形的形态、或将不同实施方式的构成要素组合而构建的形态也可以包含在本发明的一个或多个技术方案的范围内。

(实施方式3)

说明在上述各实施方式中表示的图像处理方法及装置的结构的其他应用例和使用它的系统。该系统能够适用于智能化和对象空间的广域化不断发展的影像系统，例如能够适用于(1)店铺或工厂的安全相机、或在警察的车载相机等中安装的监视系统，(2)使用个人拥有的相机或各车载相机、或道路上装备的相机等的交通信息系统，(3)使用无人机等可远程操作或自动控制的装置的环境调查或配送系统，以及(4)使用娱乐施设或体育场等中的设置相机、无人机等的移动相机、或个人拥有的相机等的影像等的内容收发系统等。

图8是表示本实施方式的影像信息处理系统ex100的结构的图。在本实施方式中，对防止死角的发生的例子、以及将特定区域设为禁止摄影的例子进行说明。

图8所示的影像信息处理系统ex100包括影像信息处理装置ex101、多台相机ex102和影像接收装置ex103。另外，影像接收装置ex103并不需要一定包含在影像信息处理系统ex100中。

影像信息处理装置ex101具备保存部ex111和解析部ex112。N个相机ex102分别具有拍摄影像的功能、和将拍摄的影像数据向影像信息处理装置ex101发送的功能。此外，也有相机ex102具有显示拍摄中的影像的功能的情况。另外，相机ex102既可以使用HEVC或H.264那样的编码方式将拍摄的影像信号编码后向影像信息处理装置ex101发送，也可以将没有被编码的影像数据向影像信息处理装置ex101发送。

这里，各相机ex102是监视相机等固定相机、搭载在无人飞行型无线遥控装置或车等上的移动相机、或用户持有的用户相机。

移动相机接收从影像信息处理装置ex101发送的指示信号，根据接收到的指示信号变更移动相机自身的位置或摄影方向。

此外，在摄影开始前，使用服务器或基准相机的时刻信息等将多台相机ex102的时刻进行校准。此外，基于作为摄影对象的空间的目标的拍摄方式或距基准相机的相对位置，将多台相机ex102的空间位置进行校准。

信息处理装置ex101中包含的保存部ex111保存从N个相机ex102发送来的影像数据。

解析部ex112根据保存在保存部ex111中的影像数据检测死角，向移动相机发送用来防止死角的发生的表示向移动相机的指示的指示信号。移动相机按照指示信号进行移动，继续拍摄。

解析部ex112例如使用SfM(Structure from Motion：运动恢复结构)进行死角检测。SfM是指根据从不同的位置拍摄的多个影像将被摄体的三维形状复原的方法，作为同时推测被摄体形状及相机位置的形状复原技术而被周知。例如，解析部ex112使用SfM，根据保存在保存部ex111中的影像数据将施设内或体育场内的三维形状复原，检测不能复原的区域作为死角。

另外，解析部ex112在相机ex102的位置及摄影方向是固定的、且位置及摄影方向的信息是已知的情况下，也可以使用这些已知的信息进行SfM。此外，在能够由移动相机具备的GPS及角度传感器等取得移动相机的位置及摄影方向的情况下，移动相机也可以将该移动相机的位置及摄影方向的信息向解析部ex112发送，解析部ex112使用发送来的位置及摄影方向的信息进行SfM。

另外，死角检测的方法并不限于上述的使用SfM的方法。例如，解析部ex112也可以通过使用激光测距仪等的深度传感器的信息，来掌握作为摄影对象的目标的空间距离。此外，解析部ex112也可以根据空间内的预先设定的标识或特定目标是否包含在图像中、在包含的情况下根据其尺寸等来检测相机位置、摄影方向及缩放倍率等信息。这样，解析部ex112使用能够检测各相机的摄影区域的任意的方法进行死角的检测。此外，解析部ex112也可以关于多个摄影对象从影像数据或接近距离传感器等取得相互的位置关系等信息，基于所取得的位置关系确定发生死角的可能性高的区域。

这里的死角不仅包括在想要拍摄的区域中不存在影像的部分，还包括与其他部分相比画质差的部分、以及没有得到预先设定的画质的部分等。该检测对象的部分只要根据该系统的结构或目的适当设定就可以。例如也可以针对被拍摄的空间中的特定被摄体将所要求的画质设定得高。此外，相反也可以针对摄影空间中的特定区域将所要求的画质设定得低，也可以设定为即使没有拍摄到影像也不判定为死角。

另外，上述的画质包括影像中的作为摄影对象的被摄体所占的面积(例如像素数)、或焦点是否对准在作为摄影对象的被摄体上等的关于影像的各种各样的信息，只要以这些信息或其组合为基准判定是否是死角就可以。

另外，在上述的说明中，对实际为死角的区域的检测进行了说明，但为了防止死角的发生而需要检测的区域并不限定于实际为死角的区域。例如，在存在多个摄影对象、并且至少其一部分移动的情况下，有可能因在某个摄影对象与相机之间进入别的摄影对象而发生新的死角。对此，解析部ex112例如也可以从所拍摄的影像数据等检测多个摄影对象的运动，基于检测出的多个摄影对象的运动和相机ex102的位置信息，来推测有可能新成为死角的区域。在此情况下，影像信息处理装置ex101也可以向移动相机发送指示信号以使其拍摄有可能成为死角的区域，防止死角的发生。

另外，在有多个移动相机的情况下，影像信息处理装置ex101需要选择为了使得拍摄死角或有可能成为死角的区域而发送指示信号的移动相机。此外，在分别存在多个移动相机及死角或有可能成为死角的区域的情况下，影像信息处理装置ex101需要针对多个移动相机分别决定拍摄哪个死角或有可能成为死角的区域。例如，影像信息处理装置ex101基于死角或有可能成为死角的区域和各移动相机拍摄中的区域的位置，选择与死角或成为死角的区域最近的移动相机。此外，影像信息处理装置ex101也可以针对各移动相机，在该移动相机不能得到当前拍摄中的影像数据的情况下判定是否新发生死角，选择虽然得不到当前拍摄中的影像数据但被判断为没有发生死角的移动相机。

通过以上的结构，影像信息处理装置ex101通过检测死角、并对移动相机发送指示信号以防止死角，能够防止死角的发生。

(变形例1)

另外，在上述说明中，叙述了向移动相机发送指示移动的指示信号的例子，但指示信号也可以是用来向用户相机的用户指示移动的信号。例如，用户相机基于指示信号，显示向用户指示变更相机的方向的指示图像。另外，用户相机也可以显示地图上表示了移动路径的指示图像，作为用户的移动的指示。此外，用户相机也可以为了提高取得的图像的质而显示摄影方向、角度、视场角、画质及摄影区域的移动等详细的摄影的指示，进而如果能够在影像信息处理装置ex101侧控制，则影像信息处理装置ex101也可以自动地控制这样的关于摄影的相机ex102的特征量。

这里，用户相机例如是体育场内的观众或施设内的保安人员持有的智能电话、平板型终端、可穿戴终端或HMD(Head Mounted Display)。

此外，显示指示图像的显示终端不需要与拍摄影像数据的用户相机相同。例如，也可以是用户相机对与用户相机预先建立了对应的显示终端发送指示信号或指示图像，该显示终端显示指示图像。此外，也可以将与用户相机对应的显示终端的信息预先登录在影像信息处理装置ex101中。在此情况下，影像信息处理装置ex101也可以通过对与用户相机对应的显示终端直接发送指示信号，使显示终端显示指示图像。

(变形例2)

解析部ex112例如也可以通过使用SfM从保存在保存部ex111中的影像数据复原施设内或体育场内的三维形状，来生成自由视点影像(三维重构数据)。该自由视点影像被保存在保存部ex111中。影像信息处理装置ex101从保存部ex111读出从影像接收装置ex103发送的与视野信息(及/或视点信息)相应的影像数据，向影像接收装置ex103发送。另外，影像接收装置ex103也可以是多个相机的一个。

(变形例3)

影像信息处理装置ex101也可以检测摄影禁止区域。在此情况下，解析部ex112将摄影图像进行解析，在移动相机拍摄摄影禁止区域的情况下对移动相机发送摄影禁止信号。移动相机在接收摄影禁止信号的期间中停止拍摄。

解析部ex112例如通过取得使用SfM复原的三维虚拟空间与摄影影像的匹配，判定在空间内预先设定的移动相机是否正在拍摄摄影禁止区域。或者，解析部ex112以配置在空间内的标识或特征性的目标为触发，判定移动相机是否正在拍摄摄影禁止区域。摄影禁止区域，例如是施设内或体育场内的卫生间等。

此外，当用户相机在拍摄摄影禁止区域的情况下，用户相机也可以在以无线或有线连接的显示器等上显示消息，或者从扬声器或耳机输出声音或语音，由此向用户告知当前的场所是摄影禁止场所。

例如，作为上述消息，显示当前使相机朝向的方向是摄影禁止之意。或者，在显示的地图上表示摄影禁止区域和当前的摄影区域。此外，例如如果不再输出摄影禁止信号则自动地重新开始拍摄。或者，也可以在没有输出摄影禁止信号并且用户做出了重新开始拍摄的操作的情况下重新开始拍摄。此外，在短期间内发生了多次拍摄的停止和重新开始的情况下，也可以再次进行校准。或者，也可以向用户进行用来确认当前位置或敦促移动的通知。

此外，在警察等特别的业务的情况下，也可以使用为了记录而将这样的功能关闭的通行码或指纹认证等。进而，即使是这样的情况，在将摄影禁止区域的影像显示或保存在外部的情况下也可以自动地进行马赛克等图像处理。

通过以上的结构，影像信息处理装置ex101通过进行摄影禁止的判定、并向用户通知以使其停止拍摄，能够将某个区域设定为摄影禁止。

(变形例4)

为了从影像构建三维的虚拟空间，需要收集多个视点的影像，所以影像信息处理系统ex100对传送了摄影影像的用户设定奖励。例如，影像信息处理装置ex101对传送了影像的用户以免费或折扣费用进行影像分发，或者赋予能够在在线或离线的店或游戏内使用的货币性价值、或游戏等虚拟空间中的社会地位等有非货币性价值的点数。此外，影像信息处理装置ex101对传送了请求较多等有价值的视野(及/或视点)的摄影影像的用户赋予特别高的点数。

(变形例5)

影像信息处理装置ex101也可以基于解析部ex112的解析结果，对用户相机发送附加信息。在此情况下，用户相机将附加信息叠加在摄影影像上而显示在画面上。例如在拍摄了体育场中的比赛的情况下，附加信息是指选手名或身高等的选手的信息，与影像内的各选手建立对应而显示该选手的姓名或面部照片等。另外，影像信息处理装置ex101也可以基于影像数据的一部分或全部的区域，通过经由因特网的检索来提取附加信息。此外，相机ex102也可以通过可视光通信从以Bluetooth(注册商标)为代表的近距离无线通信或体育场等的照明接收这样的附加信息，将接收到的附加信息映射到影像数据。此外，相机ex102也可以基于以有线或无线连接在相机ex102上的存储部中保存的、表示通过可视光通信技术得到的信息与附加信息的对应关系的表等的一定规则，来进行上述映射，也可以通过因特网检索而使用最可靠的组合的结果来进行。

此外，在监视系统中，通过对施设内的保安人员持有的用户相机叠加例如注意人物的信息，能够实现监视系统的高精度化。

(变形例6)

解析部ex112也可以通过取得自由视点影像与用户相机的摄影影像的匹配，来判定用户相机正在拍摄施设内或体育场内的哪个区域。另外，摄影区域的判定方法并不限于此，也可以使用在上述各实施方式中说明的各种各样的摄影区域的判定方法或其他摄影区域的判定方法。

影像信息处理装置ex101基于解析部ex112的解析结果，对用户相机发送过去影像。用户相机将过去影像叠加在摄影影像上，或将摄影影像替换为过去影像，显示在画面上。

例如，在中场休息中，作为过去影像而显示前半场的精彩场景。由此，用户在中场休息中能够将前半场的精彩场景作为自己观看的方向的影像来欣赏。另外，过去影像并不限于前半场的精彩场景，也可以是在该体育场中进行过的过去的比赛的精彩场景等。此外，影像信息处理装置ex101将过去影像进行分发的定时并不限于中场休息中，例如也可以是比赛结束后，也可以是比赛中。特别是在比赛中的情况下，基于解析部ex112的解析结果，影像信息处理装置ex101也可以分发用户漏看的认为重要的场景。此外，影像信息处理装置ex101也可以在从用户有请求的情况下分发过去影像，或者也可以在分发过去影像之前将分发许可的消息进行分发。

(变形例7)

影像信息处理装置ex101也可以基于解析部ex112的解析结果，对用户相机发送广告信息。用户相机将广告信息叠加于摄影影像而显示在画面上。

广告信息例如也可以在变形例6所示的中场休息中或比赛结束后的过去影像分发紧前分发。由此，分发业者能够得到来自广告主的广告费，能够向用户便宜地或免费提供影像分发服务。此外，影像信息处理装置ex101既可以在分发广告信息的紧前分发广告分发许可的消息，也可以在用户视听了广告的情况下免费地提供服务，也可以比没有视听广告的情况更便宜地提供服务。

此外，如果用户按照广告点击“现在立即订购”等，则该系统或基于某种位置信息掌握了用户的位置的工作人员或会场的自动配送系统将订购的饮料送到座位。关于结算，既可以直接交给工作人员，也可以基于预先设定在移动终端的应用等中的信用卡信息来进行。此外，也可以在广告中包含向e商业站点的链接，并且为能够进行通常的自家配送等的在线购物的状态。

(变形例8)

影像接收装置ex103也可以是相机ex102(用户相机)的一个。在此情况下，解析部ex112通过取得自由视点影像与用户相机的摄影影像的匹配，判定用户相机正在拍摄施设内或体育场内的哪个区域。另外，摄影区域的判定方法并不限于此。

例如，如果用户向显示在画面上的箭头的方向滑动操作，则用户相机生成表示使视点向该方向移动的视点信息。影像信息处理装置ex101从解析部ex112判定的用户相机的摄影区域，基于视点信息从保存部ex111读出拍摄了区域的影像数据，开始该影像数据向用户相机的发送。并且，用户相机不是显示摄影影像，而是显示从影像信息处理装置ex101分发的影像。

通过以上，施设内或体育场内的用户能够通过画面滑动那样的简单的动作，视听从喜欢的视点的影像。例如在棒球场的3垒侧观看比赛的观众能够视听从1垒侧的视点的影像。此外，在监视系统中，施设内的保安人员能够通过画面滑动那样的简单的动作，一边适应性地改变视点一边视听作为从自己想要确认的视点或中心的插入而要注视的影像等，所以能够实现监视系统的高精度化。

此外，向施设内或体育场内的用户的影像分发例如在用户相机与摄影对象之间存在障碍物而有看不到的区域的情况下等也是有效的。在此情况下，用户相机既可以将用户相机的摄影区域中的包含障碍物的一部分的区域的影像从摄影影像切换为来自影像信息处理装置ex101的分发影像来显示，也可以将画面整体从摄影影像切换为分发影像来显示。此外，用户相机也可以将摄影影像与分发影像合成而显示能够透过障碍物看到视听对象那样的影像。根据该结构，在因障碍物的影响而从用户的位置看不到摄影对象的情况下，也能够视听从影像信息处理装置ex101分发的影像，所以能够减少障碍物的影响。

此外，在作为因障碍物而看不到的区域的影像而显示分发影像的情况下，也可以进行与对应于上述画面滑动那样的用户的输入处理的显示切换控制不同的显示切换控制。例如，也可以在基于用户相机的移动及摄影方向的信息、以及预先得到的障碍物的位置信息，判定为在摄影区域中包含障碍物的情况下，自动地进行从摄影影像向分发影像的显示切换。此外，也可以在通过摄影影像数据的解析判定为拍摄有不是摄影对象的障碍物的情况下，自动地进行从摄影影像向分发影像的显示切换。此外，也可以在摄影影像中包含的障碍物的面积(例如像素数)超过了规定阈值的情况下，或在障碍物的面积相对于摄影对象的面积的比超过了规定比例的情况下，自动地进行从摄影影像向分发影像的显示切换。

另外，也可以根据用户的输入处理来进行从摄影影像向分发影像的显示切换、以及从分发影像向摄影影像的显示切换。

(变形例9)

也可以基于由各相机ex102拍摄的影像数据的重要度，指示将影像数据向影像信息处理装置ex101传送的速度。

在此情况下，解析部ex112判定保存在保存部ex111中的影像数据或拍摄了该影像数据的相机ex102的重要度。这里的重要度的判定例如基于影像中包含的人的数量或移动物体的数量、影像数据的画质等信息、或者其组合来进行。

此外，影像数据的重要度的判定也可以基于拍摄了影像数据的相机ex102的位置或拍摄影像数据的区域。例如，在作为对象的相机ex102的附近存在多个拍摄中的其他相机ex102的情况下，使由作为对象的相机ex102拍摄的影像数据的重要度变低。此外，在虽然作为对象的相机ex102的位置远离其他相机ex102但拍摄相同区域的其他相机ex102存在多个的情况下，使由作为对象的相机ex102拍摄的影像数据的重要度变低。此外，影像数据的重要度的判定也可以基于影像分发服务中的请求的多少来进行。另外，重要度的判定方法并不限于上述方法或其组合，只要是与监视系统或影像分发系统的结构或目的相应的方法就可以。

此外，重要度的判定也可以不基于所拍摄的影像数据。例如，也可以将向影像信息处理装置ex101以外的终端发送影像数据的相机ex102的重要度设定得高。相反，也可以将向影像信息处理装置ex101以外的终端发送影像数据的相机ex102的重要度设定得低。由此，例如在需要传送影像数据的多个服务共用通信频带的情况下，与各服务的目的或特性相应的通信频带的控制的自由度变高。由此，能够防止因不能得到需要的影像数据造成的各服务的品质的劣化。

此外，解析部ex112也可以使用自由视点影像和相机ex102的摄影影像来判定影像数据的重要度。

影像信息处理装置ex101基于由解析部ex112进行的重要度的判定结果，对相机ex102发送通信速度指示信号。影像信息处理装置ex101例如对拍摄重要度高的影像的相机ex102指示高的通信速度。此外，也可以是，影像信息处理装置ex101不仅进行速度的控制，还关于重要的信息，为了减少因缺失造成的缺点而发送对多次发送那样的方式进行指示的信号。由此，能够有效地进行施设内或体育场内整体的通信。另外，相机ex102与影像信息处理装置ex101的通信既可以是有线通信也可以是无线通信。此外，影像信息处理装置ex101也可以控制有线通信及无线通信中的某一方。

相机ex102以遵循通信速度指示信号的通信速度将摄影影像数据发送给影像信息处理装置ex101。另外，相机ex102也可以在重发失败了规定次数的情况下，停止该摄影影像数据的重发，开始下一个摄影影像数据的传送。由此，能够有效地进行施设内或体育场内整体的通信，能够实现解析部ex112中的处理的高速化。

此外，相机ex102在分别分配的通信速度不是足够传送所拍摄的影像数据的频带的情况下，也可以将所拍摄的影像数据变换为能够以被分配的通信速度发送的比特率的影像数据，并发送变换后的影像数据，也可以将影像数据的传送中止。

此外，在如上述那样为了防止死角的发生而使用影像数据的情况下，有可能为了将死角填补而需要所拍摄的影像数据中包含的摄影区域中的一部分区域。在此情况下，相机ex102也可以通过至少从影像数据中提取为了防止死角的发生而需要的区域而生成提取影像数据，将所生成的提取影像数据向影像信息处理装置ex101发送。根据该结构，能够以更少的通信频带实现死角的发生的抑制。

此外，例如在进行附加信息的叠加显示或影像分发的情况下，相机ex102需要向影像信息处理装置ex101发送相机ex102的位置信息及摄影方向的信息。在此情况下，仅被分配了不够传送影像数据的频带的相机ex102也可以发送由相机ex102检测到的位置信息及摄影方向的信息。此外，在影像信息处理装置ex101中推测相机ex102的位置信息及摄影方向的信息的情况下，相机ex102也可以将拍摄的影像数据变换为位置信息及摄影方向的信息的推测所需要的分辨率，将变换后的影像数据向影像信息处理装置ex101发送。根据该结构，对于仅被分配了较少的通信频带的相机ex102，也能够提供附加信息的叠加显示或影像分发的服务。此外，影像信息处理装置ex101由于能够从更多的相机ex102取得摄影区域的信息，所以例如在以检测被关注的区域等的目的利用摄影区域的信息的情况下也是有效的。

另外，与上述被分配的通信频带相应的影像数据的传送处理的切换也可以由相机ex102基于被通知的通信频带进行，也可以由影像信息处理装置ex101决定各相机ex102的动作，将表示所决定的动作的控制信号向各相机ex102通知。由此，能够根据动作的切换的判定所需要的计算量、相机ex102的处理能力及需要的通信频带等，适当地进行处理的分担。

(变形例10)

解析部ex112也可以基于从影像接收装置ex103发送的视野信息(及/或视点信息)来判定影像数据的重要度。例如，解析部ex112将较多地包含视野信息(及/或视点信息)所表示的区域的摄影影像数据的重要度设定得高。此外，解析部ex112也可以考虑影像中包含的人的数量或移动物体的数量来判定影像数据的重要度。另外，重要度的判定方法并不限于此。

另外，在本实施方式中说明的通信控制方法不一定需要在根据多个影像数据进行三维形状的重构的系统中使用。例如只要是在存在多个相机ex102的环境中，有选择地或对传送速度赋予差别并通过有线通信及/或无线通信发送影像数据的情况，则在本实施方式中说明的通信控制方法就是有效的。

(变形例11)

在影像分发系统中，影像信息处理装置ex101也可以将表示摄影场景整体的概览影像向影像接收装置ex103发送。

具体而言，影像信息处理装置ex101在接收到从影像接收装置ex103发送的分发请求的情况下，从保存部ex111读出施设内或体育场内整体的概览影像，将该外观影像发送给影像接收装置ex103。该概览影像既可以更新间隔长(既可以是低帧速率)，此外也可以画质低。视听者在显示在影像接收装置ex103的画面上的概览影像中，触摸想要观看的部分。由此，影像接收装置ex103将与被触摸的部分对应的视野信息(及/或视点信息)发送给影像信息处理装置ex101。

影像信息处理装置ex101从保存部ex111读出与视野信息(及/或视点信息)相应的影像数据，将该影像数据发送给影像接收装置ex103。

此外，解析部ex112通过对由视野信息(及/或视点信息)表示的区域优先地进行三维形状的复原(三维重构)，生成自由视点影像。解析部ex112以表示概览的程度的精度复原施设内或体育场内整体的三维形状。由此，影像信息处理装置ex101能够有效地进行三维形状的复原。结果，能够实现视听者想要观看的区域的自由视点影像的高帧速率化及高画质。

(变形例12)

另外，影像信息处理装置ex101例如也可以将根据设计图面等事前生成的施设或体育场的三维形状复原数据作为事前影像而预先保存。另外，事前影像并不限于此，也可以是将从深度传感器得到的空间的凹凸、和从过去或校准时的图像或影像数据导出的图片按每个目标进行了映射的虚拟空间数据。

例如，在体育场中进行足球赛的情况下，解析部ex112也可以仅限于选手及球进行三维形状的复原，通过将得到的复原数据与事前影像合成来生成自由视点影像。或者，解析部ex112也可以对选手及球优先地进行三维形状的复原。由此，影像信息处理装置ex101能够有效地进行三维形状的复原。结果，能够实现与视听者关注的选手及球有关的自由视点影像的高帧速率化及高画质化。此外，在监视系统中，解析部ex112也可以仅限于人物及移动物体、或以它们为优先来进行三维形状的复原。

(变形例13)

各装置的时刻也可以基于服务器的基准时刻等，在摄影开始时进行校准。解析部ex112根据由多台相机ex102拍摄的多个摄影影像数据中的时刻设定的精度，使用在属于预先设定的时间范围内的时刻拍摄的多个影像数据进行三维形状的复原。在该时刻的检测中，使用例如摄影影像数据被保存到保存部ex111中的时刻。另外，时刻的检测方法并不限于此。由此，影像信息处理装置ex101能够有效地进行三维形状的复原，所以能够实现自由视点影像的高帧速率化及高画质化。

或者，解析部ex112也可以使用保存在保存部ex111中的多个影像数据中的高画质数据或优先地使用高画质数据，进行三维形状的复原。

(变形例14)

解析部ex112也可以使用相机属性信息进行三维形状的复原。例如，解析部ex112也可以使用相机属性信息，通过视觉体积交叉法或多视角立体法等方法生成三维影像。在此情况下，相机ex102将摄影影像数据和相机属性信息发送给影像信息处理装置ex101。相机属性信息例如是摄影位置、摄影角度、摄影时刻或缩放倍率等。

由此，影像信息处理装置ex101能够有效地进行三维形状的复原，所以能够实现自由视点影像的高帧速率化及高画质化。

具体而言，相机ex102在施设内或体育场内定义三维坐标，将相机ex102在哪个时间从哪个角度以何种程度的缩放拍摄了哪个附近的坐标这样的信息与影像一起作为相机属性信息发送给影像信息处理装置ex101。此外，在相机ex102启动时，取得施设内或体育场内的通信网络上的时钟与相机内的时钟的同步，生成时间信息。

此外，通过在相机ex102的启动时或任意的定时使相机ex102朝向施设内或体育场内的特定的点，取得相机ex102的位置及角度信息。图9是表示在相机ex102的启动时在相机ex102的画面上显示的通知的一例的图。如果用户按照该通知，将显示在画面中央的“+”对准于处于体育场北侧的广告中的足球中心的“+”，并触摸相机ex102的显示器，则相机ex102取得从相机ex102到广告的向量信息，确定相机位置及角度的基准。然后，根据相机ex102的动作信息来确定其时时刻刻的相机坐标及角度。当然，并不限于该显示，也可以采用使用箭头等在摄影期间中也指示坐标、角度或摄影区域的移动速度等的显示。

相机ex102的坐标的确定，既可以使用GPS、WiFi(注册商标)、3G、LTE(Long TermEvolution)及5G(无线LAN)的电波进行，也可以利用信标(Bluetooth(注册商标)，超声波)等近距离无线来进行。此外，也可以使用摄影影像数据到达了施设内或体育场内的哪个基站这样的信息。

(变形例15)

该系统也可以被提供为在智能电话等移动终端上动作的应用。

在向上述系统的登录中，也可以使用各种SNS等的帐户。另外，也可以使用应用专用的帐户或功能被限制的访客帐户。通过这样使用帐户，能够评价喜欢的影像或喜欢的帐户等。此外，通过对与拍摄中或视听中的影像数据类似的影像数据、与摄影中或视听中的影像数据的视点类似的视点的影像数据等优先地分配频带，能够提高这些影像数据的分辨率。由此，能够精度更好地进行从这些视点的三维形状的复原。

此外，用户通过在该应用中选择喜欢的图像影像并追随对方，能够比其他用户更优先地看到所选择的图像、或以对方的认可等为条件用文本聊天等取得联系。这样，能够实现新的社区的生成。

这样，通过用户彼此在社区内联系，拍摄本身还有所拍摄的图像的共享等活跃化，能够促进精度更高的三维形状的复原。

此外，根据社区内的联系的设定，用户能够将他人拍摄的图像或影像进行编辑、或将他人的图像与自己的图像拼接而制作新的图像或影像。由此，能够将新的图像或影像在该社区内的人之间分享等，实现新的影像作品的分享。此外，通过在该编辑中插入CG角色等，对扩展现实(Augmented Reality)的游戏等也能够利用影像作品。

此外，根据该系统，由于能够依次输出三维模型数据，所以能够基于进球场景等的特征性的场景下的三维模型数据，由施设所具有的3D打印机等输出立体目标。由此，还能够在比赛后将基于该比赛中的场景的目标作为钥匙链那样的纪念品进行销售，或分发给参加用户。当然，作为通常的照片，还能够印刷从最好的视点的图像。

(变形例16)

使用上述系统，例如能够根据警察的车载相机及警官的可穿戴相机的影像等，在与该系统连接的中心对地域整体的大致的状态进行管理。

在通常的巡逻时，例如每隔几分钟进行静止图像的收发。此外，中心根据基于使用过去的犯罪数据等分析得到的结果的犯罪图，确定犯罪发生的可能性高的地域，或者保持着这样确定的与犯罪发生概率关联的地域数据。在所确定的犯罪发生概率高的地域中，也可以提高图像的收发频度或将图像变更为运动图像。此外，在事件发生时，也可以采用使用运动图像或SfM等的三维重构数据。此外，通过由中心或各终端同时使用深度传感器或热传感器等其他传感器的信息对图像或虚拟空间进行修正，警官能够更正确地掌握状况。

此外，中心通过使用三维重构数据，能够向多个终端反馈该目标的信息。由此，持有各终端的各个人能够跟踪目标。

此外，最近，以建造物或环境的调查、或体育等的有临场感的摄影等目的，进行借助四轴飞行器、无人机等的可飞行的装置的从空中的摄影。这样的借助自律移动装置的摄影中，图像抖动容易成为问题，但SfM能够一边通过位置及倾斜对该抖动进行修正一边进行三维化。由此，能够实现画质的提高及空间的复原精度的提高。

此外，拍摄车外的车载相机的设置根据国家而被赋予了义务。在这样的车载相机中，也通过使用从多个图像进行模型化而得到的三维数据，能够精度更好地掌握行进目的地的方向的天气及路面的状态、以及拥堵程度等。

(变形例17)

上述系统例如也能够适用于利用多台相机进行建筑物或设备的测距或建模的系统。

这里，例如在使用1台无人机从上空拍摄建筑物、进行建筑物的测距或建模的情况下，存在因在测距中移动物体映入到相机中而测距的精度下降的问题。此外，存在不能进行移动物体的测距及建模的问题。

另一方面，通过如上述那样使用多台相机(固定相机、智能电话、可穿戴相机及无人机等)，不论是否有移动物体，都能够以稳定的精度实现建筑物的测距及建模。此外，能够实现移动物体的测距及建模。

具体而言，例如在建筑现场在作业员的头盔等上安装相机。由此，能够与作业员的作业并行地进行建筑物的测距。此外，还能够用于作业的高效率化及失误防止。此外，能够使用由作业员所佩戴的相机拍摄的影像对建筑物进行建模。进而，处于远处的管理者能够通过观看所建模的建筑物，来确认进展状况。

此外，该系统可以用于工厂或发电站的机械等不能停止的设备的检修。此外，该系统可以在对桥或水坝的开闭、或游乐园的乘坐物的动作等中是否没有异常进行检查的情况下使用。

此外，通过用该系统监视道路的拥堵状况或交通量，能够生成表示各时间段的道路的拥堵状况或交通量的地图。

(实施方式4)

通过将用来实现在上述各实施方式中表示的图像处理方法的结构的程序记录到存储介质中，能够在独立的计算机系统中简单地实施在上述各实施方式中表示的处理。存储介质可以是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中表示的图像处理方法的应用例和使用它的系统。该系统的特征在于具有使用图像处理方法的装置。关于系统中的其他结构，根据情况可以适当地变更。

图10是表示实现内容分发服务的内容供给系统ex200的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置作为固定无线站的基站ex206、ex207、ex208、ex209、ex210。

该内容供给系统ex200在因特网ex201上经由因特网服务提供商ex202及通信网ex204、以及基站ex206到ex210连接着计算机ex211、PDA(Personal Digital Assistant)ex212、相机ex213、智能电话ex214、游戏机ex215等各设备。

但是，内容供给系统ex200并不限定于图10那样的结构，也可以将某些要素组合而连接。此外，也可以不经由作为固定无线站的基站ex206到ex210，而各设备直接连接在电话线、有线电视或光通信等的通信网ex204上。此外，各设备也可以经由近距离无线等直接相互连接。

相机ex213是数字摄像机等的能够进行运动图像摄影的设备，相机ex216是数字相机等的能够进行静止图像摄影、运动图像摄影的设备。此外，便携电话ex214是与GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或者LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)、或利用高频带的通信方式等对应的智能电话机或PHS(Personal Handyphone System)等，可以是任何一种。

在内容供给系统ex200中，通过将相机ex213等经由基站ex209、通信网ex204连接在流媒体服务器ex203上，能够进行现场转播等。在现场转播中，对用户使用相机ex213拍摄的内容(例如音乐会现场的影像等)进行编码处理，发送给流媒体服务器ex203。另一方面，流媒体服务器ex203将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够对上述编码处理后的数据进行解码的计算机ex211、PDAex212、相机ex213、智能电话ex214、游戏机ex215等。在接收到分发的数据的各设备中，将接收到的数据进行解码处理并再现。

另外，所拍摄的数据的编码处理既可以由相机ex213进行，也可以由进行数据的发送处理的流媒体服务器ex203进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex203进行，也可以相互分担进行。此外，并不限定于相机ex213，也可以将由相机ex216拍摄的静止图像及/或运动图像数据经由计算机ex211发送给流媒体服务器ex203。此情况下的编码处理由相机ex216、计算机ex211、流媒体服务器ex203中的哪一个进行都可以，也可以相互分担进行。进而，关于解码后的图像的显示，也既可以与系统相连的多个设备联动地显示相同的图像，也可以由具有大的显示部的装置显示整体的图像，由智能电话ex214等将图像的一部分区域放大显示。

此外，这些编码·解码处理一般在计算机ex211或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多芯片构成的结构。另外，也可以将图像编码·解码用的软件装入到能够由计算机ex211等读取的某些记录介质(CD－ROM、软盘、硬盘等)中，使用该软件进行编码·解码处理。进而，在智能电话ex214带有相机的情况下，也可以发送由该相机取得的运动图像数据。此时的运动图像数据是由智能电话ex214具有的LSIex500进行编码处理后的数据。

此外，流媒体服务器ex203也可以是多个服务器或多个计算机，并且用于将数据分散处理、记录、及分发。

如以上这样，在内容供给系统ex200中，客户端能够接收编码的数据并再现。这样，在内容供给系统ex200中，客户端能够将用户发送的信息实时地接收并解码、再现，即使是不具有特别的权利或设备的用户也能够实现个人广播。

另外，并不限于内容供给系统ex200的例子，如图11所示，对于数字广播用系统ex300也能够应用上述各实施方式。具体而言，在广播站ex301中，将在影像数据中复用了音乐数据等的复用数据经由电波进行通信或向卫星ex302传送。该影像数据是通过在上述各实施方式中说明的运动图像编码方法编码而得到的数据。接收到该数据的广播卫星ex302发送广播用的电波，由能够进行卫星广播的接收的家庭的天线ex304接收该电波。电视机(接收机)ex400或机顶盒(STB)ex317等装置将接收到的复用数据进行解码并再现。

此外，在将记录在DVD、BD等记录介质ex315或SD等存储器ex316中的复用数据读取并解码、或者将影像信号编码进而根据情况而与音乐数据复用而写入记录介质ex315或存储器ex316中的读取器/记录器ex318中，也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，将再现的影像信号显示在监视器ex319上，通过记录有复用数据的记录介质ex315或存储器ex316，能够在其他装置或系统中再现影像信号。此外，也可以在与有线电视用的线缆ex303或卫星/地面波广播的天线ex304连接的机顶盒ex317内安装运动图像解码装置，将其在电视机的监视器ex319上显示。此时，也可以不是在机顶盒、而在电视机内装入图像解码装置。

图12是表示智能电话ex214的图。此外，图13是表示智能电话ex214的结构例的图。智能电话ex214具有用来在与基站ex210之间收发电波的天线ex450、能够拍摄影像、静止图像的相机部ex465、显示将由相机部ex465拍摄的影像、由天线ex450接收到的影像等进行解码而得到的数据的液晶显示器等显示部ex458。智能电话ex214还具备作为操作面板等的操作部ex466、用来输出声音的作为扬声器等的声音输出部ex457、用来输入声音的作为麦克风等的声音输入部ex456、能够将拍摄的影像、静止图像、录音的声音、或接收到的影像、静止图像、邮件等的编码后的数据或解码后的数据进行保存的存储器部ex467或图11所例示的存储器ex316、或者作为与确定用户、并用来以网络为代表进行向各种数据的访问的认证的SIMex468的接口部的插槽部ex464。

智能电话ex214对于综合控制显示部ex458及操作部ex466等的主控制部ex460，将电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、相机接口部ex463、LCD(Liquid Crystal Display)控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464、存储器部ex467经由总线ex470相互连接。

电源电路部ex461，如果通过用户的操作而通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，使智能电话ex214启动为能够动作的状态。

智能电话ex214基于具有CPU、ROM及RAM等的主控制部ex460的控制，在语音通话模式时将由声音输入部ex456集音的声音信号通过声音信号处理部ex454变换为数字声音信号，将其用调制/解调部ex452进行波谱扩散处理，由发送/接收部ex451实施数字模拟变换处理及频率变换处理之后经由天线ex450发送。此外，智能电话ex214在语音通话模式时，将经由天线ex450接收到的接收数据放大而实施频率变换处理及模拟数字变换处理，由调制/解调部ex452进行波谱逆扩散处理，由声音信号处理部ex454变换为模拟声音信号后，将其从声音输出部ex457输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作部ex466等的操作输入的电子邮件的文本数据经由操作输入控制部ex462向主控制部ex460送出。主控制部ex460将文本数据用调制/解调部ex452进行波谱扩散处理，在由发送/接收部ex451实施数字模拟变换处理及频率变换处理后经由天线ex450向基站ex210发送。在接收电子邮件的情况下，对接收到的数据进行上述处理的大致逆处理，向显示部ex458输出。

在数据通信模式时发送影像、静止图像或影像和声音的情况下，影像信号处理部ex455将从相机部ex465供给的影像信号通过在上述各实施方式中表示的运动图像编码方法进行压缩编码，将编码后的影像数据向复用/分离部ex453送出。此外，声音信号处理部ex454将在由相机部ex465拍摄影像、静止图像等的过程中由声音输入部ex456集音的声音信号进行编码，将编码后的声音数据向复用/分离部ex453送出。

复用/分离部ex453通过规定方式将从影像信号处理部ex455供给的编码后的影像数据和从声音信号处理部ex454供给的编码后的声音数据进行复用，将其结果得到的复用数据通过调制/解调部(调制/解调电路部)ex452进行波谱扩散处理，在由发送/接收部ex451实施数字模拟变换处理及频率变换处理后经由天线ex450发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下、或接收到附加了影像及/或声音的电子邮件的情况下，为了将经由天线ex450接收到的复用数据进行解码，复用/分离部ex453通过将复用数据分离而分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455供给，并将编码后的声音数据向声音信号处理部ex454供给。影像信号处理部ex455通过利用与在上述各实施方式中表示的运动图像编码方法对应的运动图像解码方法进行解码，将影像信号进行解码，并经由LCD控制部ex459从显示部ex458显示例如链接到主页上的运动图像文件中包含的影像、静止图像。此外，声音信号处理部ex454将声音信号进行解码，从声音输出部ex457输出声音。

此外，上述智能电话ex214等终端与电视机ex400同样，除了具有编码器、解码器双方的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端这3种安装形式。进而，在数字广播用系统ex300中，设为接收、发送在影像数据中复用了音乐数据等的复用数据而进行了说明，但也可以是除声音数据以外还复用了与影像关联的字符数据等的数据，也可以不是复用数据而是影像数据本身。

此外，本发明并不限定于上述实施方式，在能够不脱离本发明的范围而进行各种变形或修正。

产业上的可利用性

本发明能够适用于包括用来从多视点拍摄在三维空间重构中使用的同一场面的影像的多台摄像装置的视点摄像系统。

标号说明

10、10A～10N 摄像装置

11、11A～11N 摄像装置

100 相机

101 存储部

102 控制部

102a 相机校正部

103 光学系统

104 图像传感器

105、125 运动传感器

106、126 动作检测部

107、147 集音器

120 架台

160 状况感知部

200 控制装置

201 存储部

202 控制部

202a 事件检测部

202b 相机校正指示部

203 定时器

302a 模型生成部

402a 视点决定部

402b 绘制部

402c 场景解析部

402d 跟踪部

500 用户接口

1000、1001 多视点摄像系统

3000 三维空间重构装置

4000 三维空间识别装置

5000 用户设备