即时预览控制装置、即时预览控制方法、即时预览系统及程序

摘要

本发明的一方式所涉及的即时预览控制装置具备：显示控制部(244)，将从多个摄像装置接收的多个即时预览图像的每一个分别显示于显示画面的多个区域；优先顺序设定部(234)，设定多个即时预览图像的优先顺序；转送条件设定部(236)，根据多个即时预览图像的优先顺序，设定包含多个即时预览图像的转送的帧速率及转送的图像尺寸中的至少一个的转送条件；及通信控制部(246)，经由无线通信部向多个摄像装置发送基于所设定的转送条件的即时预览图像的转送命令。

说明书

技术领域

本发明涉及一种即时预览控制装置、即时预览控制方法、即时预览系统及程序，尤其涉及一种通过无线通信从多个摄像装置接收多个即时预览图像的即时预览控制装置、即时预览控制方法、即时预览系统及程序。

背景技术

在具有拍摄被摄体并记录拍摄图像的摄影功能的摄像装置中，已知在特定条件下降低显示即时预览图像的帧速率的技术。专利文献1中公开有如下技术，即，摄像装置中，检测到用户欲摄影被摄体的情况时，通过提高显示即时预览图像的帧速率来避免错过快门机会，检测到用户并没有要摄影被摄体的意愿时，降低显示即时预览图像的帧速率来抑制耗电。专利文献2中公开有如下技术，即，摄像装置中，连拍时通过降低显示即时预览图像的帧速率来减轻包括内部总线的整个处理系统的负荷。

并且，专利文献3中公开有如下技术，即，以缩短被摄体的移动的检测处理时间为目的，显示即时预览图像的帧速率的值越大，将被摄体的移动检测范围设定为越窄。

并且，已知有通过无线通信从多个终端装置接收多个图像来制作及显示多画面图像的技术。专利文献4中公开有根据多个终端的优先顺序切换终端设备的连接的技术。

现有技术文献

专利文献

专利文献1：日本特开2013-150159号公报

专利文献2：日本特开2003-244529号公报

专利文献3：日本特开2011-082901号公报

专利文献4：日本特开2014-038336号公报

发明内容

发明要解决的技术课题

要求通过智能手机、平板电脑终端等用户终端接收从多个摄像装置通过无线通信发送的多个即时预览图像，并将多个即时预览图像显示于显示画面(以下，称为“多重即时预览”)。

然而，随着发送即时预览图像的摄像装置的数量的增加，从多个摄像装置至用户终端的多个即时预览图像的转送负荷及用户终端中的多个即时预览图像的处理负荷增加，因此有时用户终端中的显示即时预览图像的实际帧速率下降。即，由于通过无线通信连接的摄像装置的数量的增加，产生多重即时预览的显示图像品质下降的问题。

上述的专利文献1～4并未着眼于这种多重即时预览中的显示图像品质下降的问题，即使将专利文献1～4记载的技术适用于多重即时预览中，也无法解决上述问题。

专利文献1、2仅公开了控制显示即时预览图像的帧速率的技术，原本就欠缺减轻多个摄像装置与用户终端之间的无线通信的转送负荷的观点。并且，根据专利文献1记载的技术，有时虽然是重要的即时预览图像，但显示的帧速率也会下降。根据专利文献2记载的技术，非连拍摄影的即时预览时始终维持显示的帧速率来避免其下降。

专利文献3虽然提及了被摄体的移动与显示的帧速率之间的关系，但起初就没有与减轻多个摄像装置与用户终端之间的无线通信的转送负荷相关的公开及启示。

专利文献4虽然公开了对多个终端设定优先顺序的内容，但并未公开及启示对多个即时预览图像设定优先顺序。

多重即时预览中，有时与多个摄像装置之间的不同点(例如，机种的不同、摄影性能的不同)无关地在多个即时预览图像之间存在重要性的高低差。因此，即使采用利用专利文献4记载的技术并根据多个摄像装置之间的不同点而在多个摄像装置之间设定优先顺序的结构，也存在重要性较高的即时预览图像的帧速率下降的情况，因此可以说很难可靠地维持重要性较高的即时预览图像的显示品质。

本发明是鉴于上述情况而完成的，其目的在于提供一种通过无线通信接收并显示通过多个摄像装置拍摄的多个即时预览图像时，即使摄像装置的数量增加也能够维持重要性较高的即时预览图像的显示品质并且减轻负荷的即时预览控制装置、即时预览控制方法、即时预览系统及程序。

用于解决技术课题的手段

本发明的一方式涉及一种即时预览控制装置，其具备：无线通信部，通过无线通信从多个摄像装置接收多个即时预览图像；显示控制部，将从多个摄像装置接收的多个即时预览图像的每一个分别显示于能够显示图像的显示画面的多个区域；优先顺序设定部，在多个即时预览图像之间设定多个即时预览图像的优先顺序；转送条件设定部，根据多个即时预览图像的优先顺序，设定包含多个即时预览图像的转送的帧速率及转送的图像尺寸中的至少一个的转送条件；及通信控制部，经由无线通信部将通过转送条件设定部设定的转送条件发送至多个摄像装置。

根据本方式，根据在多个即时预览图像之间设定的优先顺序，设定包含多个即时预览图像的转送的帧速率及转送的图像尺寸中的至少一个的转送条件并发送至多个摄像装置，因此即使通过无线通信连接的摄像装置的数量增加，也能够维持在多个即时预览图像中重要性较高的即时预览图像的显示图像品质的同时减轻负荷。

本发明的一方式中，优先顺序设定部根据多个即时预览图像的显示方式及显示情况中的至少一个设定多个即时预览图像的优先顺序。

根据本方式，能够根据多个即时预览图像的显示方式及多个即时预览图像的显示情况中的至少一个，自动设定多个即时预览图像的优先顺序，因此能够可靠地维持多个即时预览图像中重要性较高的即时预览图像的显示图像品质。存在显示方式的变更时，自动设定多个即时预览图像的优先顺序，可靠地维持重要性较高的即时预览图像的显示图像品质。显示情况发生变化时，自动设定多个即时预览图像的优先顺序，可靠地维持重要性较高的即时预览图像的显示图像品质。

本发明的一方式中，优先顺序设定部根据即时预览图像的显示尺寸及显示位置中的至少一个设定即时预览图像的优先顺序。

根据本方式，可根据由用户设定的即时预览图像的显示尺寸及显示位置中的至少一个，自动设定多个即时预览图像的优先顺序。

本发明的一方式中，优先顺序设定部根据即时预览图像中是否存在预先规定的特定的被摄体图像、或即时预览图像中的被摄体图像为预先规定顺序的多个被摄体图像的哪一个来设定即时预览图像的优先顺序。

根据本方式，根据通过多个摄像装置拍摄并被转送的多个即时预览图像中的被摄体图像，自动设定多个即时预览图像的优先顺序。

本发明的一方式中，优先顺序设定部根据即时预览图像中是否存在动体图像、即时预览图像中的动体图像的大小及动体图像的移动速度中的至少一个设定即时预览图像的优先顺序。

根据本方式，根据通过多个摄像装置拍摄并被转送的多个即时预览图像中的动体图像，自动设定多个即时预览图像的优先顺序。

本发明的一方式中，具备：第1转送条件变更判定部，根据多个即时预览图像中从多个摄像装置接收且为特定优先顺序以上的一个或多个即时预览图像的实际帧速率及实际图像尺寸中的至少一个与阈值的比较结果，判定是否改变转送条件，转送条件设定部根据第1转送条件变更判定部的判定结果改变转送条件。

根据本方式，即使摄像装置的数量增加，也能够在准确地维持优先顺序较高的即时预览图像的显示图像品质的同时改变转送条件。

本发明的一方式中，具备：第2转送条件变更判定部，根据多个即时预览图像的实际帧速率及实际图像尺寸中的至少一个在多个摄像装置中的合计值与阈值的比较结果，判定是否改变转送条件，通过第2转送条件变更判定部判定为改变转送条件时，转送条件设定部改变转送条件。

根据本方式，即使摄像装置的数量增加，转送条件也根据多个即时预览图像的实际帧速率的合计值及实际图像尺寸中的至少一个在多个摄像装置中的合计值发生变化。

本发明的一方式中，具备：第3转送条件变更判定部，根据多个即时预览图像的实际帧速率及实际图像尺寸双方来判定是否改变转送条件，通过第3转送条件变更判定部判定为改变转送条件时，转送条件设定部改变转送条件。

根据本方式，转送条件考虑实际帧速率及图像尺寸双方而发生变化，因此帧速率较大而图像尺寸较小时，或者图像尺寸较大而帧速率较小时，也能够维持多个即时预览图像的显示图像品质。

本发明的一方式中，具备：显示方式命令输入部，接受即时预览图像的显示尺寸及显示位置中的至少一个的命令输入。

本发明的一方式中，具备：优先顺序命令输入部，接受多个即时预览图像的优先顺序的命令输入。

根据本方式，用户直接命令输入多个即时预览图像的优先顺序时，也能够维持多个即时预览图像的显示图像品质。

本发明的一方式涉及一种具备摄像装置及即时预览控制装置的即时预览系统。

本发明的一方式涉及一种即时预览控制方法，其包含：通过无线通信从多个摄像装置接收多个即时预览图像的步骤；将从多个摄像装置接收的多个即时预览图像的每一个分别显示于能够显示图像的显示画面的多个区域的步骤；在多个即时预览图像之间设定多个即时预览图像的优先顺序的优先顺序设定步骤；根据多个即时预览图像的优先顺序，设定包含多个即时预览图像的转送的帧速率及转送的图像尺寸中的至少一个的转送条件的转送条件设定步骤；及通过无线通信向多个摄像装置发送所设定的转送条件的步骤。

本发明的一方式中，优先顺序设定步骤中，根据多个即时预览图像的显示方式及显示情况中的至少一个设定多个即时预览图像的优先顺序。

本发明的一方式中，优先顺序设定步骤中，根据即时预览图像的显示尺寸及显示位置中的至少一个设定即时预览图像的优先顺序。

本发明的一方式中，优先顺序设定步骤中，根据即时预览图像中是否存在预先规定的特定的被摄体图像、或即时预览图像中的被摄体图像为预先规定顺序的多个被摄体图像的哪一个来设定即时预览图像的优先顺序。

本发明的一方式中，优先顺序设定步骤中，根据即时预览图像中是否存在动体图像、即时预览图像中的动体图像的大小及动体图像的移动速度中的至少一个，设定即时预览图像的优先顺序。

本发明的一方式中，具备：第1判定步骤，根据多个即时预览图像中从多个摄像装置接收且为特定的优先顺序以上的一个或多个即时预览图像的实际帧速率及实际图像尺寸中的至少一个与阈值的比较结果，判定是否改变转送条件，根据第1判定步骤的判定结果改变转送条件。

本发明的一方式中，具备：第2判定步骤，根据多个即时预览图像的转送的帧速率及转送的图像尺寸中的至少一个在多个摄像装置中的合计值与阈值的比较结果，判定是否改变转送条件，在根据第2判定步骤判定为改变转送条件的情况下，改变转送条件。

本发明的一方式中，具备：第3判定步骤，根据多个即时预览图像的实际帧速率及实际图像尺寸双方，判定是否改变转送条件，根据第3判定步骤的判定结果改变转送条件。

本发明的一方式涉及一种程序，其使计算机执行如下步骤：通过无线通信从多个摄像装置接收多个即时预览图像的步骤；将从多个摄像装置接收的多个即时预览图像的每一个分别显示于能够显示图像的显示画面的多个区域的步骤；在多个即时预览图像之间设定多个即时预览图像的优先顺序的优先顺序设定步骤；根据多个即时预览图像的优先顺序，设定包含多个即时预览图像的转送的帧速率及转送的图像尺寸中的至少一个的转送条件的转送条件设定步骤；及通过无线通信向多个摄像装置发送所设定的转送条件的步骤。记录有该程序且能够计算机读取的非暂时性记录介质也包含在本发明的一方式中。

发明效果

根据本发明，通过无线通信接收并显示通过多个摄像装置拍摄的多个即时预览图像时，即使摄像装置的数量增加，也能够在维持重要性较高的即时预览图像的显示品质的同时减轻负荷。

附图说明

图1是表示包含多个摄像装置及智能手机的即时预览系统的一例的结构图。

图2是表示作为即时预览控制装置的一例的智能手机的硬件结构例的框图。

图3是表示本发明的即时预览控制装置的主要部分的结构例的框图。

图4是表示多重即时预览控制信息的一例的说明图。

图5是表示即时预览控制方法的第1实施例的流程的流程图。

图6是用于说明显示画面的说明图。

图7是用于说明布局(显示方式的一例)的设定的第1说明图。

图8是用于说明布局(显示方式的一例)的设定的第2说明图。

图9是用于说明布局(显示方式的一例)的设定的第3说明图。

图10是用于说明即时预览图像的修剪的说明图。

图11是即时预览控制方法的第1实施例中的即时预览图像显示例的说明图。

图12是表示即时预览图像的显示尺寸变更的变化的说明图。

图13是表示即时预览图像的显示位置变更的变化的说明图。

图14是即时预览图像的修剪范围变更的说明图。

图15是表示即时预览控制方法的第2实施例的流程的流程图。

图16是即时预览控制方法的第2实施例中的即时预览图像显示例的说明图。

图17是表示即时预览控制方法的第3实施例的流程的流程图。

图18是即时预览控制方法的第3实施例中的即时预览图像显示例的说明图。

图19是表示包含摄像装置及智能手机的即时预览系统的其他例的结构图

具体实施方式

以下，参考附图对本发明的实施方式进行说明。

[即时预览系统的结构]

图1是表示包含多个摄像装置10A、10B、10C及智能手机100的即时预览系统的一例的结构图。以下，有时将多个摄像装置10A、10B、10C中的至少一个称为“摄像装置10”。

本例中，多个摄像装置10A、10B、10C的每一个与智能手机100直接进行无线通信。

[智能手机的硬件结构例]

图2是表示图1所示的智能手机100的硬件结构的框图。

如图2所示，作为智能手机100的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(GlobalPositioning System、全球定位系统)接收部170、动作传感器部180、电源部190及主控制部101。并且，作为智能手机100的主要功能，具备进行经由基站装置与移动通信网的移动无线通信的无线通信功能。

无线通信部110根据主控制部101的命令，对容纳于移动通信网的基站装置进行无线通信。使用该无线通信，进行音频数据、图像数据等各种文件数据、电子邮件数据等的收发或Web数据和流数据等的接收。本例中，智能手机100的无线通信部110向摄像装置10发送各种操作用命令输入或从摄像装置10接收即时预览图像、记录用图像等。

显示输入部120是通过主控制部101的控制，显示图像(静态图像及动态图像)或字符信息等来视觉性地向用户传递信息、并且检测用户对所显示的信息的操作的所谓的触控面板，具备显示面板121与操作面板122。观赏3D图像时，优选显示面板121为3D显示面板。

显示面板121将LCD(Liquid Crystal Display、液晶显示器)、OELD(OrganicElectro-Luminescence Display、有机电激光显示)等用作显示设备。

操作面板122是以能够视觉辨认显示于显示面板121的图像的方式载置、并检测通过用户的手指或触控笔来操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将通过操作而产生的检测信号输出至主控制部101。接着，主控制部101根据所接收的检测信号检测显示面板121上的操作位置(坐标)。

如图1所示，智能手机100的显示面板121与操作面板122成为一体而构成显示输入部120，并配置成操作面板122完全覆盖显示面板121。采用该配置时，操作面板122可以对显示面板121外的区域也具备检测用户操作的功能。换言之，操作面板122可具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为显示区域)及针对除此以外的不与显示面板121重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，可使显示区域的大小与显示面板121的大小完全一致，但无需一定要使两者一致。并且，操作面板122可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体102的大小等适当设计。此外，作为在操作面板122中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一方式。

通话部130具备扬声器131和麦克风132，将通过麦克风132输入的用户的声音转换为能够在主控制部101中处理的音频数据来输出至主控制部101，或对通过无线通信部110或外部输入输出部160接收的音频数据进行解码而从扬声器131输出。并且，如图1所示，例如能够将扬声器131及麦克风132搭载于与设置有显示输入部120的面相同的面。

操作部140为使用键开关等的硬件键，接受来自用户的命令。例如，操作部140搭载于智能手机100的框体102的显示部的下部、下侧面，是用手指等按下时开启，手指离开时通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部150存储主控制部101的控制程序和控制数据、将通信对象的名称和电话号码等建立了对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据、已下载的内容数据，或临时存储流数据等。并且，存储部150由内置于智能手机的内部存储部151及具有装卸自如的外部存储器用的插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151与外部存储部152通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimediacardmicro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(Random Access Memory、随机存取存储器)、ROM(Read Only Memory、只读存取器)等存储介质来实现。

外部输入输出部160发挥与连结于智能手机100的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification、无线射频识别)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband、超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机100连结的外部设备，例如有：有/无线头戴式耳机话筒、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module、客户识别模块)/UIM(User Identity Module、用户识别模块)卡、经由语音/视频I/O(Input/Output、输入/输出)端子连接的外部语音/视频设备、无线连接的外部语音/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机100的内部的各构成要件、或将智能手机100的内部的数据传送至外部设备。

GPS接收部170根据主控制部101的命令接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测该智能手机100的包含纬度、经度、高度的位置。GPS接收部170在能够从无线通信部110或外部输入输出部160(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部180例如具备三轴加速度传感器等，根据主控制部101的命令，检测智能手机100的物理动向。通过检测智能手机100的物理动向，可检测智能手机100的移动方向或加速度。该检测结果被输出至主控制部101。

电源部190根据主控制部101的命令，向智能手机100的各部供给蓄积在电池(未图示)的电力。

主控制部101具备微处理器，根据存储部150所存储的控制程序或控制数据进行动作，统一控制智能手机100的各部。并且，主控制部101为了通过无线通信部110进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。

应用处理功能通过主控制部101根据存储部150所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部160来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。

并且，主控制部101具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)在显示输入部120显示影像等的图像处理功能。图像处理功能是指主控制部101对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部120的功能。

而且，主控制部101执行对显示面板121的显示控制及检测通过操作部140、操作面板122进行的用户操作的操作检测控制。

通过执行显示控制，主控制部101显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于使无法全部容纳于显示面板121的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。

并且，通过执行操作检测控制，主控制部101检测通过操作部140进行的用户操作，或者通过操作面板122接受对上述图标的操作或对上述窗口的输入栏输入字符串，又或者接受通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部101判定对操作面板122操作的位置是与显示面板121重叠的重叠部分(显示区域)，还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并具备控制操作面板122的感应区域或软件键的显示位置的触控面板控制功能。

并且，主控制部101还能够检测对操作面板122的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作，而是通过手指等描绘轨迹、或者同时指定多个位置、又或者组合这些来从多个位置针对至少一个描绘轨迹的操作。

相机部141为使用CMOS(Complementary Metal Oxide Semiconductor、互补金属氧化物半导体)或CCD(Charge Coupled Device、电耦合元件)等成像元件进行电子摄影的数码相机。并且，相机部141通过主控制部101的控制，能够将通过摄影获得的图像数据转换为例如JPEG(Joint Photographic coding Experts Group、联合图像专家小组)等压缩的图像数据并记录于存储部150，或者通过外部输入输出部160或无线通信部110输出。图1所示的智能手机100中，相机部141搭载于与显示输入部120相同的面，但相机部141的搭载位置并不限定于此，可搭载于显示输入部120的背面，或者也可以搭载有多个相机部141。另外，搭载有多个相机部141时，还能够切换供摄影的相机部141来单独进行摄影或者同时使用多个相机部141进行摄影。

并且，相机部141能够利用于智能手机100的各种功能中。例如，能够在显示面板121显示通过相机部141获取的图像，或者能够作为操作面板122的操作输入之一，利用相机部141的图像。并且，当GPS接收部170检测位置时，也能够参考来自相机部141的图像来检测位置。而且，还能够参考来自相机部141的图像，并不使用三轴加速度传感器或者与三轴加速度传感器同时使用来判断智能手机100的相机部141的光轴方向，或判断当前的使用环境。当然，也能够在应用软件内利用来自相机部141的图像。

本例中，经由网络等下载用于操作摄像装置10的应用软件并存储于存储部150，通过智能手机100的应用处理功能，通过使主控制部101根据所下载的应用软件进行动作，能够使通用的智能手机100作为用于操作摄像装置10的用户界面部(UI部)发挥功能。

图3是表示本发明的即时预览控制装置的主要部分的结构例的框图。图3中，智能手机100为本发明的即时预览控制装置的一例。

智能手机100的无线通信部110用作：图像输入部202，从多个摄像装置10接收(输入)多个即时预览图像；及命令输出部204，对多个摄像装置10发送(输出)转送条件等命令。

智能手机100的显示输入部120用作接受用户的命令输入的命令输入部212。命令输入部212构成本发明中的显示方式命令输入部的一例，接受多个即时预览图像的显示方式的命令输入(例如，为即时预览图像的显示尺寸及显示位置中的至少一个命令输入)。

智能手机100的主控制部101具备：显示方式设定部232，设定多个即时预览图像的显示方式；优先顺序设定部234，在多个即时预览图像之间设定多个即时预览图像的优先顺序；转送条件设定部236，根据多个即时预览图像的优先顺序，设定包含多个即时预览图像的转送的帧速率及转送的图像尺寸中的至少一个的转送条件；负荷检测部238，检测从摄像装置10至智能手机100的即时预览图像的转送的负荷(以下，简称为“转送负荷”)及智能手机100中的即时预览图像的处理负荷(以下，简称为“处理负荷”)中的至少一个负荷；转送条件变更判定部240，根据通过负荷检测部238检测出的负荷，判定是否改变对多个摄像装置10设定的转送条件；图像处理部242，对从多个摄像装置10接收的即时预览图像进行图像处理；显示控制部244，将从多个摄像装置10接收的多个即时预览图像的每一个分别显示于显示面板121(为能够显示图像的显示画面的一例)的多个区域；显示情况检测部246，检测即时预览图像的显示情况；通信控制部248，经由无线通信部110向多个摄像装置10发送通过转送条件设定部236设定的转送条件及即时预览图像的转送命令；及执行控制部250，根据存储于存储部150的程序控制智能手机100的各部中的处理的执行。

接着，对基于智能手机100的优先顺序设定部234的优先顺序的设定方式进行说明。智能手机100的优先顺序设定部234根据多个即时预览图像的显示方式及显示情况中的至少一个，设定多个即时预览图像的优先顺序。本说明书中，显示方式表示由显示控制部244将即时预览图像显示于显示面板121的方式。本说明书中，显示情况表示通过显示控制部244的控制实际显示于显示面板121的即时预览图像的显示情况。

作为即时预览图像的显示方式，可举出以下的例子。

·即时预览图像的显示尺寸。

·即时预览图像的显示位置。

·是否放大显示即时预览图像。或者放大率。

·是否模糊显示即时预览图像。或者模糊比。

·是否强调显示即时预览图像。例如是否为背光显示区域。

·有无显示即时预览图像的呈现效果。或者呈现效果的种类。

作为即时预览图像的显示情况，可举出以下的例子。

·即时预览图像中的特定的被摄体图像的有无。

·即时预览图像中的被摄体图像的重要性(例如，预先规定的被摄体图像之间的顺序)。

·即时预览图像中的动体图像的有无、大小及移动速度中的至少一个。

·即时预览图像中的背景。

·即时预览图像的连续显示时间。

即时预览图像的显示方式有通过显示方式设定部232从用户接受设定输入的情况与自动设定的情况。

即时预览图像的显示情况有通过显示情况检测部246从即时预览图像检测的情况与由摄像装置10从附加于即时预览图像的信息检测的情况。包括用户根据所显示的即时预览图像判断显示情况来向智能手机100输入与显示情况对应的信息的情况。

另外，即时预览图像的显示方式及显示情况并不特别限定于上述的例子。

接着，对基于智能手机100的转送条件变更判定部240的转送条件变更的判定方式进行说明。

第1判定方式中，转送条件变更判定部240作为本发明中的第1转送条件变更判定部发挥功能，根据多个即时预览图像中为特定的优先顺序以上的即时预览图像的实际帧速率(为测定值)与阈值的比较结果，判定是否改变转送条件。也可以仅对最高优先顺序的即时预览图像的实际帧速率与阈值进行比较。优选转送条件变更判定部240还作为本发明的第3转送条件变更判定部发挥功能，根据实际帧速率(为测定值)及实际图像尺寸(为测定值)双方进行上述判定。并且，本发明包括仅根据实际图像尺寸进行上述判定的情况。

其中，转送负荷或处理负荷较高时，“实际帧速率”及“实际图像尺寸”有与对摄像装置10设定的帧速率及图像尺寸不同的情况。负荷检测部238通过监视从摄像装置10接收并显示于显示面板121为止的即时预览图像的帧速率及图像尺寸，检测实际帧速率及实际图像尺寸，并求出与阈值的比较结果。例如，“实际帧速率”及“实际图像尺寸”分别作为与对摄像装置10设定的帧速率(为设定值)及对摄像装置10设定的图像尺寸(为设定值)之间的差量(为相对值)来检测。优选积算实际帧速率与实际图像尺寸，在特定的优先顺序以上的即时预览图像中合计(总计)积算值，并比较合计值与阈值。也可仅对最高优先顺序的即时预览图像的积算值与阈值进行比较。

第2判定方式中，转送条件变更判定部240作为本发明的第2转送条件变更判定部发挥功能，在多个摄像装置10A、10B、10C的所有装置中合计(总计)多个即时预览图像的实际帧速率(为测定值)，并根据合计值与阈值的比较结果，判定是否改变转送条件。优选转送条件变更判定部240还作为本发明的第3转送条件变更判定部发挥功能，根据实际帧速率(为测定值)及实际图像尺寸(为测定值)双方进行上述判定。并且，本发明包括仅根据实际图像尺寸进行上述判定的情况。

图4表示通过智能手机100的主控制部101管理的多重即时预览控制信息的一例。图4的“摄像装置”一列的信息为，表示是图1所示的多个摄像装置10A、10B、10C中的哪一个的识别信息。图4的“即时预览图像”一列的信息为，表示是通过无线通信从图1所示的多个摄像装置10A、10B、10C接收的多个即时预览图像LV1、LV2、LV3中的哪一个的识别信息。图4的“显示方式”一列的信息表示各即时预览图像的显示方式的一例。本例的“显示方式”表示用户通过命令输入部212命令输入的显示尺寸及显示位置。图4的“显示情况”一列的信息表示即时预览图像的显示情况的一例。本例的“显示情况”通过显示情况检测部246从即时预览图像检测。图4的“优先顺序”一例的信息表示多个即时预览图像之间的优先顺序。本例的“优先顺序”通过优先顺序设定部234设定。如图4所示，有优先顺序为“1”、“2”、“2”的情况(即，在多个即时预览图像之间混合有不同优先顺序的组合与相同优先顺序的组合的情况)与优先顺序为“1”、“2”、“3”的情况(即，优先顺序在多个即时预览图像之间所有组合中均不同的情况)。图4的“转送条件”一例的信息为发送至多个摄像装置10A、10B、10C的每一个并通过各摄像装置设定的转送条件(设定值)。本例的转送条件通过转送条件设定部236设定。图4的“测定值”表示即时预览图像的实际转送及处理的状态(为负荷状态)。本例的“测定值”通过智能手机100的负荷检测部238测定。本例的“测定值”的大小与负荷(转送负荷及处理负荷)的大小对应。本说明书中，负荷越大，“测定值”就成为越小的值，但也可以以负荷越大成为越大的值的方式测定。当为后者时，需注意测定值与阈值之间的大小关系与本说明书的记载相反。

另外，图4中记载的多重即时预览控制信息为一例，用于控制多重即时预览的执行的信息并不特别限定于图4中记载的信息。

利用图5的流程图，对智能手机100中的即时预览控制方法的第1实施例的流程进行说明。图5中，智能手机100中的处理通过智能手机100的执行控制部250，根据存储于智能手机100的存储部150的程序执行。摄像装置10设为已打开电源开关并结束初始化的状态。

通过智能手机100的显示方式设定部232进行即时预览图像显示的布局(为显示方式的一例)的设定(步骤S102)。

例如，如图6所示，显示输入部120的显示面板121(为显示画面的一例)中显示包含即时预览图像显示区域121A、布局图案选择区域121B及摄像装置数选择区域121C的多重即时预览画面。即时预览图像显示区域121A包含显示从多个摄像装置10A～10C接收的多个即时预览图像LV1～LV3的每一个的多个区域(第1图像显示区域301、第2图像显示区域302、第3图像显示区域303)。另外，即时预览图像LV1～LV3在本步骤中为未显示。布局图案选择区域121B是与选择输入至摄像装置数选择区域121C的摄像装置数对应地显示可选择的布局的图案(形状)、并从用户接受布局图案的选择输入的区域。符号124～127为图标按钮。

在这种多重即时预览画面显示于显示输入部120的状态下，用户在摄像装置数选择区域121C内选择输入摄像装置的数量，且在布局图案选择区域121B内选择输入按摄像装置数预先确定的布局的图案，由此能够从图7所示的多个布局的图案(摄像装置数为1台时为图案311A；摄像装置数为2台时为图案312A、312B、312C、312D；摄像装置数为3台时为图案313A、313B、313C、313D、313E)中选择所希望的布局的图案。

例如，作为摄像装置的数量选择“3”，且选择符号313B的布局的图案(形状)时(以下，称为“布局3-2”)，如图8所示，进一步根据相对的帧位置的不同而考虑6个不同的布局。例如，将默认设为图8(1)的布局时，如图9所示，用户能够通过滑动操作替换即时预览图像的显示位置及显示尺寸。另外，即时预览图像LV1～LV3在本步骤中为未显示。根据布局的图案，也可仅替换显示尺寸或显示位置。

表示由用户选择的布局的布局信息存储于存储部150。其中，布局信息表示各即时预览图像的至少显示尺寸及显示位置的信息。

通过智能手机100的优先顺序设定部234，根据在步骤S102中选择的布局(为显示方式的一例)，在多个即时预览图像之间对多个摄像装置10A～10C设定分别与其对应的多个即时预览图像的优先顺序(步骤S104：为优先顺序设定步骤的一方式)。例如，如图4所示，对之后从摄像装置10A输入的即时预览图像LV1设定优先顺序1，对之后从摄像装置10B输入的即时预览图像LV2及之后从摄像装置10C输入的即时预览图像LV3设定优先顺序2。其中，优先顺序并不根据是从多个摄像装置10A、10B、10C中的哪一个输入来设定，而是根据多个即时预览图像LV1、LV2、LV3的布局(为显示方式的一例)设定。图4中，设定为优先顺序在多个即时预览图像的组合中的至少一部分组合之间不同。

通过智能手机100的转送条件设定部236设定从多个摄像装置10A～10C对智能手机100发送的多个即时预览图像的初始转送条件(步骤S106)。本步骤中，多个即时预览图像LV1、LV2、LV3中设定相同的帧速率及图像尺寸。即，假设通常负荷较小，与优先顺序无关地预先设定容许高转送量的转送条件。

判定智能手机100的命令输入部212中是否输入有通过多个摄像装置10A～10C进行的摄影的摄影准备命令(步骤S108)。例如，进行了图6的释放按钮图标125的第一次按压时，判定为输入有摄影准备命令。

摄影准备命令输入至智能手机100的命令输入部212时(步骤S108中为是时)，通过智能手机100的命令输出部204(无线通信部110)通过无线通信对多个摄像装置10A～10C发送(输出)摄影准备命令及初始转送条件(步骤S110)。

接收(输入)到摄影准备命令及初始转送条件的多个摄像装置10A～10C通过无线通信对智能手机100开始即时预览图像的发送(输出)。智能手机100的图像输入部202(无线通信部110)通过无线通信从多个摄像装置10A～10C接收(输入)多个即时预览图像。

智能手机100的执行控制部250判定是否已从多个摄像装置10A～10C的至少一个接收到即时预览图像(步骤S112)。

如图10所示，智能手机100的图像处理部242修剪所接收的即时预览图像LV0，提取显示用的即时预览图像LV(步骤S114)。

如图11所示，智能手机100的显示控制部244将多个即时预览图像LV1、LV2、LV3(相当于图10的LV)的每一个分别显示于显示输入部120的显示面板121的多个区域301、302、303(步骤S116)。

智能手机100的执行控制部250判定是否已进行即时预览图像显示的布局的变更(步骤S118)。图6所示的多重即时预览画面能够在显示有即时预览图像LV1、LV2、LV3的状态下进行即时预览图像显示的布局的变更。本例的显示方式设定部232通过多重即时预览画面接受布局的变更。

已进行即时预览图像显示的布局的变更时(步骤S118中为是)，根据被变更的布局重新设定优先顺序(步骤S120：为优先顺序设定步骤的一方式)。

智能手机100的转送条件变更判定部240对通过智能手机100的负荷检测部238检测出的即时预览图像转送的实际帧速率(测定值)及实际图像尺寸(测定值)中的至少一个与阈值进行比较，由此判定是否改变转送条件(步骤S122：为第1判定步骤、第2判定步骤及第3判定步骤的一方式)。

即时预览图像转送的实际帧速率小于阈值时(步骤S122中为是时)，通过智能手机100的转送条件设定部236，根据多个即时预览图像的优先顺序进行变更转送条件的设定(步骤S124：为转送条件设定步骤的一方式)。即，根据步骤S122的判定结果改变转送条件。例如，智能手机100的转送条件设定部236减小优先顺序为第2位以下的即时预览图像的转送的帧速率(为设定值)。

即，当从摄像装置10向智能手机100的即时预览图像的转送负荷及智能手机100中的即时预览图像的处理负荷中的至少一个负荷被判定为大到足以对用户带来即时预览图像的辨认的不适感时，将优先顺序较低的即时预览图像的转送条件变更为低转送量。例如，实际帧速率的阈值设定为20fps(frame per second)，且通过负荷检测部238检测出的实际帧速率(测定值)为15fps时，由于实际帧速率(15fps)小于阈值(20fps)，因此进行减小转送的帧速率(设定值)的变更。可与转送的帧速率一同变更转送的图像尺寸。本发明包含仅变更转送的图像尺寸的情况。

通过智能手机100的命令输出部204(无线通信部110)，通过无线通信对多个摄像装置10A～10C中需要的摄像装置(步骤S126)发送(输出)已变更的转送条件。

判定智能手机100的命令输入部212中是否输入有通过多个摄像装置10A～10C进行的摄影命令(步骤S128)。例如，在显示有即时预览图像的状态下，进行了图6的释放按钮图标125的按压时，判定为输入有摄影命令。

撮影命令输入至智能手机100的命令输入部212时(步骤S128中为是时)，通过智能手机100的命令输出部204(无线通信部110)，通过无线通信对多个摄像装置10A～10C发送(输出)摄影命令(步骤S130)。

多个摄像装置10A～10C中，进行被摄体的摄影。智能手机100的图像输入部202(无线通信部110)通过无线通信从多个摄像装置10A～10C接收(输入)多个摄影图像(步骤S132)。

智能手机100的执行控制部250在智能手机100的存储部150中记录多个摄影图像且在智能手机100的显示输入部120的显示面板121显示多个摄影图像中的至少任一个(步骤S134)。

＜显示尺寸及显示位置的其他命令输入例＞

利用图6～图9，对即时预览图像的显示尺寸及显示位置的命令输入的一方式进行了说明，但也可通过其他方式进行。

如图12所示，可通过用手指等触摸即时预览图像LV的显示区域的框并滑动来进行变更即时预览图像LV的显示尺寸的命令输入。

如图13所示，通过用手指等触摸即时预览图像LV的框内的区域并滑动来进行变更即时预览图像LV的显示位置的命令输入。

另外，如图6～图8所示，当为选择布局图案的方式时，通过选择布局图案来自动设定图10所示的修剪范围，但如图14所示，也可从用户接受变更即时预览图像的修剪范围的命令输入。图14所示的例子中，能够通过用手指等触摸即时预览图像LV的显示区域的框300并滑动，从自摄像装置10接收的即时预览图像LV0(原即时预览图像)变更所修剪的范围。

＜即时预览控制方法的其他实施例＞

图15是表示即时预览控制方法的第2实施例的流程的流程图。图15中，智能手机100中的处理通过智能手机100的执行控制部250，根据存储于智能手机100的存储部150的程序来执行。另外，摄像装置10设为已打开电源开关并结束初始化的状态。

步骤S202、S206、S208、S210及S212分别与图5所示的即时预览控制方法的第1实施例的步骤S102、S106、S108、S110及S112相同，在此省略说明。

其中，第2实施例与第1实施例(为根据多个即时预览图像的显示方式设定多个即时预览图像的优先顺序时的一例)不同，根据多个即时预览图像的显示情况设定多个即时预览图像的优先顺序。

步骤S213(为优先顺序设定步骤的一方式)中，智能手机100的优先顺序设定部234根据即时预览图像中是否存在预先规定的特定的被摄体图像(以下，称为“被摄体图像的有无”)及即时预览图像中的被摄体图像为预先规定顺序(表示多个被摄体图像之间的重要性的顺序)的多个被摄体图像的哪一个(以下，称为“被摄体图像的重要性”)中的至少一个判定条件，设定即时预览图像的优先顺序。例如，图16所示的显示画面中，通过脸部检测判定为在第1图像显示区域301中存在预先规定的被摄体图像或者存在重要性较高的被摄体图像。

步骤S214～S234与图5所示的即时预览控制方法的第1实施例的步骤S114～S116及S122～S134相同，在此省略说明。

图17是表示即时预览控制方法的第3实施例的流程的流程图。图17中，智能手机100中的处理通过智能手机100的执行控制部250，根据存储于智能手机100的存储部150的程序来执行。另外，摄像装置10设为已打开电源开关并结束初始化的状态。

步骤S302、S306、S308、S310及S312分别与图5所示的即时预览控制方法的第1实施例的步骤S102、S106、S108、S110及S112相同，在此省略说明。

其中，第3实施例与第1实施例(为根据多个即时预览图像的显示方式设定多个即时预览图像的优先顺序时的一例)不同，根据多个即时预览图像的显示情况设定多个即时预览图像的优先顺序。

步骤S313(为优先顺序设定步骤的一方式)中，智能手机100的优先顺序设定部234根据即时预览图像中是否存在动体图像(以下，称为“动体图像的有无”)、即时预览图像中的动体图像的大小及即时预览图像中的动体图像的移动速度中的至少一个判定条件，设定即时预览图像的优先顺序。例如，图18所示的显示画面中，通过检测动体，判定为第1图像显示区域301中存在动体图像。

步骤S314～S334与图5所示的即时预览控制方法的第1实施例的步骤S114～S116及S122～S134相同，在此省略说明。

[优先顺序的命令输入的变化]

将智能手机100的优先顺序设定部234根据多个即时预览图像的显示方式及显示情况中的至少一个、在多个即时预览图像之间设定多个即时预览图像的优先顺序的情况为例进行了说明，但本发明并不限定于这种情况。

可通过显示输入部120(命令输入部212)从用户接受多个即时预览图像的优先顺序的命令输入。例如，图11所示的画面中，对多个即时预览图像的显示区域301～303中的特定的显示区域(例如，符号303的显示区域)进行了特定的触摸操作(例如，双击)时，使进行了特定的触摸操作的显示区域(例如，符号303的显示区域)的即时预览图像的优先顺序高于其他显示区域(例如，符号301及302的显示区域)。可通过接受多个即时预览图像的每一个的识别信息(例如，识别编号)的输入来接受优先顺序的命令输入。也可通过操作部140接受优先顺序的命令输入。本变化中，显示输入部120及操作部140为本发明的优先顺序命令输入部的一例。

[系统结构的变化]

如图1所示，对将本发明适用于摄像装置10与作为即时预览控制装置的一例的智能手机100直接进行无线通信的第1无线通信方式的情况进行了详细说明，但也可将本发明适用于图19所示的第2无线通信方式中。

图19中，摄像装置10A、10B、10D与作为即时预览控制装置的一例的智能手机100经由访问点AP间接进行无线通信。这种即时预览系统中，作为即时预览图像的转送负荷，包含摄像装置10A、10B、10D与访问点AP之间的转送中的负荷、及访问点AP与智能手机100之间的转送中的负荷。并且，作为即时预览图像的转送负荷，施加有访问点AP中的对即时预览图像的处理负荷。本发明还能够适用于这种即时预览系统。

另外，图19的情况下，摄像装置10A、10B与摄像装置10D的机种不同。摄像装置10D为包含成像透镜及成像元件的摄像部能够向平摇方向及俯仰方向转动的云台摄像机。如此，摄像装置之间机种不同时，也能够适用本发明。

本发明并不特别限定于本说明书及附图中记载的例子，可在不脱离本发明宗旨的范围内，通过与本说明书及附图中记载的例子不同的方式实施。

符号说明

10(10A、10B、10C、10D)：摄像装置，100：智能手机(即时预览控制装置)，101：主控制部，110：无线通信部，120：显示输入部，121：显示面板，122：操作面板，202：图像输入部，204：命令输出部，212：命令输入部(显示方式命令输入部、优先顺序命令输入部)，232：显示方式设定部，234：优先顺序设定部，236：转送条件设定部，238：负荷检测部，240：转送条件变更判定部，242：图像处理部，244：显示控制部，246：显示情况检测部，248：通信控制部，250：执行控制部。