技术领域
本发明涉及用于摄影和视频监视的图像处理装置等。
背景技术
近年来，随着国际化的推进，许多游客开始访问日本。另外，在体育比赛中，对各国运动员的拍摄机会也显着增加。
然而，例如，在体育比赛的场景中，对于拍摄照片的专业摄影师和一般人，从许多运动员中找到特定的运动员是比较困难的。另外，尤其在体育比赛中，在比赛期间快速移动并且多个运动员相互交叉，因此经常看不到运动员的位置。这不限于体育比赛，并且当在人群中拍摄或监视特定人物等时，也会发生同样的情况。
专利文献1公开了从多个方向拍摄被摄体的多个照相机、以及从由多个照相机中的对应照相机拍摄的图像中提取预定区域的多个图像处理装置。另外，还公开了一种图像生成装置，其基于由多个图像处理装置从由多个照相机拍摄的图像中提取的预定区域的图像数据，来生成虚拟视点图像。
专利文献2公开了一种自动焦点检测装置，其基于从拍摄图像获取的AF评估值来驱动调焦透镜，并控制自动焦点检测。
引用列表
专利文献
专利文献1：日本特开2017-211828
专利文献2：日本特许5322629
发明内容
技术问题
然而，在许多运动员聚集在一起的运动场景等的情况下，运动员可能会重叠或者可能看不到运动员。另外，运动员可能在视野外，因此更加难以在适当的定时拍摄运动员。
此外，尽管特别是需要专业摄影师立即将拍摄的照片发送到新闻编辑室等，但是如果专业摄影师不知道判断结果，则需要时间来识别判断，这是缺点。
此外，即使摄影师找到了他或她期望拍摄的运动员，摄影师也需要在聚焦于他或她期望拍摄的运动员之后跟踪该运动员。在涉及快速移动的运动中，这种跟踪非常困难，并且如果摄影师专注于跟踪，则可能无法拍摄好的照片，这是缺点。
另外，尽管在服务器侧可以掌握全方位视频以及比赛和竞赛的场地的各种信息，并且可以获得运动场内外的各种有价值信息，但是传统系统存在没有充分利用服务器的问题。
同样，存在许多如下情况，其中，在竞技场中或在家中利用终端监视比赛的一般用户可能看不到特定运动员或者无法跟上比赛的状态。同样，在赛车、飞机竞赛、赛马等中，可能看不到诸如特定车辆、飞机、马等的对象。此外，在街角跟踪到特定人物的情况下，该特定人物可能埋没在人群中。另外，在人专注于视觉跟踪关注的特定对象的这种情况下，存在如下问题：可能无法顺利地进行对对象的拍摄、聚焦、曝光调整等。
本发明旨在解决上述问题，并提供一种能够向摄影师或观察者提供有用信息的及时显示的图像处理装置。
解决问题的技术手段
一种图像处理装置，其包括：显示部，其被配置为显示图像；选择部，其被配置为从所述显示部上显示的图像中选择特定对象；指定信息生成部，其被配置为生成所述选择部所选择的所述特定对象的指定信息；发送部，其被配置为向服务器发送所述指定信息生成部所生成的所述指定信息；获取部，其被配置为从所述服务器获取基于所述指定信息的所述特定对象的位置信息；以及控制部，其被配置为基于所述获取部所获取的所述特定对象的位置信息，使所述显示部显示附加信息。
本发明的有利效果
根据本发明，如果用户指定了作为目标的特定对象，则用户容易掌握特定对象在画面上的位置，并且当用户例如正在监视或拍摄特定对象时，用户很难看不到特定对象。
附图说明
图1是示意性地示出使用示例的图像处理装置的系统的配置的图。
图2是服务器侧的详细框图。
图3是终端侧的详细框图。
图4是终端侧的详细框图。
图5是示出关注运动员显示开始序列的示例的图。
图6是示出关注运动员显示跟踪序列的示例的图。
图7是示出关注运动员显示跟踪序列的另一示例的图。
图8是示出照相机侧的关注运动员显示跟踪控制流程的图。
图9是示出照相机侧的关注运动员显示跟踪控制流程的另一示例的图。
图10是示出数字照相机的跟踪单元371的功能配置示例的框图。
图11是示出服务器侧的关注运动员检测控制流程的图。
图12是示出服务器侧的检测运动员制服号码的流程的图。
图13是示出服务器侧的关注运动员检测控制流程的另一示例的图。
图14是示出服务器侧的关注运动员检测控制流程的另一示例的图。
图15是示出服务器侧的关注运动员检测控制流程的另一示例的图。
图16是示出服务器侧的关注运动员检测控制流程的另一示例的图。
图17是示出照相机显示单元的显示示例的图。
图18是示出照相机侧的关注运动员显示跟踪控制流程的另一示例的图。
图19是示出照相机侧的关注运动员显示跟踪控制流程的另一示例的图。
图20是示出照相机侧的关注运动员显示跟踪控制流程的另一示例的图。
图21是示出照相机侧的关注运动员显示跟踪控制流程的另一示例的图。
图22是示出服务器侧的运动员犯规检测流程的图。
图23是示出服务器侧的达阵(try)判断控制流程的图。
图24是示出基于球位置和裁判员的动作的达阵判断流程的图。
图25是示出根据屏幕显示的达阵和得分判断流程的图。
图26是示出根据音频信息的达阵判断流程的图。
图27是示出照相机侧的达阵判断控制流程的图。
图28是示出服务器侧的运动员犯规判断控制流程的图。
图29是示出基于裁判员的动作和声音的服务器侧的运动员犯规判断流程的图。
图30是示出照相机侧的犯规判断流程的图。
图31是示出裁判员针对达阵判断的动作的图。
图32是示出包括替补的关注运动员的检测控制流程的示例的图。
图33是示出关注运动员检测控制流程的示例的图。
图34是示出关注运动员的照相机显示单元的AF显示示例的图。
图35是示出关注运动员检测控制和AF流程的示例的图。
图36是示出关注运动员检测控制和AF流程的另一示例的图。
图37是示出自动跟踪时的照相机显示单元的显示示例的图。
图38是示出自动跟踪时的关注运动员的照相机显示单元的显示示例的图。
图39是示出自动跟踪时的关注运动员检测控制流程的示例的图。
图40是示出自动跟踪时的关注运动员检测控制流程的示例的图。
图41是示出关注运动员改变检测控制流程的示例的图。
图42是示出关注运动员改变检测控制流程的示例的图。
图43是示出替补运动员识别控制流程的示例的图。
具体实施方式
将使用示例来描述用于实现本发明的实施例。
首先，将使用图1来描述使用支持摄影和视频监视的图像处理装置的系统的概要。
在图1中，具有用于服务器的多个照相机(固定照相机或使用无人机的移动照相机等)的服务器(图像处理服务器)侧，实时跟踪竞技场的整个场地中的关注运动员(特定对象)的位置、以及比赛的最新状况。另外，还示出了如下示例，其中，服务器及时向各个观众携带的终端提供例如照相机拍摄或图像监视所需的信息。
通常，专业摄影师和一般摄影者可能处于他们无法以利用照相机拍摄的角度或视野来进行识别或跟踪的位置。这同样适用于位于竞技场外且未进行摄像的观众。相反，服务器侧系统可以基于来自用于服务器的多个照相机的视频而预先掌握全方位视频和整个比赛场地的信息(场地的坐标信息等)并进行映射。
因此，可以由服务器掌握和分配个人用户难以看到和理解的信息，以显着改善对观众的服务。
换言之，可以使用用于服务器的多个照相机(固定照相机和移动照相机)来跟踪针对各运动员的位置、得分、犯规、裁判员的判断结果以及其他最新状况。此外，可以由服务器基于大屏幕上显示的信息等来分析数据。因此，可以准确地识别整个情况，并将信息及时发送到专业摄影师和观众拥有的终端(如照相机终端、智能电话、平板电脑等)。因此，观众可以及时掌握比赛的最新情况。特别地，尽管专业摄影师需要将拍摄的照片立即发送到新闻编辑室等，但由于视野较小，因此仅通过观察照相机画面难以准确把握比赛的整体情况等。
但是，如果使用本示例的配置，则可以快速了解比赛情况等，并且可以快速选择要发送到新闻编辑室等的照片。
此外，作为专业摄影师和观众使用的终端(图像处理装置)，可想到数字照相机、智能电话、连接照相机和智能电话等的配置、平板PC或TV等。可以通过互联网或TV广播为在家中使用诸如PC、TV等的终端(图像处理装置)观看比赛的观众提供相同的服务，因此观看者能够更准确地掌握比赛的情况并带有更多乐趣地享受比赛。
在图1中，附图标记101至103表示用于服务器的照相机，并且101(固定照相机1)、102(固定照相机2)、103(固定照相机3)、104(大屏幕)、110(服务器)、111(输入部)和112(基站)进行视频获取、音频获取等，以向一般的专业摄影师和观众提供信息。尽管在本实施例中用于服务器的照相机的数量是三个(包括照相机101至103)，但是可以使用一个或多个照相机。另外，这些用于服务器的照相机可以不是固定照相机，而可以是例如安装在无人机等中的照相机。除了视频获取和音频获取以外，还可以从输入部输入除视频以外的输入信息(例如，音频信息等)，以扩展对一般的专业摄影师、观众等的服务。
附图标记105表示有线或无线LAN或因特网，附图标记106表示用于将从输入部111输出的信息输入到服务器110的连接线。附图标记107表示用于向/从基站112发送/接收信号的连接线，附图标记108表示基站的用于进行无线通信的天线单元。
换言之，上述编号为100系列的块是用于支持专业摄影师、一般观众等进行视频拍摄等的块。
同时，在图1中，附图标记401(终端1)、402(终端2)和403(终端3)表示终端，并且例如表示用于专业摄影师和观众进行摄影和监视的视频显示终端装置，例如照相机、智能电话、平板PC、TV等。这里，附图标记404(天线)、405(天线)和406(天线)分别是用于进行无线通信的401(终端1)、202(终端2)和203(终端3)的天线。
当服务器检测到关注运动员的位置时，例如从终端向服务器侧发送关注运动员的ID信息等，并从服务器侧向终端发送关于运动员的诸如位置信息的各种信息。由于运动员正在移动并且比赛的情况正在变化，因此需要在短时间内进行检测关注运动员的处理。因此，这种情况下的无线通信使用例如5G等。
此外，401(终端1)、402(终端2)和403(终端3)可以具有组合连接照相机、智能电话等的配置。在图1的右下侧，附图标记301表示主要控制与服务器的通信的智能电话。此外，如果在该智能电话中安装了应用软件，则可以实现各种视频获取服务。另外，附图标记300表示(数字)照相机，其是允许专业摄影师或观众进行摄影或监视图像的图像处理装置。这里，照相机300通过USB或蓝牙(注册商标)连接到智能电话301。附图标记320表示用于与基站112进行无线通信的智能电话301的天线。
此外，虽然在终端是智能电话等的情况下，终端以无线方式与服务器交换视频和控制信号，但是可以在无线通信和有线通信中适应性地使用与终端进行通信的连接。可以控制连接，使得例如，如果无线通信环境是5G，则进行无线通信，如果无线通信环境是LTE，则对具有大量数据的信息进行有线通信，并且对具有少量数据的控制信号进行无线通信。此外，可以根据无线通信线路的拥塞程度将连接切换为有线通信。
接下来，将使用图2详细描述服务器侧的块配置。图2中与图1中相同的附图标记表示相同的组成部分，并且将省略其描述。
附图标记201表示以太网(注册商标)控制器，以及附图标记204表示根据运动员的角色(所谓的位置)检测比赛位置的检测单元。这里，运动员的角色(位置)是预先通过登记等设置的。作为橄榄球中的角色(位置)，例如，1和3称为支柱前锋，2称为钩球队员，4和5称为锁球队员，6和7称为侧翼前锋，8称为8号，9称为传锋，并且10称为接锋。另外，11和14称为边锋，12和13称为正锋，并且15称为最后卫。
对于运动员的位置，通常在固定配合进攻等时，前锋位于进攻的前方，而后卫位于进攻的后方。
换言之，由于运动员的大致位置是根据运动员的角色(位置)来决定的，因此通过了解关注运动员的角色(位置)并跟踪运动员，可以有效且准确地跟踪关注运动员。
此外，运动员的角色通常可以通过制服号码来识别。但是，在某种情况下，10号运动员可能会受伤，15号运动员可以扮演接锋(进入10号运动员的位置)，并且替补运动员可以进入15号运动员的位置。在此，替补运动员的制服号码可以是16至23中的任意一个。但是，并非总是仅利用制服号码来确认位置。因此，虽然204的检测单元根据运动员的预设角色检测比赛位置并且检测到的比赛位置的信息被输入到服务器110中的CPU 211，但是预设角色可能由于在比赛中替换运动员等而改变。
附图标记205表示轮廓信息检测单元，并且例如，当专业摄影师和观众在使用他们的终端监视视频的同时在他们的位置和角度以照相机的倍率拍摄视频时，服务器110将关注运动员的位置通知给终端401至403中的各个等。此外，当服务器110将正被拍摄的关注运动员的轮廓信息通知给终端401至403中的各个等时，终端401至403中的各个能够更可靠地识别关注运动员。由块205检测到的轮廓信息被发送到CPU 211。
附图标记206表示运动员面部识别单元，其基于预先登记的关注运动员的面部照片信息，使用AI，特别是诸如深度学习的图像识别技术，从视频中找到运动员。面部识别单元206检测到的面部识别结果的信息被输入到CPU211。
附图标记207表示运动员的体格识别单元，其基于预先登记的运动员的体格照片信息，使用上述图像识别技术来找到关注运动员。
附图标记208表示运动员的制服号码检测单元，其基于预先登记的号码(制服号码等)，使用上述图像识别技术来找到关注运动员。此外，不用说，当要检测运动员的号码时，不仅可以检测号码布背面的号码，还可以检测正面的号码。附图标记209表示位置信息创建单元，其根据使用GPS获得的照相机101、102和103的位置信息以及关于照相机的方向和视角的信息来识别各照相机的位置、方向和视角。此外，使用三角测量方法基于来自各照相机的视频，来获取运动员在运动场上的绝对位置的信息。
位置信息创建单元209可以从视频中获取杆、比赛场地的线(例如，边线或底线)等在画面上的位置，作为预先安装在竞技场中的用于基准位置检测的基准指标。然后，可以使用杆、线等作为基准坐标来获取关注运动员在竞技场的场地上的绝对位置。
附图标记210表示照相机位置信息/方向检测单元，其根据从终端401至403中的各个发送的各终端的位置信息、方向信息以及视角信息，来检测各终端的位置、各终端的照相机面向的方向和视角。
附图标记211表示用作计算机的中央处理单元(CPU)，其是基于存储在用作存储介质的程序存储器712中的用于控制的计算机程序来进行在以下示例中介绍的控制的中央算术处理装置。此外，CPU还用作显示控制部，其控制将在下面描述的显示单元214上显示的信息。附图标记213表示存储由CPU211参照的各种数据的数据存储器。数据存储器213存储过去比赛的信息、过去运动员的信息、关于今天竞赛(比赛)的信息、关于观众人数、天气等的信息、关注运动员的信息、运动员当前情况等。关注运动员的信息包括他们的面部、制服号码、体格等的信息。
附图标记1101表示服务器110内部的数据总线。
接下来，将使用图3和图4详细描述用作图像处理装置的终端侧。图3和图4是示出终端的配置示例的框图，其使用两个附图来示出作为终端示例的数字照相机500的整体配置。
图3和图4中所示的数字照相机可以拍摄运动图像和静止图像并记录该拍摄的信息。此外，虽然图3和图4均示出了中央处理单元(CPU)318、程序存储器319和数据存储器320，但是各单元是同一个块，并且只包括一个CPU、程序存储器和数据存储器。
在图3中，附图标记301表示以太网(注册商标)控制器。附图标记302表示存储介质，其以预定格式存储使用数字照相机拍摄的运动图像和静止图像。
附图标记303表示用作诸如CCD或CMOS的图像装置的图像传感器，其将光学图像的光信号转换为电信号，并将图像信息的模拟信息进一步转换为数字数据并输出数据。附图标记304表示信号处理单元，其对从图像传感器303输出的数字数据进行诸如白平衡校正或伽马校正的各种校正并输出校正后的数据。附图标记305表示传感器驱动单元，其驱动用于从图像传感器303读取信息的水平/垂直线路，并控制图像传感器303输出数字数据的定时等。
附图标记306表示操作单元输入部。通过选择或设置用于利用数字照相机进行摄影的各种条件，或者根据摄影的触发操作、针对使用闪光灯的选择操作、更换电池的操作等，来进行输入。此外，操作单元输入部306可以选择/设置是否基于来自服务器的位置信息来对关注运动员进行自动聚焦(AF)。用于选择/设置是否要对关注运动员进行自动聚焦(AF)的信息从操作单元输入部306输出到总线370。
此外，操作单元输入部306可以选择/设置是否要基于来自服务器的位置信息来自动跟踪关注运动员。由用作选择部的操作单元输入部306生成关于哪个运动员将被指定为关注运动员(特定对象)、是否要基于来自服务器的位置信息进行关注运动员的自动跟踪等的信息。换言之，操作单元输入部306用作生成关于特定对象的指定信息的指定信息生成部。
附图标记307表示无线通信单元，其用作发送/接收部以使专业摄影师、一般观众等拥有的照相机终端与服务器侧无线通信。附图标记308表示倍率检测单元，其检测数字照相机的摄影倍率。附图标记309表示操作单元输出部，用于在显示由数字照相机拍摄的信息等的图像显示单元380上显示诸如菜单或设置信息的UI信息。附图标记310表示压缩/解压缩电路，来自图像传感器303的数字数据(原始数据)由信号处理单元304展开，并且压缩/解压缩电路310将数据转换为JPEG图像文件或HEIF图像文件，或将数据压缩为原始数据而不进行改变，以使其成为原始图像文件。
同时，当在照相机中展开原始图像文件以生成JPEG图像文件或HEIF图像文件时，进行对压缩信息进行解压缩以将文件返回原始数据的处理。
附图标记311表示面部识别单元，其参照预先登记在服务器中的关注运动员的面部照片信息，以通过使用AI(特别是深度学习等技术)的图像识别，从视频中找到该运动员。关于由面部识别单元311检测到的面部识别结果的信息经由总线370被输入到CPU 318。
附图标记312为体格识别单元，其参照预先登记在服务器中的关注运动员的体格照片信息，以使用上述图像识别技术从视频中找到关注运动员。
附图标记313表示运动员制服号码检测单元，其使用上述图像识别技术，利用运动员的制服号码(也可以是正面号码)找到关注运动员。附图标记314表示方向检测单元，其检测终端的镜头面向的方向。附图标记315表示位置检测单元，其使用例如GPS等检测终端的位置信息。
附图标记316表示电源管理单元，其检测终端的电源状态，并且在电源开关断开的状态下检测到按下电源按钮之后，向整个终端供电。附图标记318表示用作计算机的CPU，其基于存储在用作存储介质的程序存储器319中的用于控制的计算机程序来进行在以下示例中介绍的控制。此外，CPU还用作显示控制部，其控制要在图像显示单元380上显示的图像信息。此外，图像显示单元380是使用液晶、有机EL等的显示单元。
数据存储器320存储数字照相机的设置条件，并存储拍摄的静止图像和运动图像、以及静止图像和运动图像的属性信息等。
在图4中，附图标记350表示摄影镜头单元，其包括第一固定组透镜351、变焦透镜352、光圈355、第三固定组透镜358、调焦透镜359、变焦马达353、光圈马达356和调焦马达360。第一固定组透镜351、变焦透镜352、光圈355、第三固定组透镜358和调焦透镜359构成摄影光学系统。此外，尽管透镜351、352、358和359中的各个被示为一个透镜，但是它们可以包括多个透镜。
此外，摄影镜头单元350可以被配置为可以从数字照相机拆卸的可互换镜头单元。
变焦控制单元354控制变焦马达353的操作并改变摄影镜头单元350的焦距(视角)。光圈控制单元357控制光圈马达356的操作并改变光圈355的开口直径。
调焦控制单元361基于从图像传感器303获得的一对焦点检测信号(A图像和B图像)之间的相位差，计算摄影镜头单元350的散焦量和散焦方向。此外，调焦控制单元361将散焦量和散焦方向转换为调焦马达360的驱动量和驱动方向。调焦控制单元361基于驱动量和驱动方向控制调焦马达360的操作，以驱动调焦透镜359，从而控制摄影镜头单元350的聚焦(焦点调整)。
如上所述，调焦控制单元361进行相位差检测型自动聚焦(AF)。此外，调焦控制单元361可以进行对比度检测型AF，以搜索从图像传感器303获得的图像信号的对比度的峰值。
附图标记371表示用于通过数字照相机自身跟踪关注运动员的跟踪单元。这里提到的跟踪例如是指：在画面内移动围绕关注运动员的框的显示，并且聚焦于正在跟踪的关注运动员，或者调整曝光。
接下来，将使用图5描述关注运动员显示开始序列的示例。该序列由服务器110和照相机500进行。图5的(A)示出了服务器110侧回答照相机500侧的问题(请求)的序列。此外，服务器110侧向照相机500侧提供关于关注运动员的绝对位置的信息。
照相机500将关注运动员指定信息(诸如制服号码或运动员姓名的ID信息)通知给服务器110。此时，用户可以在终端的画面上触摸关注运动员的位置，或者可以保持他或她手指与画面的接触并用手指围绕关注运动员。
另选地，用户可以触摸在画面上显示的菜单中的多个运动员的列表上的关注运动员的姓名，或者可以使字符输入画面显示在画面上以输入运动员的姓名或制服号码。
此时，用户可以触摸画面上的关注运动员的面部位置来识别面部图像或制服号码，从而可以发送运动员的姓名、制服号码等。另选地，服务器侧可以通过向服务器发送面部图像来识别图像，而无需进行图像识别。另外，如果在这种情况下存在预定密码，则可以将密码发送到服务器。
服务器侧使用支持视频拍摄的块，基于关注运动员指定信息(诸如制服号码或运动员的姓名的ID信息)，将关于运动员的绝对位置的信息发送到照相机。如果从照相机发送密码，则根据密码改变要发送到照相机的信息内容。
图5的(B)示出了另一个关注运动员显示开始序列。照相机向服务器通知专业摄影师或一般观众当前正在使用以进行摄影的照相机的位置信息、照相机的方向、照相机的倍率和关注运动员指定信息(指定的制服号码或运动员的姓名)。
服务器侧使用照相机的位置信息、照相机的方向和照相机的倍率，来创建自由视点视频。此外，服务器侧基于关注运动员指定信息(指定的制服号码或运动员的姓名)，将指示由照相机实际看到的视频中的运动员的位置的位置信息、以及由照相机拍摄的运动员的轮廓信息发送给照相机。
照相机基于从服务器发送的位置信息和轮廓信息，在照相机的显示单元的画面上更加准确、明显地显示关注运动员，并对关注运动员进行AF和AE。
此外，当指定了要注意的建筑物等时，例如，服务器可以将建筑物的轮廓信息发送到照相机，而不是将关注运动员指定信息(指定的制服号码或运动员的姓名)通知给照相机。
虽然已经简要描述了找到关注运动员的关注运动员显示开始序列的示例，但是终端侧可能希望继续跟踪该运动员。因此，将使用图6的(A)描述关注运动员显示跟踪序列。在图6的(A)中，用作终端的照相机500周期性地多次向服务器110进行查询(请求)，以连续检查运动员的位置。
在图6的(A)中，对于运动员的位置信息，关注运动员的ID信息从照相机500被发送到服务器110，以暂时将关注运动员置于照相机的视野中。此后，通过连续重复上述“关注运动员的照相机显示的开始”，可以实现“关注运动员的照相机显示的跟踪”。具体地，通过周期性地从照相机向服务器发送关注运动员显示开始序列(A1、B1、...)并周期性地从服务器接收关注运动员显示开始序列(A2、B2、...)，多次重复识别关注运动员的位置的操作。
此外，在图6的(B)中，对于运动员的位置信息，从照相机500向服务器110发送关注运动员的ID信息，并且首先从服务器获取关注运动员的位置信息。然后，在参照位置信息将关注运动员置于照相机的视野中之后，照相机500继续通过图像识别来自行跟踪关注运动员。在图7的(A)中，照相机500在图6的(B)的关注运动员显示跟踪序列中，通过图像识别进一步自行跟踪关注运动员；然而，当此后看不到运动员时，装置侧向服务器请求关注运动员的位置信息。
具体地，当照相机看不到关注运动员时，照相机向服务器发送关注运动员显示开始序列(A1)，并从服务器接收关注运动员显示开始序列(A2)，从而识别关注运动员的位置。图7的(B)表示如下情况：服务器110进一步预测出在图6的(B)的关注运动员显示跟踪序列中，照相机500很可能看不到关注运动员。
换言之，该图表示推送型控制，其中，当预测出跟踪将失败时，在不等待来自照相机500的请求的情况下通知关注运动员的位置信息。因此，专业摄影师和一般观众可以在非常容易使用的照相机的显示单元上连续检测关注运动员的位置，并且例如可以大大减少错过拍照机会的次数。这里，专业摄影师或一般观众看不到关注运动员的情况包括：运动员处于围挤抢球(maul)、自由密集争球(ruck)或并列争球(scrum)中并因此无法从外部看到的情况(运动员处于盲点的情况)，或者从某个照相机的方向看不到运动员的情况。
此外，虽然已经描述了辅助专业摄影师和观众进行摄影的服务的示例，但是该示例可以用于远程照相机控制。通过从服务器发送信息，可以使用安装在自动云台上的远程照相机在决定性的时刻跟踪和拍摄运动员。
另外，虽然使用摄影辅助的示例描述了本示例，但是终端可以是家用TV。换言之，正在观看TV的观众指定关注运动员，服务器将关注运动员的位置信息等发送到TV，从而可以使用框显示等来明显地显示关注运动员。此外，可以通过除了框以外的光标(例如，箭头等)来指示关注运动员，或者关注运动员的位置的区域的颜色或亮度可以与其他部分不同。如果关注运动员在终端画面外，则可以使用箭头或字符来显示终端偏离画面的方向。
另外，如果运动员在显示的画面外，则可以使用箭头的长度或粗细度、数字、标度等来显示运动员远离(偏离)终端当前观看的角度多远、终端需要旋转多少才能使关注运动员在显示画面上等。
此外，如果关注运动员在画面内，则可以进行控制使得在画面上显示附加信息，并且如果关注运动员移动到画面外，则用户可以选择不利用箭头等来显示画面外的运动员。
另选地，通过自动确定比赛的情况，即使在关注运动员去了替补席等的情况下运动员移出画面，也可以不使用箭头等来显示在画面外的关注运动员。如果允许用户选择自动关闭附加信息显示的模式和不关闭显示的模式，则可以进一步提高可用性。
接下来，将使用图8的(A)和(B)描述图7的照相机侧的控制序列的细节。图8的(A)和(B)示出了照相机侧的关注运动员显示跟踪控制流程。
在图8的(A)中，S101表示初始化。在S102中，确定是否选择了拍摄，并且如果选择了拍摄，则处理进入S103，并且如果没有选择拍摄，则处理进入S101。在S103中，获取照相机设置信息。在S104中，确定是否选择了拍摄(指定)关注运动员，如果选择了拍摄关注运动员，则处理进入S105，并且如果没有选择拍摄关注运动员，则处理进入S110以进行其他处理。在S105中，如果存在关注运动员的信息(关注运动员的ID信息等)和密码，则将信息和密码从照相机发送到服务器。因此，服务器侧检测关注运动员的位置信息并将该信息发送到照相机。在S106中，从服务器接收关注运动员的位置信息等。
在S107中，照相机在参照从服务器发送的位置信息的同时，自行跟踪关注运动员。这里，照相机通过自身进行例如图像识别来跟踪关注运动员。在这种情况下，基于运动员的制服号码、运动员的面部信息、运动员的体格等中的任一个或它们的组合的识别结果来跟踪运动员。换言之，通过识别运动员的一部分或整个形状的图像来跟踪关注运动员。但是，当用户的拍摄位置不佳时，当照相机的视野狭窄时，或者当由于拍摄角度等使运动员隐藏在其他被摄体后面时，可能看不到运动员，并且如果看不到运动员，则位置信息的请求会再次被发送到服务器。
S107-2示出了作为针对关注运动员的附加信息的标记显示的示例。换言之，作为附加信息，显示指示关注运动员的光标，在关注运动员的位置显示框，将关注运动员的位置的颜色或亮度改变为明显，或进行这些的组合显示。除了标记以外，还可以用字符进行显示。此外，当图像显示单元显示来自图像传感器的实时取景图像时，可以将指示位置的附加信息叠加在关注运动员上。
在图8的(B)中例示了用于显示标记的S107-2的流程，并且下面将对其进行描述。此外，用户可以选择跳过上述S107的跟踪操作而不进行跟踪。另选地，可以提供选择如下模式：当关注运动员存在于画面上时进行跟踪操作，而当运动员在画面外时不进行跟踪操作。此外，当自动确定比赛的情况时，例如当关注运动员进入替补席等时，可以自动停止对画面外的关注运动员的跟踪操作(显示诸如箭头等的附加信息)。
另选地，无论在画面内还是画面外，如果服务器知道关注运动员已经进入替补席，则可以停止在画面上对关注运动员的位置的显示、对关注运动员的自动聚焦、针对关注运动员的自动曝光调整。
在S108中确定关注运动员的继续跟踪是否OK(成功)，并且如果关注运动员的继续跟踪成功，则处理进入S107，并且通过照相机自身来继续进行关注运动员的跟踪，而如果关注运动员的继续跟踪不成功，则处理进入S109。
在S109中确定关注运动员的拍摄是否结束，并且如果关注运动员的拍摄结束，则处理进入S101。如果继续拍摄关注运动员，则处理进入S105，再次向服务器发送关注运动员的信息，在S106中从服务器接收关注运动员的信息，再次识别关注运动员的位置，并继续拍摄关注运动员。换言之，如果跟踪失败，则S108的结果为否，并且在这种情况下继续跟踪，处理返回到S105以向服务器请求位置信息。
图8的(B)示出了照相机侧的关注运动员标记显示控制的流程。在S120中，通过计算获得关注运动员在显示单元上的相对位置。在S121中，在图像显示单元显示来自图像传感器的实时取景图像的同时，指示位置等的附加信息被叠加在关注运动员上。
在上面的示例中，服务器110读取整个比赛场地的视频并获取坐标，并因此也能够从专业摄影师和观众拍摄的视频中掌握他们从哪里拍摄比赛场地。
换言之，服务器预先从用于服务器的多个照相机(固定照相机和移动照相机)掌握整个比赛场地的视频。因此，可以将关注运动员在场地中的绝对位置信息映射到专业摄影师和观众通过终端和数字照相机观看的视频中。
另外，当专业摄影师、观众的诸如照相机的终端从服务器接收到运动员的绝对位置的信息时，可以将绝对位置的信息映射到现在正在拍摄或监视的视频中。
此外，假设来自服务器的关注运动员在场地内的绝对位置的信息为(X，Y)。需要根据各个照相机的位置信息将该绝对位置的信息转换成从照相机观看的相对位置信息(X’，Y’)。绝对位置的信息到相对位置信息的转换可以由照相机侧进行(如S120中)，或者可以由服务器侧进行转换，然后可以将相对位置信息发送到各个终端(照相机等)。
如果由诸如照相机的终端进行转换，则根据使用GPS等获得的各个照相机的位置信息，将从服务器发送的绝对位置的信息(X，Y)转换为相对位置信息(X'，Y')。基于相对位置信息设置照相机侧的显示画面内的位置信息。
另一方面，如果由服务器进行转换，则服务器根据使用GPS等获得的各个照相机的位置信息，将绝对位置的信息(X，Y)转换为各个照相机的相对位置信息(X'，Y')。服务器将该相对位置信息发送给各个照相机，并且接收到该相对位置信息的照相机将相对位置信息设置为各个照相机侧在显示画面内的位置信息。
如上所述，减少了专业摄影师和观众的诸如照相机的终端看不到关注运动员的情况，并且因此可以在不错过时机的情况下拍摄关注运动员的好照片。
此外，在图9中示出了基于图7的照相机侧的控制序列的另一示例。图9示出了诸如照相机的终端侧的关注运动员显示跟踪控制流程的另一示例。在图9中，S101、S102、S103、S104、S105、S106、S107、S107-2和S110用于与图8中相同的控制，因此将省略对其的描述。
在S131中确定关注运动员的继续跟踪是否OK(成功)，并且如果关注运动员的继续跟踪成功，则处理进入S134，并且如果关注运动员的继续跟踪不成功，则处理进入S132。在S132中确定关注运动员的拍摄是否结束，并且如果关注运动员的拍摄结束，则处理进入S133。如果继续拍摄关注运动员，则处理进入S105，再次向服务器发送关注运动员的信息，在S106中从服务器接收关注运动员的信息，再次识别关注运动员的位置，并继续拍摄关注运动员。在S133中确定服务器是否检测到关注运动员的位置，并且如果服务器检测到关注运动员的位置，则处理进入S106，并且如果服务器没有检测到关注运动员的位置，则处理进入S101。
在S134中确定服务器是否检测到关注运动员的位置，并且如果服务器检测到关注运动员的位置，则处理进入S106，并且如果服务器没有检测到关注运动员的位置，则处理进入S107。
接下来，将使用图10描述数字照相机的跟踪单元371。
图10是示出数字照相机的跟踪单元371的功能配置示例的框图。跟踪单元371包括匹配部3710、特征提取部3711和距离图生成部3712。特征提取部3711基于从服务器发送的位置信息指定要跟踪的图像区域(被摄体区域)。
此外，从被摄体区域的图像中提取特征值。同时，匹配部3710参照提取的特征值，以在连续提供的各个帧的拍摄图像内搜索与先前帧的被摄体区域具有高相似度的区域作为被摄体区域。此外，距离图生成部3712可以从来自图像传感器的一对视差图像(A图像和B图像)中获取到被摄体的距离的信息，因此可以提高匹配部3710指定被摄体区域的精度。然而，不一定需要设置距离图生成部3712。
当匹配部3710基于从特征提取部3711提供的图像中的被摄体区域的特征值搜索与被摄体区域具有高相似度的区域作为被摄体区域时，例如使用模板匹配、直方图匹配等。
接下来，将使用图11和图12描述服务器侧的关注运动员检测控制的流程。
服务器基于从诸如照相机的终端发送的关注运动员的ID信息等，对关注运动员进行图像识别。服务器基于来自用于服务器的多个照相机(固定照相机、移动照相机等)的视频来检测运动员的位置信息，并将运动员的位置信息发送到专业摄影师和观众的照相机终端等。
特别地，如果在专业摄影师和观众进行摄影时存在从服务器提供的关注运动员的位置信息，则可以可靠地拍摄关注运动员而不会出错。此外，当照相机对关注运动员进行跟踪并且由于盲点等而看不到运动员时，来自服务器的信息也很重要。此外，服务器侧基于来自用于服务器的多个照相机的视频，来持续检测运动员的位置信息。
专业摄影师和一般观众所拥有的诸如照相机的终端将关注运动员的ID信息发送至服务器，并基于从服务器获取的位置信息对关注运动员进行跟踪。同时，专业摄影师和一般观众所拥有的诸如照相机的终端可以自行检测关注运动员的位置。
图11示出了服务器侧的关注运动员检测控制的主要流程。
在图11中，首先在S201中进行初始化。接下来，在S202中确定是否在照相机中选择了拍摄，并且如果选择了拍摄，则处理进入S203以获取照相机设置信息。此时，如果照相机设置信息包括密码，则获取密码。如果没有选择拍摄，则处理进入S201。在S204中确定是否选择了拍摄(指定)关注运动员，并且如果选择了拍摄关注运动员，则处理进入S205，并且服务器从照相机接收关注运动员的ID信息(例如运动员的姓名或制服号码等)。如果在S204中没有选择拍摄关注运动员，则处理进入S210以进行其他处理。
在S206中，服务器基于关注运动员的ID信息，通过基于来自多个照相机(固定照相机、移动照相机等)的视频的图像识别，找到画面内的关注运动员。在S207中，服务器基于自多个照相机的视频跟踪关注运动员。在S208中，确定对关注运动员的继续跟踪是否OK(成功)，并且如果对关注运动员的继续跟踪成功，则处理返回S207，以基于来自多个照相机的信息继续跟踪关注运动员。如果在S208中对关注运动员的继续跟踪不成功，则处理进入S209。
在S209中确定关注运动员的拍摄是否结束，如果关注运动员的拍摄结束，则处理返回S201，而如果在S209中继续对关注运动员进行拍摄，则处理返回到S206。然后，服务器基于关注运动员的ID信息搜索来自多个照相机(固定照相机和移动照相机)的信息，以找到关注运动员，并在S207中基于来自多个照相机的视频继续跟踪关注运动员。
接下来，将使用图12描述上述在SS206中找到关注运动员和在S207中跟踪运动员的方法的示例。
图12示出了使用制服号码信息的服务器的关注运动员检测控制的流程。在图12中，在S401中，服务器基于关注运动员的ID信息从数据存储器213中获取制服号码，通过图像识别从用于服务器的多个照相机的视频信息中搜索该制服号码，并获取具有该制服号码的运动员的位置信息。在S402中，通过组合从用于服务器的多个照相机的视频中获取的位置信息，来进一步获取关注运动员的绝对位置的信息。
通过如上所述组合用于服务器的多个照相机的信息，提高了具有一定制服号码的运动员的绝对位置的信息的精度。在S403中，将在S402中检测到的关注运动员的绝对位置发送给专业摄影师和观众所拥有的诸如照相机的终端。在S404中，确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理返回S401，而如果不继续跟踪关注运动员，则图12的流程结束。
此外，使用来自用于服务器的多个照相机中的至少一个照相机的视频，来找到关注运动员的制服号码，输入示出的尺寸、角度还有背景(比赛场地)的信息，并因此可以获取关注运动员的位置信息。另外，关注运动员的制服号码被设置为同样使用来自用于服务器的多个照相机的视频来找到，输入示出的尺寸、角度还有背景(场地)的信息，并因此可以提高关注运动员的位置信息的精度。
接下来，将使用图13描述用于检测关注运动员的位置的另一检测方法的示例。
在该示例中，假设运动员自己允许位置传感器安装在诸如制服的衣服中，或者运动员使用围绕其手臂、腰部、腿部等的带来穿戴位置传感器。此外，当位置传感器使用通信部向服务器侧无线发送信息以生成位置信息时，服务器(该侧的多个照相机等)识别来自运动员的位置传感器的信号，并且服务器将位置信息通知给专业摄影师和一般观众所拥有的照相机。
在图13中示出了服务器侧利用位置传感器的信息进行关注运动员检测控制的详细流程。在图13中，S301为服务器从多个照相机接收和获取关注运动员的位置传感器的信息。多个照相机中的各个包括检测部，该检测部从位置传感器接收无线电波，检测接收到的无线电波的方向和接收到的无线电波的级别，并获取这些因素作为位置传感器的信息。位置传感器的信息还包括接收到的无线电波的方向和接收到的无线电波的级别。
在S302中基于来自多个照相机的位置传感器的信息检测关注运动员的绝对位置。在S303中将关注运动员的绝对位置发送到照相机。在S304中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S301，并且如果不继续跟踪关注运动员，则控制结束。
在该示例的情况下，多个照相机(固定照相机和移动照相机)中的至少一个除了获取图像和声音以外，还具有检测部，该检测部检测来自运动员拥有的位置传感器的信息。
多个照相机中的至少一个可以从运动员的位置传感器接收信息并识别接收到的无线电波的方向以及接收到的无线电波的级别。
虽然可以基于上述仅一个照相机的检测结果来检测运动员的位置，但是在本示例中，运动员的位置传感器的信息被设置为由多个照相机中的各个来识别。此外，通过组合无线电波的方向和无线电波的级别的信息，可以更准确地分析运动员的位置信息，多个照相机通过无线电波接收关注运动员的传感器信息。
接下来，在图14中示出了服务器侧的利用面部识别信息的关注运动员检测控制的流程。
服务器的数据存储器213存储登记为比赛队员的运动员的过去拍摄的面部的多个信息。此外，服务器具有基于来自多个服务器用的照相机的视频检测运动员的面部信息的部分。然后，服务器基于由多个服务器用的照相机检测到的面部信息，将登记为比赛队员并且过去被拍摄的运动员的面部信息与多张照片进行比较，以使用例如AI来识别面部并检测关注运动员。
在图14中，S501用于服务器基于关注运动员的ID信息从数据存储器213中获取关注运动员的多个面部信息，并使用来自用于服务器的多个照相机的视频获取该面部信息的运动员的位置信息。如果使用来自用于服务器的多个照相机中的一个照相机的视频而找到与关注运动员的面部信息相对应的运动员，则输入示出的大小、角度还有背景(场地)的信息，因此可以获取关注运动员的位置信息。同样使用用于服务器的多个照相机找到与关注运动员的面部信息对应的运动员，输入示出的大小、角度还有背景(场地)的信息，因此能够高精度地获取关注运动员的位置信息。
在S502中，基于S501中从多个照相机的视频中获取的关注运动员的位置信息，检测关注运动员的绝对位置。在S503中，将S502中检测到的关注运动员的绝对位置信息发送给专业摄影师和一般观众所拥有的照相机。在S504中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S501，并且如果不继续跟踪关注运动员，则控制结束。
接下来，将使用图15描述用于使用运动员的体格(体型)来检测运动员的位置的方法。
服务器的数据存储器213存储登记为比赛队员的运动员的、过去被拍摄的多个体格图像信息。此外，服务器具有基于来自用于服务器的多个照相机的视频来检测运动员的体格信息的部件。然后，服务器使用例如AI将从用于服务器的多个照相机检测到的体格信息与登记为比赛队员并在过去被拍摄的运动员的多个体格图像信息进行比较，并检测运动员。
在图15中示出了服务器利用体格(体型)识别信息进行的关注运动员检测控制的详细流程。在图15的S601中，服务器基于关注运动员的ID信息从数据存储器213中获取多个体格图像信息，并利用来自用于服务器的多个照相机的视频信息获取具有该体格的运动员的位置信息。如果使用来自用于服务器的多个照相机中的一个照相机的视频找到与关注运动员的体格信息相对应的运动员，则获取示出的大小、角度还有背景(场地)的信息，并因此可以获取关注运动员的位置信息。
同样利用来自用于服务器的多个照相机的视频，找到与关注运动员的体格图像对应的运动员，获取示出的大小、角度还有背景(场地)的信息，并因此可以获取关注运动员的位置信息。通过组合多个照相机的信息，可以提高基于体格信息的关注运动员的位置信息的精度。
在S602中，基于S601中获取的具有体格信息的运动员的位置信息，检测关注运动员的绝对位置。
在S603中，将S602中检测到的关注运动员的绝对位置发送到专业摄影师和一般观众所拥有的照相机终端。在S604中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S601，并且如果不继续跟踪关注运动员，则图15的控制结束。
虽然已经描述了关于运动员的位置传感器信息、制服号码识别、面部识别、体格识别等，但是可以对制服(设计和颜色)、鞋子、运动员的发型、运动员的运动等的信息进行图像识别，从而可以提高识别关注运动员的精度。
接下来，图16是关注运动员检测方法的辅助检测方法，其示出了基于比赛场地中的基本角色(所谓的位置)来检测关注运动员的流程。
服务器的数据存储器213存储运动员在比赛场地中的角色(位置)的信息。此外，因为基于运动员角色的位置根据球的位置而改变，所以位置的信息也被存储。
服务器从多个照相机的视频中检测球的当前位置并识别比赛的状况(运动员是在进攻还是在防守)。使用该信息可以很容易地检测到运动员的大致位置。换言之，通过确定比赛的情况并关注于运动员的角色来估计根据其角色的运动员的位置。该确定主要在服务器侧进行。
图16中示出了考虑运动员角色的关注运动员检测控制的流程的示例。在图16的S701中，服务器基于来自多个照相机的视频检测球的位置信息。使用球的位置信息粗略估计运动员的位置。此外，根据运动员的角色(诸如前锋或后卫)(利用制服号码识别运动员的角色)，识别用于使用面部信息搜索运动员的区域。在S702中，服务器从数据存储器213中获取关注运动员的多个面部信息，将该信息与多个照相机的视频信息进行比较，并获取具有该面部信息的运动员的位置信息。
在S703中，基于在S702中从多个照相机的视频中获取的关注运动员的位置信息，检测关注运动员的绝对位置。在S704中，将S703中检测到的关注运动员的绝对位置发送给专业摄影师和一般观众所拥有的照相机。在S705中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S701，并且如果不继续跟踪关注运动员，则图16流程结束。
这里，虽然基于球的位置来确定比赛的情况(某队是在进攻还是在防守)，但是例如，基于比赛情况的控制不限于球的位置。例如，当某队犯规时，给予对方球队罚球等。在这种情况下，获得罚球的队很有可能在比赛中从球的当前位置前进。因此，可以基于预测球队前进的比赛的情况来进行控制。可以假设球的位置是犯规来做出这样的预测。
如上所述，根据本示例，当专业摄影师和一般观众利用照相机进行摄影、观众利用他们的终端观看比赛时等，可以及时向专业摄影师和一般观众通知关注运动员的位置信息。因此，专业摄影师和一般观众可以依次识别出关注运动员的位置，并令人满意地拍摄到关注运动员的良好发挥。
接下来，将使用图17的(A)至(D)描述当在专业摄影师或一般观众拥有的照相机上显示关注运动员的位置信息时的显示方法的示例。
在本示例中，在诸如照相机的终端的图像显示单元显示来自图像传感器的实时取景图像的情况下，当从服务器发送关注运动员的位置信息时，用作附加信息的标记、光标、箭头、框等被显示为叠加在关注运动员的位置上。这里，如果关注运动员在图像显示单元的画面外，则关注运动员所位于的方向被显示在显示单元的画面上的外围部分。观看该显示，能够在专业摄影师或一般观众观看他或她所拥有的诸如照相机的终端的画面的情况下，快速识别为了将关注运动员置于拍摄区域的画面中而照相机需要面向的方向。
图17的(A)示出了照相机的显示单元的视频中的关注运动员的位置信息的显示示例。附图标记3201表示照相机的显示单元。这里，如果关注运动员在显示单元的显示画面外并且在显示画面的右侧，则在如3202所示的显示单元的画面右侧附近显示向右箭头。另外，如果关注运动员在显示区域外且在显示画面的下侧，则在如3203所示的显示单元的画面下侧附近显示向下箭头。
另外，如果关注运动员在显示区域外并且在显示画面的左侧，则在如3204所示的显示单元的画面左侧附近显示向左箭头。另外，如果关注运动员在显示区域外且在显示画面的上侧，则在如3205所示的显示单元的画面上侧附近显示向上箭头。此外，如果关注运动员在斜右上方向，则例如如图17的(B)所示，在画面上的斜右上方向的位置附近显示斜右上箭头。因此，可以知道关注运动员在如图17的(B)所示的斜右上方向上。
这些箭头帮助专业摄影师和一般观众在他们拍摄关注运动员时知道为了将关注运动员置于照相机的拍摄区域中照相机需要移动的方向。因此，专业摄影师和一般观众即使看不到运动员的情况下也能很快将关注运动员置于拍摄画面上，并且可以在不错过合适的快门时机拍摄关注运动员。
接下来，图17的(C)是示出如下示例的图，其中，显示箭头的方向和长度以指示为了将关注运动员置于拍摄区域中而照相机需要移动的方向和程度。附图标记3401表示照相机的显示单元。
这里，如果关注运动员在显示区域外并且在显示画面的右侧，则在如3402所示的显示单元的画面的右侧附近显示向右箭头。如果关注运动员在显示区域外并且在显示画面的下侧，则在如3403所示的显示单元的画面的下侧附近显示向下箭头。如果关注运动员在显示区域外并且在显示画面的左侧，则在如3404所示的显示单元的画面的左侧附近显示向左箭头。
如果关注运动员在显示区域外并且在显示画面的上侧，则在如3405所示的显示单元的画面的上侧附近显示向上箭头。此外，在上面的描述中，关注运动员在画面外(偏离画面)的程度，换言之，为了拍摄关注运动员而照相机需要旋转的程度，由箭头的长度指示。关注运动员的位置越偏离画面的视野，箭头的长度变得越长。
在图17的(C)中，由于3402所示的向右箭头的长度比较短，因此可以看出，只要将照相机向右移动较小的角度，就可以将关注运动员置于拍摄区域中。
同样，由于3405所示的向上箭头的长度比较短，因此可以看出，只要照相机向上旋转较小的角度，就可以将关注运动员置于拍摄区域中。同时，由于3403所示的向下箭头的长度中等，因此可以看出，通过将照相机旋转大于3402和3405的角度，可以将关注运动员置于拍摄区域中。此外，由于3404所示的向左箭头的长度比较长，因此可以看出，通过将照相机在关注运动员的方向旋转比3403中的旋转角度大的角度，可以将关注运动员置于拍摄区域中。
因此，专业摄影师和一般观众可以轻松地将关注运动员置于拍摄区域中(显示画面内)，并且可以在不错过合适的快门时机的情况下拍摄关注运动员。
接下来，图17的(D)是示出在保持箭头的长度恒定的同时改变箭头的粗细度的示例的图。换言之，如果拍摄区域中的旋转角度大，换言之，如果用于将关注运动员置于拍摄区域中的照相机的旋转角度大，则可以增大箭头的粗细度。附图标记3601表示照相机的显示单元。这里，如果关注运动员在显示区域外并且在显示画面的右侧，则在如3602所示的显示单元的画面的右侧的外围部分处显示向右箭头。另外，如果关注运动员在显示区域外并且在显示画面下侧，则在如3603所示的显示单元的画面的下侧的外围部分处显示向下箭头。此外，如果关注运动员在显示区域外并且在显示画面的左侧，则在如3604所示的显示单元的画面的左侧的外围部分显示向左箭头。
另外，如果关注运动员在显示区域外并且在显示画面的上侧，则在如3605所示的显示单元的画面的上侧的外围部分显示向上箭头。此外，在上面的描述中，照相机的旋转角度用箭头的粗细度指示。箭头的粗细度随着旋转角度的增大而增大。在图17的(D)中，3603所指的箭头和3604所指的向左箭头比3602和3605所指的箭头粗，由此可见，只要将照相机旋转比较大的角度，便可将关注运动员置于拍摄区域中。
通过这样的显示，专业摄影师和一般观众可以很快找到看不到的关注运动员，并且可以在不错过合适的快门时机的情况下拍摄到关注运动员的良好发挥。
此外，虽然在上述示例中使用箭头及其长度和粗细度来显示关注运动员偏离画面的方向和偏离量，但是示例不限于此。例如，代替箭头，可以使用文本来仅显示指示关注运动员不在画面内的消息，诸如“关注运动员在画面斜右上侧的外部”。在这种情况下，可以显示使用声音、闪烁等的警告。另选地，可以显示“位置向右偏离”、“位置在水平方向上向右偏离20度”等，可以在画面的边缘显示在关注运动员的方向旋转的针(例如罗盘)，或者可以使用数字或标度在画面的角落显示偏离画面的程度。
换言之，可以通过显示标度并使用位于标度位置处的光标来显示偏离量，或者可以将条的长度显示为根据偏离量而沿着标度改变。
接下来，图18是示出照相机侧的关注运动员显示跟踪控制流程的另一示例的图。
在图18中，附图标记与图8相同的步骤，即除了S3300以外的步骤与图8相同，因此不再赘述。S3300是通过照相机自身对关注运动员进行跟踪。这里，当关注运动员在照相机正在拍摄的区域外时，指示运动员方向的箭头显示在显示单元上。S3300的详细流程如图19所示。
在图19的S3311中，照相机从服务器接收关注运动员的绝对位置信息。在S3312中，照相机基于用于照相机摄影的位置、方向、倍率等，将关注运动员的绝对位置信息转换为相对位置信息。在S3313中，基于从照相机看到的相对位置的信息，在显示单元上显示关注运动员的位置。在S3314中，确定当前时间关注运动员是否在照相机的拍摄区域外，即照相机的显示单元的画面外，并且如果运动员在画面外，则处理进入S3316，并且如果运动员在画面内，则处理进入S3315。
在S3315中，在照相机的显示单元上不显示指示关注运动员的位置的箭头。代替地，显示指示关注运动员的位置的诸如框的标记。在S3316中，使用箭头在照相机的显示单元的外围部分显示关注运动员的位置。在S3317中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S3311，并且如果关注运动员跟踪结束，则S3300流程结束。
图20是示出图18的S3300中的针对图17的(C)的显示的流程的图。在图20中，从S3311到S3515和S3517的步骤与图19中的相同，因此将省略对其的描述。在S3516中，使用箭头在照相机的显示单元的画面内的外围部分显示关注运动员的位置。这里，箭头的长度根据运动员置于显示画面内的照相机的旋转角度而改变。箭头随着照相机旋转角度的增大而变长。
图21是示出图18的S3300中的针对图17的(D)的显示的流程的图。在图21中，从S3311到S3515和S3517的步骤与图19和图20中的相同，因此将省略对其的描述。在S3716中，使用箭头在照相机的显示单元的画面内的外围部分显示关注运动员的位置，并且箭头的粗细度根据运动员置于显示画面内的照相机的旋转角度而改变。箭头随着照相机旋转角度的增大而变粗。
此外，虽然在示例中关注运动员的数量是一个，但是关注运动员的数量可以是多个。此外，假设关注运动员在比赛中途被切换。关注运动员可以是参与比赛的所有运动员。此外，假设视频和图像不仅包括运动图像，还包括静止图像。此外，主要描述了对关注运动员的跟踪。然而，在不只跟踪关注运动员的情况下，可以将持球或接球的运动员的信息发送给专业摄影师和观众并且显示。另外，虽然使用了跟踪运动员的示例来描述示例，但是不必说，本发明也可以适用于使用多个监视照相机跟踪诸如罪犯的人物的系统。
另选地，本发明可以应用于赛车中用于跟踪特定汽车等的系统、赛马中用于跟踪马的系统等，而不限于跟踪人。此外，虽然在示例中已经描述了用照相机终端等指定关注运动员的示例，但是服务器侧可以指定关注运动员。
接下来，将基于图22描述检测关注运动员是否犯规的流程。
在图22的流程中，例如在橄榄球比赛中基于多个照相机的视频来判断受罚席(penalty box)的犯规等，检测暂时离开的运动员的信息，并且服务器将该信息发送给专业摄影师和一般观众拥有的照相机等。此外，被视为被送至受罚席的运动员被强制离开比赛10分钟。处罚根据运动员犯规时的犯规的严重程度而改变，并且在红牌意味着立即离开的情况下，在10分钟期间禁止运动员参赛的涉及受罚席的犯规至少暂时将运动员送出场外。
在图22中示出了用于检测关注运动员是否犯规的(服务器侧的)关注运动员检测控制流程。
在图22的S1001中，服务器基于来自多个照相机的视频来检测球的位置信息。使用球的位置信息粗略估计运动员的位置。此外，根据运动员的角色(诸如前锋或后卫)(对于作为首先出场的队员的运动员的角色，利用他们的制服号码和姓名来识别，以及对于替补运动员的姓名、制服号码和角色，利用预先登记的运动员信息、当日比赛的运动员的制服号码以及运动员的角色来识别)来识别使用面部信息搜索运动员的区域。在S1002中，服务器识别包括替补运动员的关注运动员的多个面部信息，并从多个照相机的视频信息中获取具有该面部信息的运动员的位置信息。
如果使用来自多个照相机中的一个照相机的视频找到包括替补运动员的关注运动员的面部信息，则输入示出的大小、角度还有背景(场地)的信息，并因此可以获取包括替补运动员的关注运动员的位置信息。
如果同样使用来自多个照相机的视频找到包括替补运动员的关注运动员的面部信息，则输入示出的大小、角度还有背景(场地)的信息，并因此可以高精度地获取包括替补运动员的关注运动员的位置信息。在S1003中，基于输入的信息检测包括替补运动员的关注运动员的绝对位置。
在S1004中，将S1003中检测到的关注运动员的绝对位置发送到专业摄影师和一般观众所拥有的照相机终端。在S1005中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S1006，并且如果不继续跟踪关注运动员，则图22流程结束。在S1006中确定是否发生了临时离场的犯规，如果发生了临时离场的犯规，则处理进入S1007，并且如果没有发生临时离场的犯规，则处理进入S1005。
在S1007中确定临时离场的犯规是否涉及红牌，并且如果是红牌犯规，则处理进入S1008，并且如果不是红牌犯规，则处理进入S1009。处理进入S1009的情况是发生受罚席的犯规的情况。在S1008中，服务器识别出领到红牌的运动员，将该运动员从参赛队员中排除，并更新参赛运动员的信息列表。
在S1009中，服务器识别出被送至受罚席的运动员，将该运动员从参赛队员中排除10分钟(10分钟离场是指导的)，并更新参赛运动员的信息列表。这里，被送至受罚席的运动员在他或她返回场地时被识别，并更新参赛运动员的信息列表。这里，被送至受罚席的运动员在他或她返回场地时被识别，更新参赛运动员的信息列表，并且处理进入S1001。
此外，虽然竞赛的情况(某队是在进攻还是在防守)是在运动员的角色等于位置的前提下根据球的位置来确定的，但是例如，基于竞赛的情况(比赛的情况)的控制不限于球的位置。
例如，当某队犯规时，给予对方球队罚球等。在这种情况下，获得罚球的队很有可能在比赛中从球的当前位置前进。因此，可以基于预测球队前进的比赛的情况来进行控制。可以基于犯规来预测球的位置。
此外，至少对于S1006中的临时离场的犯规，例如，服务器可以利用多个照相机识别并检测犯规离场的运动员。
除此之外，还有一种将裁判员或其他人的呼叫识别和检测为音频信息的方法。另外，可以从大屏幕上显示的犯规信息中检测到犯规。
如上所述，如果专业摄影师和观众实时知道判断状况，他们就可以预测球的下一个位置。另外，如果犯规的信息显示在各照相机的显示单元上，则照相机终端侧可以通过观看显示来预测球的下一个假定位置，并在更合适的快门时机拍摄照片。
专业摄影师和一般观众关注比赛中的判断。采用包括一个裁判员和两个巡边员的三人裁判员制。特别是存在仅依靠人眼难以判断的情况，诸如运动员似乎决定达阵的场景中的判断、或对比赛中犯规的判断。因此，当肉眼难以判断时，进行视频判断(电视比赛官员或TMO)来支持裁判员进行判断。
当专业摄影师和一般观众用他们的终端(诸如照相机)拍摄达阵的场景时，专业摄影师和一般观众想立即知道当时拍摄的图像是被认定为达阵还是不被认定为达阵。因此，通过从多个照相机的视频跟上后续的判断，或者通过服务器基于电子标识牌上显示的信息进行分析，来准确地识别判断。然后，由于裁判员的判断结果被发送到专业摄影师和一般观众的终端(诸如照相机)，因此用户可以及时地正确识别判断结果。
存在多个方法来检测是否进行了达阵。在图23中示出了下面将详细描述的(服务器侧的)达阵确定控制流程。
在图23中，S1101表示初始化。这里，TRY判断标志被清除。在S1102中确定是否选择了拍摄，并且如果选择了拍摄，则处理进入S1103，并且如果没有选择拍摄，则处理进入S1101。在S1103中，获取照相机设置信息。在S1104中，在多个照相机的视频中跟踪比赛中使用的球。
在S1105中，确定TRY判断标志是否为0，如果TRY判断标志为0，则处理进入S1106，并且如果TRY判断标志不为0，则处理进入S1107。在S1106中确定是否似乎进行了达阵，并且如果似乎进行了达阵，则处理进入S1107，并且如果似乎没有进行达阵，则处理进入S1112。这里，似乎进行了达阵是指：运动员将球带入达阵区域的状态。
例如，存在运动员紧挨在达阵之前向前传球(knock-on)(运动员向前丢球)的情况，或者防守运动员用手或身体接球以试图阻止着地的情况。换言之，存在未确认达阵的状态。在S1107中，将TRY判断标志设置为1。在S1108中，确定是否进行了达阵。
图24的(A)和(B)、图25的(A)和(B)以及图26示出了判断达阵的具体示例，并且稍后将描述这些示例。
在S1109中确定在S1108的控制中是否出现了有无达阵的确定结果，并且如果出现了有无达阵的确定结果，则处理进入S1110，而如果没有出现有无达阵的确定结果，则处理进入S1112。在S1110中，将TRY判断标志设置为0。在S1111中，服务器向专业摄影师和一般观众所拥有的诸如照相机的终端发送是否存在达阵的信息。在S1112中确定比赛是否结束，并且如果比赛结束，则处理进入S1101，并且如果比赛未结束，则处理进入S1104。
上面已经描述了用于确定有无达阵的控制。然而，CPU不仅执行控制，并且例如可以同时并行地进行图11所示的关注运动员检测控制。
此外，服务器同时并行地进行的控制不限于此，而可以同时进行其他多个控制操作。同时，对于专业摄影师和一般观众所拥有的诸如照相机的终端也是如此，并且可以同时进行其他多个控制操作。
当拍摄达阵的场景时，应该正确识别达阵是成功还是失败。服务器检查关于是成功达阵还是成功追加(conversion)的判断。这里，已经描述了达阵的示例。但是，控制不限于达阵，可以对其他的得分场景进行类似的控制。
当分析多个照相机的视频并且存在似乎进行了达阵的比赛时，利用多个照相机分析球的运动，并且识别球是否确实在预定区域内着地。服务器将根据识别出的球的运动而分析出的关于是否存在达阵的信息连同运动员信息一起发送给专业摄影师和一般观众所拥有的诸如照相机的终端。
图24的(A)示出了在服务器侧使用球的运动来确定有无达阵的流程。
在图24的(A)的S1201中，服务器从多个照相机的图像中检测球的位置。在S1202中，基于球的运动，识别在多个照相机的图像中被视为达阵的场景中是否存在达阵。
接下来，图24的(B)示出了基于裁判员的动作的达阵有无判断流程。
当分析多个照相机的视频并且存在似乎进行了达阵的比赛时，然后可以使用多个照相机的视频对在关注运动员附近的裁判员基于规则的动作进行分析以进行图像识别，并且可以基于裁判员的动作来识别是否存在达阵。
服务器将根据识别出的裁判员动作的关于是否存在达阵的分析结果(动作识别结果)的信息连同运动员信息一起发送给专业摄影师和一般观众所拥有的诸如照相机的终端。
在图24的(B)的S1301中，服务器从多个照相机的视频中检测正在做出与判断达阵的运动接近的运动的裁判员的动作。在S1302中，基于裁判员的动作，来识别在从多个照相机的视频中被视为达阵的场景中是否存在达阵。
图31示出了正在判断达阵的裁判员的动作。图31的(A)示出了当达阵成功时裁判员采取的动作。图31的(B)示出了当达阵不成功时裁判员采取的动作。
此外，将使用图25描述根据显示在竞技场的大屏幕上的信息来识别有无达阵的流程。
当分析多个照相机的视频并且存在似乎进行了达阵的比赛时，多个照相机输入要投影在竞技场的大屏幕上的信息，并且可以基于屏幕上的信息来识别是否存在达阵。
服务器将根据识别出的屏幕上的信息分析出的关于是否存在达阵的信息连同运动员信息一起发送给专业摄影师和一般观众所拥有的诸如照相机的终端。
图25的(A)中示出了基于显示在屏幕上的服务器侧的判断结果的达阵有无判断流程。在图25的(A)的S1401中，服务器从多个照相机的图像中检测在似乎达阵的运动之后显示在屏幕上的判断结果的信息。在S1402中，根据显示在屏幕上的判断结果，来识别在从多个照相机的视频中被视为达阵的场景中是否存在达阵。
接下来，将使用图25的(B)描述基于屏幕上显示的得分信息的达阵有无识别流程。
当分析多个照相机的视频并且存在似乎进行了达阵的比赛时，基于多个照相机的图像输入投影在屏幕上的得分信息，并基于屏幕上的得分信息识别是否存在达阵。服务器将根据识别出的屏幕上的得分信息分析出的关于是否存在达阵的信息连同运动员信息一起发送给专业摄影师和一般观众所拥有的诸如照相机的终端。
如果进行了达阵，将获得五分，然后追加射门成功，将获得两分。此外，如果罚球或落踢射门(drop goal)成功，将获得三分。可以通过将认为进行了达阵之前的分数与进行了达阵之后的分数进行比较，来识别达阵是否成功。
图25的(B)中示出了服务器基于屏幕上的得分信息进行的达阵有无判断流程。
在图25的(B)的S1501中，服务器从多个照相机的图像中检测在似乎达阵的动作之后显示在屏幕上的得分信息。在S1502中，基于显示在屏幕上的得分信息的差异，来识别在从多个照相机的视频中被视为达阵的场景中是否存在达阵。在S1503中，基于显示了在从多个照相机的图像中被视为达阵的场景中是否存在达阵的屏幕上的得分信息的差异来识别达阵、追加射门、罚球或落踢射门。
接下来，将使用图26描述根据在场地中宣布的音频信息来识别有无达阵的流程。
当分析从附接到多个照相机(固定照相机和移动照相机)的麦克风输入的音频信息并且存在似乎进行了达阵的比赛时，基于来自麦克风的音频信息识别是否存在达阵。服务器将根据识别出的音频信息分析出的关于是否存在达阵的信息连同运动员信息一起发送给专业摄影师和一般观众所拥有的诸如照相机的终端。
图26中示出了服务器使用音频信息判断有无达阵的具体流程。在图26的S1601中，服务器从多个照相机的麦克风中检测在似乎达阵的动作之后收集的音频信息。在S1602中，基于来自多个照相机的麦克风的音频信息，识别在被视为达阵的场景中存在达阵。
虽然在上述示例中描述了对达阵得分的判断，但是除了达阵得分以外，还可以考虑达阵后的追加得分和罚球得分。
此外，虽然在图23中示出了在服务器侧检测是否进行了达阵的流程，但是将描述在诸如照相机的终端侧关于是否进行了达阵的控制。
图27示出了诸如照相机的终端侧的达阵判断控制流程。因为图27中的S101至S107-2、S109和S110的步骤与图9中的相同，所以将省略对其的描述。
在S1620中确定关注运动员的继续跟踪是否OK(成功)，并且如果关注运动员的继续跟踪成功，则处理进入S1621。在S1621中确定是否从服务器发送了达阵判断结果，并且如果从服务器发送了达阵判断结果，则处理进入S1622，如果没有从服务器发送达阵判断结果，则处理返回到S107，并且照相机自身继续跟踪关注运动员。在S1622中，在照相机的显示单元上显示达阵判断结果。
此外，如果在S1620中关注运动员的继续跟踪不成功，则处理进入S109，确定关注运动员的拍摄是否结束，并且如果拍摄没有结束，则处理返回S105。如果拍摄结束，则处理进入S1623，确定是否从服务器发送了达阵判断结果，并且如果从服务器发送了达阵判断结果，则处理进入S1624，并在照相机终端的显示单元上显示达阵判断结果。如果没有从服务器发送达阵判断结果，则处理返回S101。
如上所述，当似乎存在达阵时，照相机终端侧可以显示达阵是否成功。
因此，例如，一般观众或摄影师可以正确地识别对所拍摄照片的评估。然后，摄影师仅通过观看照相机的显示单元来识别判断，并因此可以适当地选择要发送给出版社的照片，并可以更早地为下一次拍摄做好准备。
接下来，描述对运动员犯规的判断。给予对方球队的优势可以根据犯规的处罚级别而改变。如果犯规严重，将被给予黄牌，进入受罚席，并禁止该运动员参赛10分钟。
此外，如果犯规严重并被给予红牌，则该运动员应立即离开场地。重要的是，服务器利用多个照相机识别犯规，将信息发送到专业摄影师和一般观众所拥有的诸如照相机的终端，并将犯规信息连同运动员信息一起从照相机通知给专业摄影师和一般观众。
在图28中示出了用于描述检测是否发生犯规的方法的示例的、服务器侧的运动员犯规判断控制流程。
在图28中，S1701表示初始化。这里，判断标志被清除。接下来，在S1702中确定是否选择了拍摄，并且如果选择了拍摄，则处理进入S1703以获取照相机设置信息。如果没有选择拍摄，则处理返回到S1701。在S1704中，利用多个照相机对所有参赛的运动员进行跟踪。在S1705中确定判断标志是否为0，如果判断标志为0，则处理进入S1706，而如果判断标志不为0，则处理进入S7107。
在S1706中确定运动员是否似乎犯规，并且如果运动员似乎犯规，则处理进入S1707，将判断标志设置为1。如果运动员似乎没有犯规，则处理进入S1712。这里，犯规的运动员是指有可能犯规的运动员，因为根据运动员对对方运动员的阻挡或撞击的方式，比赛可能会被认定为发生了犯规。此外，即使有运动员犯规，也存在犯规的级别。换言之，在该示例中没有确认运动员的犯规的级别。在S1708中，确定是否有运动员犯规。图29的(A)和(B)示出了判断运动员犯规的流程的具体示例，其细节将在后面描述。
在S1709中确定在S1708的控制中是否出现了有无运动员犯规的确定结果，并且如果出现了有无运动员犯规的确定结果，则处理进入S1710，并且如果没有出现有无运动员犯规的确定结果，则处理进入S1712。在S1710中，将判断标志设置为0。在S1711中，服务器将是否有运动员犯规信息和犯规时的犯规级别的信息发送给专业摄影师和一般观众所拥有的诸如照相机的终端。
在S1712中确定比赛是否结束，并且如果比赛结束，则处理进入S1701，并且如果比赛没有结束，则处理进入S1704。
上面已经描述了判断有无运动员犯规的控制。然而，该流程并非仅用于进行控制，而可以同时或并行地进行其他多个控制操作。同时，对于专业摄影师和一般观众所拥有的诸如照相机的终端也是如此，并且在终端侧可以同时或并行进行多个控制操作。
当分析多个照相机的视频并且存在似乎发生了犯规的比赛时，然后使用多个照相机分析裁判员的动作，并且可以基于裁判员的动作来识别是否存在犯规。服务器将根据识别出的裁判员动作而分析出的有无犯规的信息连同运动员信息一起发送给专业摄影师和一般观众所拥有的诸如照相机的终端。
图29的(A)示出了基于裁判员的动作的服务器侧的运动员犯规判断流程的示例。在图29的(A)的S1801中，服务器从多个照相机的视频中检测与似乎是运动员犯规的运动有关的裁判员的动作。
在S1802中，基于裁判员的动作，来识别在多个照相机的视频中被视为运动员犯规的场景中是否存在运动员犯规。
接下来，将使用图29的(B)描述根据在场地中宣布的音频信息来识别有无犯规的流程的示例。
当分析从附接到多个照相机的麦克风输入的音频信息并且存在似乎发生了犯规的比赛时，分析来自麦克风的音频信息以根据音频信息识别是否存在犯规。
然后服务器将根据识别出的音频信息而分析出的是否存在犯规的信息连同运动员信息一起发送给专业摄影师和一般观众所拥有的诸如照相机的终端。
图29的(B)示出了服务器侧的基于音频信息的运动员的犯规判断流程。在图29的(B)的S1901中，服务器从多个照相机的麦克风中检测在似乎是运动员犯规的运动之后收集的音频信息。在S1902中，基于音频信息来识别在被视为运动员犯规的场景中是否存在运动员犯规、以及在运动员犯规的情况下的犯规级别。
虽然在发生犯规时利用多个照相机(固定照相机和移动照相机)识别犯规的情况，但将其信息发送到专业摄影师和一般观众所拥有的诸如照相机的终端并显示在终端。
在此，图30示出了照相机侧的犯规判断控制流程，并基于照相机侧的达阵判断控制流程在照相机侧显示犯规的情况。
仅图30的S7421至S7424与图27不同。换言之，不同之处在于图27的S1621、S1622、S1623、S1624被替换为S7421、S7422、S7423、S7424，并且“达阵判断”的各描述被改变为“犯规判断”。
根据上述本示例，服务器分析除关注运动员以外(除特定对象以外)的周围的信息，并将分析结果发送到诸如照相机的图像处理装置，因此诸如照相机的终端侧可以掌握比赛的实时情况，诸如达阵、得分和犯规。因此，摄影师等可以获得非常有利的信息，特别是当他们在比赛期间及时选择照片并将其发送给出版社时。此外，运动员的运动可以作为大数据存储在服务器中，以基于大数据使用AI来预测运动员的动作。此外，尽管在示例中将关注运动员的数量指定为仅一个，但是关注运动员的数量可以是多个。
此外，假设关注运动员在比赛中途被切换。关注运动员可以是所有参赛的运动员。此外，假设视频和图像不仅包括运动图像，还包括静止图像。此外，主要描述了对关注运动员的跟踪。然而，在不只跟踪关注运动员的情况下，可以将持球或接球的运动员的信息传送给专业摄影师和观众并显示。
此外，虽然在示例中描述了运动员被跟踪的示例，但是不用说，本发明可以应用于使用多个监视照相机来跟踪诸如罪犯的人物的系统等。另选地，本发明可以应用于赛车中用于跟踪特定汽车等的系统、赛马中用于跟踪马的系统等，而不限于跟踪人。此外，虽然在示例中已经描述了用照相机终端等指定关注运动员的示例，但是服务器侧可以指定关注运动员。
此外，如果在识别运动员面部时进一步关注于包括替补运动员的运动员的角色来进行确定，则可以缩短服务器对运动员的检测，并且可以进一步提高对包括替补运动员的运动员的检测的精度。
在图32中示出了这种情况下的包括替补运动员的关注运动员检测控制的流程的示例。
在图32的S801中，服务器从来自多个照相机的视频中检测球的位置信息。使用球的位置信息粗略估计关注运动员的位置。此外，根据运动员的角色(诸如前锋或后卫)(对于作为首先出场的队员的运动员的角色，利用他们的制服号码来识别，以及针对替补运动员，对于替补运动员的姓名、制服号码和角色，利用预先登记的运动员信息、当日比赛的运动员的制服号码以及运动员的角色来识别)来识别搜索面部信息的运动员的区域。
在S802中，服务器在S801中识别出的区域中识别包括替补运动员的关注运动员的面部信息，并通过多个照相机的视频信息的输入，获取具有该面部信息的运动员的位置信息。
如果使用来自多个照相机中的各个照相机的视频找到包括替补运动员的关注运动员的面部信息，则输入示出的大小、角度还有背景(场地)的信息，并因此可以获取包括替补运动员的关注运动员的位置信息。如果同样使用来自多个照相机的视频找到包括替补运动员的关注运动员的面部信息，则输入示出的大小、角度还有背景(场地)的信息，并因此可以提高包括替补运动员的关注运动员的位置信息的精度。
在S803中，基于从S802中检测到的多个照相机的视频信息中获取的关注运动员的位置，检测关注运动员的绝对位置。在S804中，将S803中检测到的关注运动员的绝对位置发送到专业摄影师和一般观众所拥有的照相机终端。
在S805中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S801，并且如果不继续跟踪关注运动员，则图32的流程结束。
这里，虽然竞赛或比赛的情况(某队是在进攻还是在防守)是基于球的位置来确定的，但是例如，基于比赛情况的控制不限于球的位置。例如，当某队犯规时，给予对方球队罚球等。在这种情况下，获得罚球的球队很有可能在比赛中从球的当前位置前进。因此，可以基于预测球队前进的比赛的情况来进行控制。如上所述，可以基于犯规来预测球的位置。
可以基于多个服务器用的照相机的视频来识别运动员变化的信息，并因此可以识别出运动员离场和进场的信息(包括运动员的位置)。另外，服务器将信息发送给专业摄影师和一般观众所拥有的照相机终端。跟踪在运动员变化时运动员进入场地的位置，同时将该位置通知给专业摄影师和一般观众所拥有的照相机终端。
将使用图33描述基于替补运动员检测控制来支持运动员变化中的运动员检测的方法。图33中示出了如下流程：考虑到运动员变化时运动员的角色(位置)，使用面部识别信息来检测包括替补运动员的关注运动员。
图33中与图32中相同的附图标记表示相同的步骤，并且将省略其描述。
在S905中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S906，并且如果不继续跟踪关注运动员，则控制结束。在S906中确定是否进行了运动员变化，并且如果进行了运动员变化，则处理进入S907，并且如果没有进行运动员变化，则处理进入S901。在S907中，服务器识别运动员变化，并更新参赛运动员的信息的列表。
这里，虽然比赛的情况(某队是在进攻还是在防守)是基于球的位置来确定的，但是例如，基于比赛情况的控制不限于球的位置。例如，当某队犯规时，给予对方球队罚球等。在这种情况下，获得罚球的球队很有可能在比赛中从球的当前位置前进。因此，可以基于预测球队前进的比赛的情况来进行控制。如上所述，可以基于犯规来预测球的位置。此外，对于S906中的运动员变化，例如，服务器可以利用多个照相机识别和检测运动员离场和运动员进场。
除此之外，存在如下方法：将裁判员或其他人的呼叫识别和检测为音频信息。此外，存在如下方法：根据显示在大屏幕上的运动员变化信息来检测运动员。此外，可以从大屏幕上显示的队员列表中检测运动员。
当检测到关注运动员时，可以从多个服务器用的照相机的视频中检测进行了受罚席等的犯规并暂时离场的运动员的信息。
另外，服务器将信息发送给专业摄影师和一般观众所拥有的照相机终端。在受罚席受罚的运动员禁止参赛10分钟。
在图33的示例中，基于多个照相机的视频识别运动员变化的信息，并因此识别运动员离场和运动员进场的信息(包括运动员的位置)。另外，服务器将信息发送给专业摄影师和一般观众所拥有的照相机终端。跟踪在运动员变化时运动员进入场地的位置，并且同时将该位置通知给专业摄影师和一般观众所拥有的照相机终端。
然而，在除了运动员变化以外的情况下，运动员需要离场。处罚根据运动员犯规时的犯规的严重程度而改变，并且涉及红牌的犯规意味着立即离开，而禁止运动员参赛10分钟的涉及受罚席的犯规使运动员暂时离场。因此，对于支持在运动员变化中检测运动员和基于捕捉替补运动员来检测犯规运动员的方法，使用如图22中的关注运动员检测控制流程。
在本示例中，预先登记关注运动员，在附有标记的照相机的显示单元上显示关注运动员的位置，并进一步针对关注运动员调整自动聚焦(AF)。因此，对于专业摄影师和一般观众快速拍摄关注运动员是有利的。
图34示出了关于关注运动员的自动聚焦(AF)的照相机侧的显示单元。在图34中，作为关注运动员，登记在图34的(A)的中心进行手递手传球的运动员。照相机对关注运动员进行自动聚焦(AF)。拍摄者从照相机的显示单元看到的视频为图34的(B)，并且对关注运动员进行自动聚焦(AF)，因此可以进行摄影而不会错过拍照机会。此外，此时可以对关注运动员自动调整曝光。
接下来，图35和图36示出了在照相机侧的关注运动员显示跟踪控制中针对关注运动员的AF流程。与图8相同的附图标记表示相同的步骤，并将省略其描述。
在图35的S3807中，基于关注运动员的位置信息，由照相机自身进行关注运动员的跟踪。此时，对关注运动员进行自动聚焦(AF)，并且在显示单元上对关注运动员附有标记。在S3808中确定关注运动员的继续跟踪是否OK(成功)，并且如果关注运动员的继续跟踪成功，则处理进入S3807，并由照相机自身继续进行关注运动员的跟踪，并且如果关注运动员的继续跟踪不成功，则处理进入S109。
图36示出了S3807的流程的细节。在图36的S3811中，照相机从服务器接收关注运动员的绝对位置信息。在3812中，照相机基于用于照相机摄影的位置、方向、倍率等，将关注运动员的绝对位置信息转换为相对位置信息。在S3813中，基于从照相机看到的相对位置的信息，在显示单元上显示关注运动员的信息。在S3814中，输入来自操作单元输入部906的信息，以确定是否选择了基于来自服务器的位置信息对关注运动员进行自动聚焦(AF)的模式。
然后，如果选择了对关注运动员的自动聚焦(AF)，则处理进入S3815，并且如果没有选择对关注运动员的自动聚焦(AF)，则处理进入S3816。此外，假设在没有选择对关注运动员的自动聚焦(AF)的情况下，无论关注运动员的位置信息如何，都根据在照相机的显示画面等内的中心处显示的框来进行AF或AE。
此外，可以将公知方法应用于S3815的自动聚焦(AF)方法，并将省略其描述。另外，在S3815中可以针对关注运动员调整曝光。在S3816中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S3811，如果结束对关注运动员的跟踪，则图36的流程结束。
通过上述控制，专业摄影师和一般观众的照相机终端不仅可以识别关注运动员，还可以快速对关注运动员进行AF和AE，并因此可以及时进行摄影。
此外，可以在照相机侧设置用于选择关注运动员自动跟踪模式的部分。这里，如果选择关注运动员自动跟踪模式，则照相机使用自动变焦功能将关注运动员置于显示单元的画面上。因此，专业摄影师和一般观众可以更轻松地使用该模式。
图37示出了在自动跟踪时照相机显示单元的显示示例。
在图37中，3901表示照相机的显示单元。在3901中，包括A、B、C、D、E、F、G、H的七名运动员被置于专业摄影师或一般观众的照相机拍摄区域。这里，关注运动员是K并且在照相机的拍摄区域外。
3902表示当自动跟踪模式开启时照相机的显示单元的缩小状态。由于变焦功能，照相机自动具有广角，并且进行将关注运动员K置于拍摄区域中的控制。图38是示出更具体的显示示例的图，并且在图38的(A)中，在显示来自图像传感器的实时取景图像时，在显示画面外的关注运动员由叠加在指向箭头方向的显示上的箭头表示。另外，在图38的(B)中示出了由于自动跟踪模式而变焦变宽的情况。这里，箭头指示关注运动员在画面中的位置。由于关注运动员位于显示画面内，因此可以容易地掌握比赛的情况，并且可以容易地获得用户想要拍摄的图像。
图39和图40示出了照相机侧的关注运动员显示跟踪控制流程，换言之，在关注运动员的自动跟踪模式时的流程。
图39中与图8相同的附图标记表示相同的步骤，并将省略其说明。在图39的S4007中，照相机自身跟踪关注运动员。此外，如果操作单元选择了自动跟踪模式，则进行关注运动员的自动跟踪，并且如果没有选择自动跟踪，则不进行自动跟踪。在专业摄影师或一般观众所拥有的照相机终端自动跟踪关注运动员时，自动控制变焦倍率，使得当运动员不在照相机区域内时，将运动员缩小并置于照相机的显示单元的画面内。S4007的控制在图40中详细示出并且将在下面描述。
在S4008中确定关注运动员的继续跟踪是否成功(OK)，并且如果关注运动员的继续跟踪成功，则处理进入S4007，并且通过照相机自身继续进行关注运动员的跟踪，而如果关注运动员的继续跟踪不成功，则处理进入S109。
接下来，将基于图40详细描述S4007。在图40的S4011中，照相机从服务器接收关注运动员的绝对位置信息。在S4012中，照相机基于用于照相机摄影的位置、方向、倍率等，将关注运动员的绝对位置信息转换为相对位置信息。
在S4013中，基于从照相机看到的相对位置信息，在显示单元上显示关注运动员的信息。在S4014中确定关注运动员是否在照相机的拍摄区域外。如果关注运动员在照相机的拍摄区域外(显示图像外)，则处理进入S4015，并且如果关注运动员在照相机的拍摄区域内(显示图像内)，则处理进入S4018。在S4015中，输入来自操作单元输入部906的信息以确定用户是否选择了关注运动员自动跟踪模式。
如果选择了关注运动员自动跟踪模式，则处理进入S4016，而如果尚未选择关注运动员自动跟踪模式，则处理进入S4018。在S4016中，向广角缩小运动员，直到在照相机的显示单元上显示关注运动员为止。在S4017中，进行对关注运动员的自动聚焦(AF)。此时，还进行AE，使得适当地对关注运动员曝光。在S4018中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S4011，并且如果关注运动员的跟踪结束，则图40的流程结束。
如上所述，整个比赛场地的视频由服务器读取，并且从由专业摄影师和一般观众拍摄的视频中掌握开始拍摄的位置。服务器可以从多个照相机获取整个场地的视频，并且可以将场地的位置信息映射到专业摄影师和一般观众观看的视频中。另外，当专业摄影师和观众的照相机从服务器接收到关注运动员的绝对位置信息时，可以将绝对位置信息映射到现在正在拍摄的视频中。换言之，专业摄影师和一般观众的照相机可以识别关注运动员并及时拍照。
这里，如果关注运动员不在照相机的拍摄区域内，则将变焦调整到广角并且进行控制，使得关注运动员被置于照相机的拍摄区域内。此外，由于照相机自动调整关注运动员的聚焦和曝光，因此专业摄影师和一般观众的照相机可以快速可靠地拍摄关注运动员被聚焦的视频。
此外，由于除了自动聚焦(AF)以外还自动进行自动曝光(AE)，因此无需等待用户进行调整即可获得最佳图像。此外，可以只进行AE，而不进行AF。此外，用户能够使用未示出的选择开关选择性地关闭AF和AE中的一个的控制。
如上所述，在橄榄球、足球等比赛中，运动员通过做出难以预测的步伐来躲避对手，因此保持跟踪关注运动员是非常困难的。本示例的优点在于，在这种情况下可以保持跟踪运动员，或者即使看不到关注运动员时也可以很快进行重新检测/重新跟踪。此外，在橄榄球、足球等比赛中，持球运动员一个接一个地改变。此时，被摄影师拍摄到的关注运动员一个接一个地改变。在这种情况下，例如，有一种跟踪持球运动员的方法。
服务器可以掌握场地中的当前情况并预测接下来可能发生的事件。然后，服务器将预测信息发送给专业摄影师和一般观众所拥有的照相机终端。预测信息显示在专业摄影师和一般观众所拥有的照相机终端上。专业摄影师和一般观众通过查看该信息可以更确定地获得拍照机会。
作为预测功能的一个具体示例，将描述预测运动员变化的情况。
服务器使用多个服务器用的照相机确定(分析)竞赛情况(比赛情况)，预测接下来会发生什么，并将基于该操作的信息发送到专业摄影师和一般观众拥有的照相机终端。在橄榄球中，当运动员受伤等时运动员变化的可能性很高。因此，在图41中示出了关注运动员变化检测控制流程，其中，基于替补运动员的准备状态来预测运动员变化的定时。
图41中与图11中相同的附图标记表示相同的步骤，并且将省略其描述。在S4107中，跟踪关注运动员。将使用图42描述具体流程。在4108中，识别替补运动员。S4108的细节将在图43中描述。在S4109中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S4107，并且如果不继续跟踪关注运动员，则处理进入S4110。在S4110中确定关注运动员的拍摄是否结束，并且如果关注运动员的拍摄结束，则处理进入S4111，并且如果关注运动员的拍摄没有结束，则处理进入到S206。在S4111中确定是否有替补运动员的运动，并且如果有替补运动员的运动，则处理进入S201，并且如果没有替补运动员的动作，则处理进入S4108。
接下来，使用图42来描述S4107的流程。
在该示例中，假设运动员自己允许位置传感器安装在诸如制服的衣服中，或者运动员使用围绕其手臂、腰部、腿部等的带来穿戴位置传感器。此外，当位置传感器使用通信部向服务器侧无线发送信息以生成位置信息时，服务器识别来自运动员的位置传感器的信号，并且服务器将位置信息通知给专业摄影师和一般观众所拥有的诸如照相机的终端。
在图42的S4201中，服务器从多个照相机获取关注运动员的位置传感器的信息。多个照相机中的各个包括检测部，该检测部从位置传感器接收无线电波，检测接收到的无线电波的方向和接收到的无线电波的级别，并输出这些因素作为位置传感器的信息。在S4202中基于来自多个照相机的位置传感器的信息来检测关注运动员的绝对位置。在S4203中，将关注运动员的绝对位置信息发送到专业摄影师和一般观众所拥有的照相机终端。在S4204中确定关注运动员是否受伤，并且如果关注运动员受伤，则处理进入S4206，并将关注运动员受伤的事实存储在诸如数据存储器213的存储部中。
如果关注运动员没有受伤，则处理进入S4205。在S4205中确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则处理进入S4201，并且如果不继续跟踪关注运动员，则图42的流程结束。
图43中示出了S4108的替补运动员识别控制流程。
在图43的S4301中，服务器从多个照相机获取替补运动员的位置传感器的信息。位置传感器的信息也包括接收到的无线电波的方向和接收到的无线电波的级别。
在S4302中，基于来自多个照相机的位置传感器的信息，检测替补运动员的绝对位置。在S4303中，关注于替补运动员的运动。特别地，如果关注运动员是替补运动员，则注意他或她的运动。在S4304中确定是否有替补运动员的运动，并且如果有替补运动员的运动，则图43的流程结束，并且如果没有替补运动员的运动，则处理进入S4301。
如果可以预测运动员的拦截等，则可以可靠地使用拍照机会。换言之，如果专业摄影师和一般观众能够拍摄出意想不到的运动员的运动，则他们能够拍摄出高价值的照片。
另外，例如，当在棒球中击球时，可以基于诸如投手变化的可能性增加的统计数据来预测运动员变化。
运动员的运动可以作为大数据存储在服务器中，以基于大数据使用AI来预测运动员的运动。
尽管在示例中关注运动员的数量是一个，但是关注运动员的数量可以是多个。此外，假设关注运动员在比赛中途被切换。
另外，在以上描述中，假设视频不仅包括运动图像而且还包括静止图像。
在上述示例中，可以在诸如照相机的终端侧上及时显示关注运动员的位置，从而使观众和摄影师可以拍摄关注运动员，而不会错过拍照机会。
此外，假设关注运动员的指定在比赛中途被切换。关注运动员可以是所有参赛的运动员。此外，假设视频和图像不仅包括运动图像，还包括静止图像。此外，主要描述了对关注运动员的跟踪。然而，在不只跟踪关注运动员的情况下，可以将持球或接球的运动员的信息发送给专业摄影师和观众并显示。
另外，虽然在示例中描述了橄榄球运动员等被跟踪的示例，但是可以跟着其他运动的运动员，并且不用说，本发明可以应用于使用多个监视照相机来跟踪诸如罪犯的特定人物的系统等。另选地，本发明可以应用于赛车中用于跟踪特定汽车等的系统、赛马中用于跟踪马的系统等，而不限于跟踪人。此外，虽然在示例中已经描述了用照相机终端等指定关注运动员的示例，但是服务器侧可以指定关注运动员。
另外，例如，虽然在奥运会、世界杯等国际比赛中，存在将特权赋予一些观众、赞助商等的很多情况，但是，在本示例中，根据特权或契约级别，可以改变附加值提供的级别。可以通过输入密码等来实现根据这种级别的控制，并且签订特殊契约的专业摄影师可以通过输入密码获取运动场内外的高价值视频和各种信息，从而能够拍摄好的照片。
尽管以上描述了本发明的示例性示例，但是本发明不限于此，并且可以在本发明的主旨范围内进行各种变型和改变。
另外，可以经由网络或各种存储介质，将针对本发明的一部分或整体控制实现上述示例的功能的程序(软件)提供给摄像装置和信息处理装置。另外，摄像装置和信息处理装置的计算机(CPU、MPU等)可以读取并执行该程序。在这种情况下，程序和存储程序的存储介质构成了本发明的范围内。
(相关申请的交叉引用)
本申请要求2018年11月7日在先提交的日本专利申请2018-209469、2018-209480和2018-209494的优先权。另外，这些日本专利申请的全部内容通过引用并入本说明书。
附图标记列表
101、102、103 照相机
401、402、403 终端
110 服务器
371 跟踪单元
380 图像显示单元。
机译： 图像处理装置，图像处理方法，用于图像处理的计算机程序以及用于存储图像处理计算机程序的存储介质
机译： 图像处理装置，图像处理方法和计算机程序，尤其是用于校正输入图像的亮度的图像处理装置，图像处理方法和计算机程序
机译： 图像处理装置，图像处理方法，图像处理装置的控制方法，计算机程序，存储介质
