自动跟踪照相机系统的控制设备和自动跟踪照相机系统

摘要

本发明提供自动跟踪照相机系统的控制设备和自动跟踪照相机系统。具有自动跟踪功能的照相机监视器系统的控制设备具有：模式切换器，在正常拍摄模式和跟踪模式之间切换照相机；显示位置选择器，选择监视器画面上的要显示所选择的特定对象的显示位置；和信号输出单元，输出用于驱动自动跟踪照相机的驱动信号，使得在显示位置处显示被跟踪的特定对象的图像。当通过模式切换器选择跟踪模式时，在照相机开始对所选择的特定对象进行自动跟踪之前执行的设定期间，信号输出单元向照相机输出响应于操作部分的操作量的驱动信号，使得在监视器画面上偏移所选择的特定对象时的所选择的特定对象的偏移方向与所表示的方向一致。

说明书

技术领域

本发明涉及自动跟踪照相机的控制设备，所述自动跟踪照相机可适当地用于TV照相机或监视照相机中以使用电动云台(motorized pan and tilt head)来跟踪要被跟踪的对象(特定对象)(以拍摄其图像)并且在用于观察的监视器中显示该图像。本发明还涉及配备有这种控制系统的自动跟踪照相机系统。 

背景技术

已知具有电动云台的照相机，所述电动云台能够旋转或摇摆(swing)以摇动(pan)或倾斜(tilt)照相机。操作装置通过电缆或无线连接与这种具有电动云台的照相机耦合，以允许对电动云台的驱动以及照相机的拍摄操作的远程控制。操作员观察在监视器上显示的图像并且操作该操作装置以控制照相机和电动云台。 

近年来，提出了在具有电动云台的照相机中使用图像识别技术以跟踪由照相机成像的对象以供观察的自动跟踪照相机系统(参见日本专利申请特开No.2002-191046和H08-98062)。 

在日本专利申请特开No.2002-191046中公开的自动跟踪照相机系统中，在开始对象的自动跟踪之前，在监视器上的图像中选择要被跟踪的对象，并且，选择输出位置或监视器画面上的要显示所选择的对象的位置。日本专利申请特开No.2002-191046公开了通过在监视器画面上输入指定的输出位置而允许选择对象的输出位置的控制台(操作装置)，作为用于选择或设定监视器画面上的所选择的对象的输出位置的手段。 

日本专利申请特开No.H08-98062公开了通过对操作装置进行操 作来摇动和倾斜电动云台以将对象移动到监视器图像中的希望的位置。但是，日本专利申请特开No.H08-98062没有公开自动跟踪照相机系统，从而它没有教导用于选择对象在监视器画面上的输出位置的手段。 

在日本专利申请特开No.2002-191046中公开的技术中，如图6A所示，在开始对象的跟踪之前，通过用于选择要被跟踪的对象的输出位置选择器，指定或输入指定的位置P，作为显示图像D(或监视器画面)中的输出位置。在开始跟踪对象S之后，如图6B所示，以在指定的位置P处输出对象S的方式控制电动云台。此时，由于图6B中的阴影区域H如图6A所示的那样在开始跟踪之前处于图像外部(即，不落入拾取区域内)，因此存在不能在开始跟踪之前观察对象S的背景的问题。 

为了解决在日本专利申请特开No.2002-191046中公开的技术遇到的此问题，如在日本专利申请特开No.H08-98062中公开的那样，可以对操作装置的操作部分进行操作，以通过电动云台的旋转而将对象S带到指定的位置P。这将使得能够在开始跟踪之前观察对象的背景。但是，如果如日本专利申请特开No.H08-98062中的情况那样操作部分的操作方向和电动云台的旋转方向相同，那么必须沿与希望对象在画面上偏移的方向相反的方向操作该操作部分。这对于操作员不是直观的操作，从而可能导致操作错误。此外，在日本专利申请特开No.H08-98062中公开的系统中，可以改变电动云台的旋转方向。在这种情况下，操作员需要在选择对象的输出位置时检查电动云台的旋转方向是与操作部分的操作方向相同还是相反。这使操作复杂化。 

发明内容

根据本发明的自动跟踪照相机的控制设备具有跟踪从由照相机拾取并且在监视器画面上显示的对象中选择的特定对象的自动跟踪功能和在监视器画面上的预定位置处显示所选择的特定对象的显示功能。所述控制设备包括：模式切换器，在正常拍摄模式和跟踪模式之间切 换自动跟踪照相机；显示位置选择器，利用操作部分的操作来选择要在监视器画面上显示所选择的特定对象的显示位置；和信号输出单元，输出用于驱动自动跟踪照相机的驱动信号，使得在通过显示位置选择器选择的显示位置处显示跟踪的特定对象的图像，其中，当通过模式切换器选择跟踪模式并且自动跟踪照相机处于自动跟踪照相机自动跟踪所选择的特定对象的设定之前的设定中时，信号输出单元向自动跟踪照相机输出响应于操作部分的操作量的驱动信号，使得在通过对操作部分进行操作而偏移监视器画面上的所选择的特定对象时的所选择的特定对象的偏移方向与操作部分的操作方向一致。 

参照附图阅读示例性实施例的以下描述，本发明的其它特征将变得清晰。 

附图说明

图1是示出根据本发明的第一实施例的设备的相关部分的图。 

图2示出根据本发明的其中显示被跟踪的对象框和输出位置选择标记的监视器画面上的图像。 

图3包括根据本发明的第一实施例的选择输出位置的处理的流程图和示出监视器画面的图。 

图4是根据本发明的第一实施例的选择输出位置的处理的流程图，其中，步骤S7、步骤S8和步骤S11被省略。 

图5是根据第二实施例的处理的流程图。 

图6A和图6B示出在日本专利申请特开No.2002-191046中公开的设备的问题。 

具体实施方式

将根据附图详细描述本发明的优选实施例。 

本发明的目的是提供自动跟踪照相机的控制设备，该控制设备使得能够在要跟踪对象的一部分时通过操作员的简单操作而容易地在监视器画面上的希望的位置处设定和显示对象，并且提供配备有这种控 制设备的自动跟踪照相机系统。 

在根据本发明的自动跟踪照相机的控制设备中，从由具有照相机1和电动云台2的自动跟踪照相机1、2拾取并且在监视器画面14上显示的图像中的对象当中选择要被跟踪的对象S。控制设备具有在监视器画面14上的预定位置处输出或显示所选择的对象S的自动跟踪功能。 

根据本发明的自动跟踪照相机的控制设备具有模式切换器8和显示(或输出)位置选择器(或操作部分)9，所述模式切换器8在该设备被用作自动跟踪照相机1、2的控制设备时在正常拍摄模式和跟踪模式之间切换照相机1的模式，所述显示(或输出)位置选择器(或操作部分)9用于选择要在监视器画面14上显示被跟踪的对象S的显示位置(或输出位置)。显示位置选择器可仅仅指的是操作部分，或者，指的是操作部分和CPU 5(可包括控制处理部分13以及产生跟踪对象框和输出位置选择标记的部分12等)，该CPU 5设定响应通过操作部分进行的操作而要显示被跟踪的对象的显示位置。 

优选地，控制设备还具有设置在CPU 5中的以下单元中的至少一个：方向检测器，检测自动跟踪照相机的旋转或摇摆方向(摇动和倾斜方向中的至少一个)和输出位置选择器9(特别是其操作部分)的操作方向之间的关系；图像反转检测器，检测由从自动跟踪照相机供给的图像信号表示的图像是否被反转；和旋转切换器，切换自动跟踪照相机的旋转方向。更优选地，该控制设备还具有信号输出单元(可包含于CPU 5或控制处理部分13中)，该信号输出单元以在由输出位置选择器9选择的输出位置(显示位置)处输出(或显示)被跟踪的对象S的图像的方式输出用于驱动自动跟踪照相机1、2的驱动信号。 

当照相机处于跟踪模式时，在自动跟踪照相机(1、2)开始自动跟踪要被跟踪的对象S之前，在具有上述配置的控制设备中执行以下描述的处理。(当要在执行自动跟踪的同时执行具有改变的设定的新的自动跟踪时，也执行该处理。)特别地，当通过模式切换器选择自动跟踪模式时，在开始通过自动跟踪照相机自动跟踪要被跟踪的对象 之前的设定处理中(或该时间期间)，信号输出单元将响应于操作部分的操作量的驱动信号输出到自动跟踪照相机(包括照相机1和云台2)，使得在通过操作部分的操作而将所选择的对象偏移到监视器画面上的要显示该对象的位置时，所选择的对象沿与操作部分的操作方向相同的方向偏移。换句话说，随着沿第一方向(例如，向右)操作输出位置选择器，用于选择要被跟踪的对象的框(例如，后面将描述的跟踪对象框Ft)也沿与第一操作方向相同的方向(向右)偏移(或不沿相反方向移动)。更具体而言，随着执行上述的操作，用于选择要被跟踪的对象的框将沿诸如右上方向、右下方向或正右方向之类的某种方向偏移，但它不会向左偏移。因此，它将向上、向下或向右偏移。 

因此，在根据本发明的自动跟踪照相机的控制设备中，当选择跟踪模式时(或者，在跟踪模式中开始自动跟踪之前的设定期间)，操作部分的操作方向和电动云台的旋转方向彼此相反。另一方面，当选择正常拍摄模式时，操作部分的操作方向和电动云台的旋转方向相同。跟踪模式和正常拍摄模式之间的方向的切换是本发明的主要特征之一。如果例如向右方向和向左方向分别被称为正方向和负方向，那么本发明的特征之一在于确定包含于驱动信号中的位置命令或速度命令的值的符号是否要改变(改变为相反的符号)。可基于通过各种检测器进行的检测结果来进行这种确定。 

以下，将具体阐述本发明。 

(第一实施例) 

图1是示出根据本发明的第一实施例的自动跟踪照相机的控制设备和配备有该控制设备的自动跟踪照相机系统的相关部分的图。在图1中，具有带有变焦和聚焦功能的拍摄透镜的照相机1被安装在电动云台2上，所述电动云台2可旋转或摇摆以实现摇动(即，水平移动)和倾斜(即垂直移动)。操作装置3被设置为远离照相机1和电动云台2，以允许诸如变焦和图像增益调整之类的对照相机1的各种控制和诸如摇动和倾斜之类的对电动云台2的各种控制。 

响应于操作员进行的操作，从设置在照相机1中的CCD输出的 图像信号被供给到控制照相机1和其上安装照相机1的电动云台2的操作装置3中的图像信号处理器4。除了图像信号处理器4以外，操作装置3还具有CPU 5、图像输出单元6、云台/照相机控制接口7、模式切换按钮(模式切换器)8、操作部分9和操作按钮10等。CPU 5具有面部识别部分(或图像识别部分)11、产生跟踪对象框和输出位置选择标记的部分12以及控制处理部分13等。 

从图像信号处理器4输出的信号经由面部识别部分11以及产生跟踪对象框和输出位置选择标记的部分12而被输入到控制处理部分13。从产生跟踪对象框和输出位置选择标记的部分12输出的信号经由图像输出单元6而被输入到与操作装置分开地设置的监视器(监视器画面)14。 

虽然在本实施例中操作装置3与外部监视器14连接，但是，操作装置3可配备有诸如液晶监视器之类的内部监视器，信号可输出到该内部监视器。控制处理部分13通过云台/照相机控制接口7与电动云台2连接。控制处理部分13还与模式切换按钮8、操作部分9和操作按钮10耦合。 

如果从照相机1输入的图像信号是模拟信号，那么图像信号处理器4执行模拟-数字信号转换，并且，如果安装在电动云台上的照相机1反向取向以产生反转图像，那么图像信号处理器4执行图像反转处理。从图像信号处理器4输出的图像信号被输入到CPU 5中的面部识别部分11。 

在本实施例中，使用基于面部识别的图案来跟踪人类对象。换句话说，基于面部识别来确定要被跟踪的对象。但是，也可采用诸如颜色识别、轮廓识别或移动对象识别之类的其它识别技术。面部识别部分11使用诸如模板匹配之类的面部识别技术来执行面部识别。 

然后，由面部识别部分11识别的面部(其是要被跟踪的对象S)在图像画面上的位置坐标被输入到产生跟踪对象框和输出位置选择标记的部分12。基于由面部识别部分11识别的面部S的位置坐标，以图2所示的方式在监视器画面14中产生用作被跟踪的对象的标记的跟 踪对象框Ft。 

在本实施例的情况下，对于首先检测到的面部S产生跟踪对象框Ft。但是，可对于位置最接近图像画面的中心的面部或者对于所有识别出的面部而产生跟踪对象框Ft。 

当选择图像画面14(或监视器画面)上的要输出被跟踪的对象S的位置时，如图2所示，在此时的跟踪对象框Ft的中心处产生输出位置选择标记Mp1。 

通过借助产生跟踪对象框和输出位置选择标记的部分12将跟踪对象框Ft和输出位置选择标记Mp1重叠到输入图像而产生的复合信号被输入到图像输出单元6。图像输出单元6将已被转换成诸如SDI、DVI、VGA或NTSC之类的所支持的图像输入格式的图像信号的监视器信号输出到显示单元或监视器14。 

由操作员对操作部分9进行手动操作，以用于电动云台2的摇动或倾斜等。操作部分9可以为例如操纵杆、标有上下左右箭头的箭头键、诸如鼠标之类的指示装置或触摸面板。 

在本实施例中，操纵杆被用作操作部分9，并且，以电动云台2的旋转方向与操纵杆的操作(或操纵)方向相同的方式布置该设备。可以设置用于关于操作部分9的操作方向改变电动云台2的旋转方向的开关。 

云台/照相机控制接口7被设置以允许操作装置3与照相机1和电动云台2之间以预定格式进行相互通信。模式切换按钮8包含允许操作员在正常模式和跟踪模式之间进行选择的切换器按钮，在所述正常模式中，操作装置3被用作用于正常拍摄的操作装置，在所述跟踪模式中，操作装置3被用作用于跟踪的操作装置。 

虽然如图1所示的那样在本实施例中分离地设置模式切换按钮8，但是，可出于该目的使用现有的按钮。如果是这种情况，则可通过保持压下该现有的按钮来实现模式切换。 

CPU 5根据通过模式切换按钮8选择的模式来切换操作部分9和操作按钮10的功能。特别地，在正常拍摄模式中，操作部分9的操纵 杆的功能被切换到旋转或者摇动和倾斜电动云台2的功能。另一方面，在跟踪模式中，操纵杆的功能被切换到后面描述的选择要被跟踪的对象S的对象选择功能和选择画面14上的被跟踪的对象S的输出位置的输出位置选择功能(输出位置选择器)。在正常拍摄模式中，操作按钮10的功能被切换到开/关自动聚焦的功能。在跟踪模式中，操作按钮10与操作部分9被组合使用，以具有选择对象的功能和选择输出位置的功能。 

图3是在开始跟踪之前执行的选择要被跟踪的对象S并且在画面14上的希望的所选择位置处输出所选择的对象S的控制处理的流程图。图3还示出几个处理步骤处的监视器画面14上的对象S。特别地，在图3中呈现了处理步骤S1～S14和相关处理步骤处的监视器14上的示例性显示图像(a)～(e)。 

在进行跟踪时，操作员首先按压图1所示的操作装置3的模式切换按钮8以启用跟踪模式(步骤S1)。从图像信号处理器4输入的图像信号在CPU 5中的面部识别部分11中经受面部识别(步骤S2)。 

在首先被识别为面部的对象的面部的附近，如图3中的示图(a)所示，以虚线在画面上显示跟踪对象框Ft(步骤S3)。如果由跟踪对象框Ft突出显示的对象不是要被跟踪的对象S，那么，如图3中的示图(b)所示，通过对操作部分9进行操作，跟踪对象框Ft将被偏移到要被跟踪的对象S(步骤S4)。在开始通过自动跟踪照相机自动跟踪对象之前的设定阶段期间，画面14上的跟踪对象框Ft(或要被跟踪的对象S)的偏移方向被适应性设为与操作部分(或输出位置选择器)9的操作方向一致。 

如果由跟踪对象框Ft突出显示的对象S是意图要被跟踪的对象，那么通过按压操作按钮10来接受该选择(步骤S5)。这将以虚线显示的跟踪对象框Ft变为以实线显示的跟踪对象框Ft(步骤S6)。直到步骤S6的步骤是其中选择要被跟踪的对象的对象选择步骤。 

下面，将描述通过输出位置选择器(输出位置选择步骤)执行的在画面14上的希望的输出位置处显示对象S的处理。在完成步骤S6 之后，CPU 5通过方向检测器确定(或检测)操作部分9的操作方向和电动云台(自动跟踪照相机)2的旋转方向(步骤S7)。 

然后，CPU 5中的图像反转检测器确定是否在图像信号处理器4中执行了图像反转处理(步骤S8、步骤S11)。提供这些步骤S8和S11以确定具有电动云台2的照相机是否处于反转取向。基于步骤S7、S8和S11中的确定，CPU 5中的旋转切换器选择反转用于电动云台2的驱动信号的处理(步骤S9)或在不改变的情况下输出驱动信号的处理。特别地，如果操作部分9的操纵杆的操作方向和电动云台2的旋转方向相同(Y1)并且未执行图像反转处理(Y2)，那么旋转切换器反转驱动信号(驱动方向信号)(步骤S9)。注意，在本发明中，这被定义为反转信号的符号的信号反转。 

如果操作部分9的操纵杆的操作方向和电动云台2的旋转方向相同(Y1)并且执行了图像反转处理(N1)，那么处理跳过步骤S9并且前进到步骤S10。如果操作部分9的操纵杆的操作方向和电动云台2的旋转方向相反(N2)并且执行了图像反转处理(N3)，那么执行反转驱动信号(驱动方向信号)的处理(步骤S9)。如果操作部分9的操纵杆的操作方向和电动云台2的旋转方向相反(N2)并且未执行图像反转处理(Y3)，那么处理跳过步骤S9并且前进到步骤S10。 

然后，操作员操纵操作部分9以使要被跟踪的对象S偏移到画面14上的要输出该对象S的位置(步骤S10)。通过这些步骤S7～S11，画面14上的对象S的偏移方向与操作部分(输出位置选择器)9的操作(操纵)方向一致。 

在本实施例中，提供确定电动云台2的旋转方向的步骤(S7)和检测图像信号反转处理的步骤(S8、S11)。如果已经获知操作部分9的操作方向和电动云台2的旋转方向相同并且图像信号处理器4未执行图像反转，那么步骤S7、S8和S11可被省略。在这种情况下，可以执行图4所示的处理。 

虽然在本实施例中在操作装置3中的CPU 5中反转驱动信号(驱动方向信号)，但是，可以在设置在电动云台2中的CPU中反转来自 操作部分9的驱动信号。 

特别地，可以从操作装置3向电动云台2发送用于反转驱动信号的控制信号，并且，可以在电动云台2中执行旋转方向的颠倒或反转。此外，虽然在操作装置3中的图像信号处理器4中执行图像颠倒处理，但是，可以在照相机1中执行图像颠倒处理，并且，指示执行图像颠倒处理的控制信号可被发送到操作装置3。 

最后，通过按压操作按钮10(步骤S12)，如图3中的示图(e)所示，在跟踪对象框Ft的中心处在拾取的图像14上重叠输出位置选择标记Mp1(步骤S13)。直到步骤S13的步骤是由CPU 5中的输出位置选择器执行的输出位置选择步骤。 

在完成上述的输出位置选择步骤之后，CPU 5中的信号输出单元输出驱动信号，使得在通过输出位置选择步骤选择的画面14上的输出位置处输出被跟踪的对象S。特别地，信号输出单元将用于控制包括照相机1和电动云台2的自动跟踪照相机的驱动的驱动信号或云台/照相机控制信号发送到照相机1和电动云台2。因此，通过控制电动云台2的摇动和倾斜与照相机1的变焦(或焦距的改变)之中的至少一个，开始自动跟踪(步骤S14)。 

在本实施例中，当通过模式切换器选择正常拍摄模式时，输出位置选择器控制自动跟踪照相机的摇动和倾斜。 

在如上所述的本实施例中，当选择跟踪模式时，在自动跟踪照相机1、2开始自动跟踪被跟踪的对象S之前的时间期间，执行以下的处理： 

基于由CPU 5中的方向检测器的检测结果，将用于驱动自动跟踪照相机1、2的驱动信号输出到自动跟踪照相机1、2； 

基于CPU 5中的方向检测器和图像反转检测器的检测结果，将用于驱动自动跟踪照相机1、2的驱动信号输出到自动跟踪照相机1、2；和 

基于CPU 5中的方向检测器的检测结果通过旋转切换器来切换自动跟踪照相机1、2的旋转方向，并且，将用于驱动自动跟踪照相机1、 2的驱动信号输出到自动跟踪照相机1、2。 

(第二实施例) 

图5是在根据本发明的第二实施例的自动跟踪照相机的控制设备中的跟踪开始之前执行的处理的流程图。在第二实施例中，确定操作部分9的操作方向和电动云台2的旋转方向的方法与第一实施例中的不同。选择要被跟踪的对象的步骤S21～S26与图3中的步骤S1～S6相同，并且，将不进一步描述它们。 

在本实施例中，在完成步骤S26之后，CPU 5获得跟踪对象框Ft的中心C1的坐标(步骤S27)。 

然后，操作员操作或操纵操作部分9以偏移对象S(步骤S28)，并且，获得经过预定时间t之后的跟踪对象框Ft的中心的坐标C1′(步骤S29)。CPU 5中的方向检测器确定中心的C1-C1′的坐标的偏移方向是否与操作部分的操作方向相同(步骤S30)。如果方向相反，那么以与图3中的步骤S8相同的方式在CPU 5中反转驱动信号(步骤S31)，并且，操作员继续操作部分9的操作以将被跟踪的对象S偏移到画面上的要输出该对象S的位置(步骤S32)。如果在步骤S30中确定方向相同，那么处理跳过步骤S31并且前进到步骤S32。直到开始跟踪执行的随后的步骤S33～S35与图3中的步骤S12～S14相同，并且，将不进一步描述它们。 

通过上述的确定方法，即使当通过电动云台2的旋转方向或图像信号的反转未知的照相机1来选择对象时，也能够实现画面14上的对象的意图偏移方向与操作部分9的操作方向的直观的一致性。因此，可以消除操作错误。 

虽然已在第一和第二实施例中描述了自动跟踪照相机的控制设备，但是，本发明也可应用于自动跟踪照相机系统等。例如，本发明可被应用于图1所示的完全包括照相机1、电动云台2和操作装置3的自动跟踪照相机系统。该系统可具有如监视器14那样的显示单元，通过该显示单元可观察由照相机1拾取的图像。 

自动跟踪照相机系统一般具有照相机1、其上安装该照相机的电 动云台2以及操作装置3。操作装置3具有输出位置选择器，该输出位置选择器用于选择画面14上的要输出被跟踪的对象的位置。 

使用输出位置选择器来操作电动云台2，以选择画面上的要输出被跟踪的对象S的位置。在该处理中，实现画面上的对象S的意图偏移方向与输出位置选择器的操作方向的一致性。在本实施例中，在操作装置3中设置输出位置选择器。但是，可以在照相机体、安装在照相机1中的拍摄透镜或者远程控制器中设置输出位置选择器。作为替代方案，可以在具有触摸面板的显示器上设置输出位置选择器，以允许通过触摸它来偏移显示器上的被跟踪的对象。 

如前所述，在根据本发明的自动跟踪照相机的控制设备和自动跟踪照相机系统中，可通过操作员的简单操作来选择画面上的对象的输出位置。 

根据上述的实施例，可以提供自动跟踪照相机的控制设备，在该自动跟踪照相机中，可以通过操作员的简单操作而容易地在监视器画面上的希望的位置处显示作为拾取图像的一部分的被自动跟踪的对象。 

虽然已参照示例性实施例描述了本发明，但应理解，本发明不限于公开的示例性实施例。以下的权利要求的范围应被赋予最宽的解释，以便包含所有这样的变更方式以及等同的结构和功能。