监视摄像机控制装置以及图像监视系统

摘要

在对多个区域进行摄像的多个监视摄像机中，同一物体被重复地检测的情况下，用于根据各摄像机的各个图像选择适当的图像的监视摄像机控制装置以及图像监视系统中，构成为具备：对监视区域内进行摄像的多台摄像机(100～102)；从在多台摄像机中获取的图像中检测物体的识别部分(104)；和显示选择部分(106)，在由多台摄像机重复进行摄像的监视区域内检测到物体时，显示选择部分从各台摄像机在识别部分中获取作为物体的特征量的识别结果，并根据识别结果和识别结果的优先度，对各台摄像机的图像设定与优先度相对应的优先顺序。

说明书

技术领域

本发明涉及一种图像监视系统，其具有从通过摄像机等摄像设备获取的图像 中检测人物或者移动体的识别装置，能够实现检测入侵者或者检测搭载在移动机 器人等上的接近者的功能。本发明尤其涉及一种具有获取图像监视系统的图像的 功能以及控制图像显示的功能的图像监视系统。

背景技术

已知有具备对通过摄像机等摄像设备获取的图像进行识别处理以检测出现在 监视区域内的人物或者车辆等移动物体的功能的图像监视系统。该图像监视系统 具有根据检测结果仅对出现了移动物体的图像进行记录的功能、在显示装置上显 示警告图标的功能以及使蜂鸣器蜂鸣而唤起监视人员注意的功能等。为此，有助 于减轻在从前必须不间断地进行确认业务的监视业务的负担。此外，在发生了偷 盗等犯罪行为或者非法行为时，能够将记录在该图像监视系统中的图像应用于事 后的犯罪搜查等。

近年来，由于犯罪的多样化，犯罪数量的上升和破案率的下降等，商店、金 融机构和办公大楼等的防范意识提高，使得图像监视系统的引进进一步得到了发 展。由于图像记录装置的大容量化和网络摄像机等的普及，在各种场所设置了摄 像机，使得摄像机的数量进一步增加。如上所述，由于通过监视人员的肉眼从记 录图像中寻找犯罪行为等的作业的负担非常大，所以需要进一步强化对监视业务 进行支援的功能。

在此所存在的问题是，由于摄像机的数量庞大，监视人员观察特定图像(例如 特定人物)的业务等变得非常复杂。若非对监视区域和监视摄像机的情况非常熟悉 的熟练人员，则很难做到高效并且不会发生遗漏地观察图像。

作为现有技术，已知有专利文献1所公开的监视系统，其预先登录具有云台 控制功能的摄像机的移动位置，与传感器的检测结果联动地使摄像机的云台旋转 到规定的位置，由此来获取监视区域的图像(专利文献1)。此外，还已知有专利 文献2所公开的监视系统，其预先登录多台摄像机的位置关系，并根据用户的指 示或者移动物体的移动方向等来切换在监视器上显示的图像(专利文献2)。

在先技术文献

专利文献

专利文献1日本国专利特开2001-275104号公报

专利文献2日本国专利特开2011-217320号公报

发明内容

可是，在专利文献1所公开的监视系统中，随着在系统中运行的摄像机数量 的增加，根据传感器检测进行旋转的摄像机数量也相应增加，所以需要详细地进 行事先设定和系统内部的调整，导致监视人员的负担增大。

此外，在通过监视人员一边操作运台控制功能一边使摄像机动作的场合，由 于会产生时间延迟等，所以在对入侵者和规定的人物进行追踪时，容易产生跟丢 的情况。

为此，作为现有技术，已经开发出了具有识别功能并能够自动进行追踪的系 统。例如在专利文献2所发明的监视系统中，将设置在监视区域内的多台摄像机 设定为固定摄像机，预先登录其位置关系，以便能够利用该位置关系。具体来说 是，当各台摄像机的画面上的移动物体从视角消失后，向监视人员提示设置在其 移动方向上的摄像机。此外，在该监视系统中，还能够通过监视人员的输入装置 来指定方向。

可是，虽然该技术能够根据摄像机的位置关系来预测移动物体的移动，并能 够提示此后拍摄到该移动物体的摄像机的图像。但是，根据摄像机的设置情况， 有时继续显示原来的图像可能更为合适。这是因为，由于是根据作为被拍摄体的 移动物体的动作等进行追踪，所以如果从不适合获取用于确定被拍摄体的信息的 方向进行拍摄(例如在追踪人物时，从拍摄不到脸部的区域进行拍摄时，在追踪车 辆时，从拍摄不到车牌和驾驶员的区域进行拍摄时)，则无法获取可动物体的重要 信息，可能难以作为情况证据等加以应用。

此外，在摄像机存在重复的场合，或者监视区域不是走廊等可动区域受到限 制的区域，而是移动物体的可动区域具有自由度的例如办公室和零售店等开放的 监视区域等的场合，如果像专利文献2那样仅仅在事先登录摄像机的配置关系， 则难以进行应对。这是因为，提示图像的摄像机的选择条件可能会变得非常复杂， 而并不仅限于例如移动物体朝视角的右侧移动了，所以提示设置在右侧的摄像机 的图像那样单纯的结构。

为此，本发明的目的在于提供一种监视摄像机控制装置以及图像监视系统， 使得在拍摄多个区域的多台监视摄像机重复检测到相同的物体的场合，能够从各 台摄像机图像中选择适当的图像。

解决方案

为了实现上述目的，例如采用权利要求中所述的结构。以下列举一例，其特 征在于具有多台摄像机和识别部分，多台摄像机对监视区域内进行摄像，识别部 分从通过多台摄像机获取的图像中检测物体，此外还具有显示选择部分，在由多 台摄像机重复摄像的监视区域内检测到物体时，显示选择部分通过识别部分从各 台摄像机获取作为物体的特征量的识别结果，并根据识别结果和识别结果的优先 度，对各台摄像机的图像设定与优先度相对应的优先顺序。

发明效果

根据本发明，在拍摄多个区域的多台监视摄像机重复检测到相同的物体的场 合，能够从各台摄像机的图像中提示有助于识别物体等的信息。

附图说明

图1是表示本发明的一实施方式的图像监视系统的方块图。

图2是本发明的监视区域和摄像机的设置图。

图3是表示本发明的监视区域和摄像机的设置的俯视图。

图4是本发明的获取图像的输出例。

图5是本发明的摄像机图像和监视区域的对应图。

图6是本发明的识别部分的处理流程图。

图7是本发明的识别结果的数据结构图。

图8是本发明的摄像机配置信息的数据结构图。

图9是表示本发明的监视区域上的摄像机和移动物体的信息的俯视图。

图10是表示根据本发明的识别部分获取的结果和摄像机配置信息算出的信 息表的图。

图11是表示本发明的优先度设定单元的图。

图12是表示本发明的图像显示方法的图。

图13是表示本发明的图像显示方法的图。

图14是表示本发明的图像显示的切换方法的图。

图15是表示本发明的一实施方式的方块图。

图16是表示本发明的一实施方式的方块图。

具体实施方式

以下参照附图对本发明的一实施方式进行详细的说明。

图1是表示本发明的一实施方式所涉及的监视摄像机控制装置和图像监视系 统的方块图。在本实施例中，有时将监视摄像机控制装置和图像监视系统简称为 图像监视系统或者监视系统。

该图像监视系统具有摄像机100～102、图像获取部分103、识别部分104、识 别结果105、显示选择部分106、摄像机配置信息107、输入单元108、图像显示 部分109、显示单元110。

该图像监视系统采用了电子计算机系统。该电子计算机系统的硬件包括CPU、 存储器和I/O等，安装有能够执行的规定软件。由此，能够实现在各图以方块形 式表示的各个功能部分。

为了便于对实施方式进行说明，在本实施例中，以设置三台摄像机(摄像机 100～102)的场合为例进行说明，但并不限定于该结构，也可假设设置有2台以上 摄像机的结构。摄像机100～102是包括具有变焦功能的摄像机透镜和 CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)以及 CCD(Charge Coupled Device，电荷耦合元件)等摄像元件(均未图示)的摄像设备。 该摄像机100～102通过图像获取部分103获取图像信号，并输出到后述的识别部 分104和图像显示部分109。

摄像机100～102还是载置于云台上从而能够进行上下左右旋转的云台变焦摄 像机。虽然在本实施例中未作出说明，但当然能够将摄像机100～102的图像转送 到记录装置或者显示装置，或者进行图像的记录，以便监视人员在进行肉眼确认 时使用。

显示单元110是液晶显示装置或者CRT(Cathode Ray Tube，阳极射线管)显示 装置等的显示装置。也可以用RGB(Red-Green-Blue，红绿蓝)监视器输出终端或者 通过网络进行数据输出的终端、手机或者平板电脑等终端来替代显示单元110。

各种参数的设定通过用户接口进行。设置在图像获取部分103、识别部分104 和图像显示部分109等中的用户接口包括鼠标和键盘等输入装置(未图示)，用于 接受由用户输入的参数等。为了对本发明的主要部分进行详细说明，所以在显示 选择部分106上只记载了输入参数等用的输入单元108。

以下对本发明的结构块进行详细说明。参照图2等对本发明的监视系统中的 摄像机和移动物体的关系进行说明。

图2表示本实施例的监视区域205和设置在该区域的摄像机和移动物体等的 关系。在监视区域205中设置有摄像机200～202(与图1的摄像机100～102相同)， 并且存在有物体203。此外，在监视区域205中大都还存在橱柜等日用品和墙壁、 走廊等建筑结构物，在此将其称为结构物204。在本实施例中，物体203为人物， 其正朝着移动方向206的方向移动，脸朝着脸部方向207。

在此，物体包括可动物体和静止物体。可动物体指可以移动和变动的物体。 在本实施例中，将可动物体举例为人物，人物是脸和手脚以及人物整体可以移动 和变动的物体。此外，作为可动物体，还可以列举出车辆、人拿着的包、电脑画 面以及保险箱的门等。例如，电脑的画面和保险箱的门等是能够通过人等进行画 面的朝向和画面显示的变动的物体、以及能够进行保险箱门打开等变动的物体。 此外，本发明还能够应用于不进行移动和变动的静止物体。

监视区域205的含义与实际空间等相同，预先将其坐标系统定义为 (Xw，Yw，Zw)。

图3是从上方观察到的该监视区域205的俯视图。

在图3中新示出了与各台摄像机相对应的摄像区域300～302(其含义与视角相 同)。其它部分与图2一样，在监视区域205内存在物体203，其朝着移动方向206 移动，并且脸朝着脸部方向207。

图4表示由摄像机200～202拍摄到的图像。摄像机图像400～402分别表示由 摄像机200～202拍摄到的图像，该等图像通过图1的图像获取部分103获取，并 且通过图像显示部分109显示在显示单元110上。根据各台摄像机的设置情况和 摄像区域300～302等，以包括物体203和结构物204的方式进行摄像。根据与摄 像机200～202的位置关系的不同，拍摄到的物体203和结构物204的样子、物体 203的大小、移动方向206和脸部方向207的样子也不同。

在图2至图4中示出的表示监视区域205和物体203等的图像中，物体203 朝着摄像机200的方向移动，脸部方向207朝着摄像机201的方向。此外，物体 203位于监视区域205的Xw-Yw空间的中心的右下方，摄像机202是离物体203 最近的摄像机。

以下说明计算摄像机与监视区域的对应关系的一计算例。

并不仅限于本实施例，作为摄像机与监视区域的对应关系(也就是摄像机参数) 的计算方法，已知有从简易的近似求解方法到详细的求解方法等多种计算方法。 该对应关系在获取图1所示的摄像机配置信息107时使用。

图5表示监视区域和通过摄像机获取的摄像机图像上的对应点。

具体来说是，可以如图5所示，采用获取监视区域501(含义与监视区域205、 实际空间相同)和通过摄像机500获取的摄像机图像502上的对应点的方法。摄像 机500存在于监视区域501内的某一个位置(Xc，Yc，Zc)。

摄像机图像502上的任意的摄像机图像位置504与监视区域501内的监视区 域位置505的对应关系能够根据图像上的位置和实际空间的实测值求出。作为现 有的在获取该对应点后获取摄像机参数的方法，可以列举出“R.Y.Tsai，“A  versatile camera calibration technique for high-accuracy 3D machine vision  metrology using off-the-shelf TV camera and lenses”IEEE Journal of  Robotics and Automation，Vol.RA-3，No.4，pp.323-344，1987”等的摄像机 校正技术，在此省略其详细说明。作为根据该对应点来求出摄像机参数的方法， 已知有通过获取4点以上的对应点就能够获取摄像机参数的方法。

根据上述步骤，如图5所示，能够求出摄像机500的俯角θ、在监视区域501 内的设置角度φ以及摄像机的高度Hc等。

接着按照顺序从图1所示的识别部分104开始进行说明。在识别部分104中， 对在图像获取部分103获取的多个图像中的任意的图像执行识别处理。

图6是说明识别部分104的处理方法的流程图，示出了本实施例的人物的脸 部以及脸部方向的检测方法。

已经提出有各种检测人物脸部的方法，例如已知有“Paul.Viola，M.Jones： “Robust Real-Time Face Detection”，International Journal of Computer  Vision(2004)，Volume：57，Issue：2，Publisher：Springer，Pages：137-154” 等现有技术。在该等技术中，从学习样本获取脸部的图像特征，并构建识别器。 通过该识别器来判断脸部在图像上的哪个部位。此外，将上述学习样本划分成正 面和侧面等各种局部样本，然后针对各种局部样本构建识别器，由此也能够识别 脸部方向。以下参照图6进行说明。

S60是通过任意的窗口(检测窗)对整体图像进行操作的步骤。此后，在某个 任意的位置，使用上述识别器输出表示是否检测到了脸部的信息(S61)。在没有检 测到脸部时，将窗口移动到下一个位置并反复进行相同的处理。在检测到了脸部 时，检测脸部的朝向(S62)。将结果输出到规定的存储器区域(S63)。在全部图像 内反复进行以上的处理，由此能够检测出脸部的位置和脸部的方向。通过检测脸 部的位置，同时还能够检测出人物所处的位置。最后，确认图像整体的处理(S64)。

在以上的说明中，以脸部的检测为例对识别部分104进行了详细的说明，而 除此以外还存在各种从图像获取信息的方法。例如，不检测脸部，而是将识别器 设置成检测整个人物的形状，由此能够实现对人物的检测，并且同样能够检测出 身体的朝向。此外，通过检测人物在图像上的位置，自然而然就能够检测出人物 的大小(在图像上的面积)。另外，通过求出检测区域内的在时间上连续的多个帧 (图像)中移动的位置，能够进行人物的追踪处理。

在检测对象为车辆时，能够获取车牌和驾驶员的脸部等任意的图像上的信息。

通过获取在上述处理中检测出的位置、在图5中所述的监视区域501以及摄 像机图像502之间的对应关系，能够求出监视区域501内(在图2至图4的监视区 域205内也一样)的位置和可动方向(图2至图4的移动方向206)、脸部方向(图2 至图4的脸部方向207)等。通过采用本结构，能够根据监视区域501和摄像机图 像502的对应关系，知道在摄像机图像502内朝向右方的人物在监视区域内朝向 哪一个方向。也就是说，不仅能够获取位置，还能够获取方向。

图7是将在识别部分104中求出的结果存储在识别结果105时的数据结构的 示例。该数据由物体ID(D70)、物体在实际空间中的位置(D71)、在图像上的面积 (D72)、脸部方向(D73)、移动矢量(D74)以及其它的信息(D75)构成。

面积(D72)因拍摄物体的各台摄像机的不同而不同，所以如面积/摄像机 1(D76)、面积/摄像机2(D77)所示那样，分别存储在拍摄到物体的各台摄像机中。

此外，移动矢量(D74)具有从当前时间点t一直追溯到过去一定期间的信息， 如位置(t)(D79)所示那样进行存储，并根据该等信息来存储移动方向(D78)。移动 方向(D78)能够根据位置(t)(D79)的信息的平均值等算出。该等信息也与脸部方向 一样，如图5所示求出对应关系，由此能够相对于摄像机图像上的方向，求出监 视区域内的移动方向。

其它信息(D75)也可以通过进行识别部分104的处理来使其包含在数据中。

以下对图1所示的显示选择部分106进行说明。首先对显示选择部分106中 使用的摄像机配置信息107进行说明。

作为摄像机配置信息107，存在表示摄像机的位置关系的信息以及表示与移 动物体和摄像机图像之间关系的信息。前者可以通过求出上述摄像机与监视区域 的对应关系来得到(当然也可以通过进行详细的实测来得到)。后者可以通过摄像 机校正来得到。

图8表示本实施例的摄像机的位置关系的信息的示例。

摄像机的位置关系由任意分配的摄像机ID(D80)、摄像机的俯角(D81)、摄像 机的水平角(D82)、视角(D83)和设置位置(D84)构成。分别存储有角度和绝对位置。 由此，能够规定摄像机的朝向和所要拍摄的图像，并且还能够掌握与各台摄像机 之间的位置关系。

在通过上述摄像机校正技术求出的场合，能够获取图5所示的监视区域501 和摄像机图像502的透视投影变换的矩阵，根据实施方式，该信息也可以存储在 摄像机配置信息107中。此外，在摄像机的位置关系中，由于焦点距离、光轴方 向的旋转、摄像元件的大小也有关联，所以能够将其作为信息追加。

图9是表示图2至图4所示的实施例中的从上方观察到的监视区域205的俯 视图。

与图2至图4一样，在图9中也示出了摄像机200～202、物体203、结构物 204。在此，假定经由识别部分104获取还包括移动方向206和脸部方向207的数 据。此外，同样从摄像机配置信息107获取了各台摄像机的位置关系。

摄像机200～202以φ₀～φ₂的角度设置在监视区域205的Xw-Yw空间内的各个 位置上。物体203正朝着移动方向206的方向(角度θ_V)移动，物体203的脸部方 向207以θ_f定义。

使用该等信息，通过显示选择部分106执行用于判断要显示的图像的处理。

图10表示根据摄像机配置信息107中的物体203和摄像机位置等求出的信息 表的示例。信息表中的摄像机评价项目(D1000)由检测出的物体与摄像机之间的距 离(D1002)、检测出的物体在摄像机图像上的面积(D1003)、脸部方向(D1004)、移 动方向(D1005)构成。评价值(D1001)是各台摄像机的评价值。具体来说是，摄像 机评价值(D1000)根据在上述识别部分104中求出的物体203的数据和摄像机位置 等算出，针对各台摄像机算出并获取摄像机评价值(D1000)，并将其作为获取值 (D1001)来显示。

与摄像机之间的距离(D1002)根据在脸部检测和人物检测中检测出的在图像 上的位置与监视区域205的关系来求出。面积(D1003)同样也根据检测出的区域来 求出。作为脸部方向(D1004)，能够根据摄像机图像上的脸部方向求出监视区域 205上的脸部方向θ_f，能够根据与摄像机200～202的方向φ₀～φ₂的角度的差分算 出。例如，摄像机201(图10中的摄像机2)的计算式如式1所示。

(式1)

摄像机2的脸部方向＝(φ₁～θ_f)

在此，由式1求出的脸部方向越接近180deg，则摄像机的拍摄方向与脸部方 向的正对度越高，也就是脸部方向越是朝着摄像机方向。严格来说，还可以相对 于摄像机的俯角求出脸部在垂直方向上的角度，而在本实施例中，为了便于说明， 只对水平方向进行说明。

此外，由于移动方向(D1005)也可以通过相同的方法求出，所以在此省略其说 明。

在其它的实施方式中，还能够对检测物体的特定部位时的检测方向、例如包 等携带物品的手持方向、手等部位的拍摄方向等目标部位进行定义。在物体为车 辆的场合，还可以根据车牌和驾驶员的脸部等来生成信息表。可以设置为能够观 察某一特定行为(事件)的方向。例如，可以列举出能够对人物按压按钮的动作进 行拍摄的方向和用手拿起商品的动作等。

该信息表存储在摄像机配置信息107中。如此，通过同时使用预先获取的摄 像机配置信息和识别结果，可以更加详细地进行图像的选择。此外，通过将与摄 像机的位置关系和识别处理的结果反馈给识别处理，能够选择适合于识别处理的 摄像机和图像上的位置，所以能够进一步提高识别处理的精度。

以下参照图10所示的信息表说明显示选择部分106的图像显示的切换方法。

在图11中示出了在使用从各台摄像机获取的通过重复检测同一物体而检测 出的图像信息时对上述摄像机评价项目中的希望优先获取的摄像机评价项目设定 优先度的优先度设定画面1100的示例。该等优先度例如通过图1的输入单元108 来进行设定。可以在画面上设定各个优先度(在本实施例中可以选择0至5的优先 度)。0表示不使用信息，5表示能够最为优先地使用该信息。在此，还能够选择 只使用一个信息进行输出的图像，通过求出由数个信息综合而成的评价值，能够 生成图像选择的基准。在图11所示的示例中，将优先度设定为：距离dp＝0，面 积sp＝1，脸部方向θfp＝3，移动方向θvp＝1。

其中，将各台摄像机的距离定义为d，将面积定义为s，将脸部方向定义为θ f，将移动方向定义为θv，并根据图1所示的摄像机配置信息107针对各个值为 所有的摄像机设定优先顺序。以摄像机1为例，定义摄像机1在所有摄像机中的 顺序。此时的结果为距离D1＝3，面积S1＝1，脸部方向θf1＝1，移动方向θv1 ＝3。由于是在摄像机中的顺序，所以最小值为1，最大值为摄像机的台数。

根据各台摄像机的上述顺序以及摄像机评价项目的优先度，对各个任意的物 体计算各台摄像机的评价值，其方法如式2所示。评价值的运算在图1所示的显 示选择部分106中进行。

评价值(摄像机1)

＝(D1*dp+S1*sp+θf1*θfp+θv1*θvP)   (2)

根据式2，能够在显示选择部分106中，将评价值最小的摄像机确定为适合 于观察物体203的摄像机。

例如，针对图4所示的图像，根据图10和图11所示的各台摄像机的摄像机 评价项目的信息表和摄像机评价项目的优先度进行计算，其结果，能够计算出图 4的摄像机图像401上所示的图像是最适合观察物体203的图像。

此外，由于针对每个物体计算各台摄像机的评价值，所以能够根据评价值分 别定义适合各个移动物体的摄像机的图像。在存在有多个物体时，可以采用对拍 摄尺寸最大的人物进行控制或者仅对在输入画面等中选出的人进行本发明的处理 等应对方法。

接着，参照图12对图1所示的图像显示部分109进行说明。在此，通过显示 选择部分106算出了从图像获取部分103获取的图像中的应优先显示的摄像机以 及从摄像机获取的图像。图12所示的一部分图像例与图4所示的示例相同，在摄 像机2的图像中拍摄到的移动人物的脸部方向朝着摄像机方向，该图像是容易观 察的图像。

图12表示监视系统的监视画面的一部分。其中，在小窗区域1200显示拍摄 监视区域的各台摄像机的图像，显示通过图像记录设备或者矩阵开关等获取的图 像。进一步在大窗区域1201显示由显示选择部分106选出的图像。该等多画面输 出的设定等的详细情况在此不作说明，而画面配置可以根据所使用的摄像机台数 任意进行设定。

通过将检测到物体的检测框1202重叠地输出到大窗区域1201，还具有能够 引起监视人员注意的作用。此外，使用脸部检测的结果，还能够将附加信息1203 输出到画面上。

在图12所示的画面例中，还具有控制记录图像等的再现控制部分1204，由 此还能够通过再现控制部分1204来再现记录图像。通过将图10所示的信息表和 识别结果105等与记录图像一起进行保存，同样还可以针对记录图像，提示容易 观察人物的图像。并且，可以通过设定按钮1205等来设定优先度。

在图13所示的画面例中，示出了通过使用摄像机配置信息107，能够方便地 以视觉方式来理解摄像机与移动物体之间的位置关系的一例。该画面根据通过CG 等生成监视区域和摄像机的位置等而获得的数据绘制，在该画面中，将摄像机图 像1300～1302分别显示在摄像机位置的附近。各个摄像机图像能够根据其在画面 上的位置，以一定系数改变大小后进行显示。

在画面上观察到的物体1303根据在识别部分104中算出的位置绘制而成。针 对该物体1303，不使用通过CG等生成的人物的模型，而是通过提取存在于由显 示选择部分106算出的摄像机的图像上的移动人物来生成数据，将所生成的数据 重叠在画面上，由此能够同时观察位置关系与物体1303的情况。此外，通过同时 显示脸部等附加信息1304，能够进一步详细地进行观察。

图14是表示存在有多个物体时的图。图14(a)与图13一样，示出了摄像机 图像1400a～1402a。此外，在画面上绘出了物体1403a和物体1404a。

例如，希望以摄像机2图像1400a和移动物体1404a为中心观察该图像时， 能够根据用户的指示转换视点。在用户通过鼠标等输入装置指定其希望观察的摄 像机图像或者在画面上绘出的移动物体的位置后，如图14(b)所示，能够切换为 以摄像机1图像1400b为中心的视点。通过切换视点，虽然移动物体1403b和移 动物体1404b的位置发生了变化，但能够使最容易进行观察的图像重叠。此外， 还能够根据与视点之间的距离来变更各台摄像机的图像的图像尺寸等。

如上所述，通过按照图像的重要度或者关注度等来改变显示的大小，以附加 重要信息的方式对图像进行提示，或者以与摄像机配置联动的方式对图像进行提 示等，通过上述显示方式，还能够以视觉方式识别监视区域内的配置关系。由于 能够同时掌握图像的重要性和监视区域的对应关系，所以能够减轻监视人员的负 担，其结果，能够提供一种功能更加强大的监视系统。此外，根据优先顺序，对 图像显示设定优先顺序，由此能够提示或者记录适合观察物体的图像，并且还能 够再现所记录的图像中的希望进行观察的图像。

作为能够应用本发明的检测物体，如上所述，可以列举出人物，通过识别处 理进行脸部检测，能够从多台摄像机的图像中例如选择并提示拍摄到脸部的图像。 此外，本发明除了人物以外，还能够应用于车辆、人携带的包、电脑的画面和保 险箱的门等。在检测物体为车辆时，例如在监视驾驶员的脸部的场合，在检测物 体为包时，例如在监视携带包的人物的脸部或者监视包本身的场合，能够确定适 合监视希望观察的部分的摄像机的图像。并且，在监视朝向和画面显示发生了变 更的电脑的画面的场合，保险箱的门被打开了的场合等，能够选择适合于对发生 了动作和变化的部分进行观察的摄像机。并且还能够不间断地监视电脑的画面， 或仅在保险箱的门被打开时监视保险箱门。另外，本发明不仅能够应用于可动物 体，并且也能够应用于静止物体。例如，在监视固定设置的保险箱时，在希望将 监视区域从门侧切换到侧面的场合，通过采用本发明的结构，能够选择适合于监 视侧面的摄像机，并且能够切换监视画面。

图15表示将上述实施例应用于图像数据检索时的结构图。图15所示的各种 功能块的大部分与图1所示的功能块相同，所以在此只对与本实施例有关联的部 分进行说明。

由图像获取部分103获取的图像存储在图像数据1500中。监视系统的检索功 能是获取该图像数据1500数据的手段之一。通过输入单元1502将希望从图像数 据1500获取的图像的检索条件输入到检索部分1501。检索条件例如是时间段、 作为检索对象的摄像机、特定的人物等各种条件，在此，检索部分1501还可以与 图1的识别部分104一样具有识别功能。通过该识别功能获取的信息同样也可以 与图7所示的识别结果一样进行获取。

在此，所获取的识别结果与上述实施例一样，用于在显示选择部分106对各 台所述摄像机的图像设定优先顺序，选择容易进行观察的图像，通过图像显示部 分109在显示单元110中进行显示。

此外，在将图像数据存储在图像数据1500中时，也可以设置成同时存储识别 结果105。此时，由于识别处理可以不在检索部分1501进行，所以能够缩短检索 时间。

以下根据上述实施例，参照图16对用于提高识别性能的实施例进行说明。各 种功能块的一部分由于与图1所示的功能块相同，所以在此省略其说明。由图像 获取部分103获取的图像被发送到多台摄像机识别部分1600中。在本实施例中， 有时对多台摄像机的图像同时进行处理，所以与识别部分104加以区分。由多台 摄像机识别部分1600处理后的结果被发送到图像选择部分1601。在此，图像选 择部分1601采用与上述显示选择部分106相同的结构。也就是说，用于在获取识 别结果后，选择适合于识别处理的图像。

由多台摄像机识别部分1600处理后的识别结果中，根据摄像机100～102的 设置状态，有些有高性能，还有些则没有高性能。根据由多台摄像机识别部分1600 输出的结果，在图像选择部分1601中，计算与式2所示方法同样的评价值，输出 适合于识别处理的图像，通过再次反馈到多台摄像机识别部分1600，能够提高识 别性能。

例如，以脸部检测为例，能够根据识别结果(识别率)确定哪台摄像机最适合 于检测脸部，此外，在同一个摄像机图像上，可以算出能够获得良好的脸部检测 结果的区域和不能获取良好的脸部检测结果的区域。因此，在本实施例中，通过 多台摄像机识别部分1600，能够定义出适合于进行识别的摄像机和摄像机图像内 的适合于进行识别的区域，从而能够实现检测精度更高的监视系统。

此外，在人物的检测位置的精度方面，在图4的摄像机图像400中，纵向的 位置精度高，而在摄像机图像401中，横向的位置精度高。当在监视区域内确定 跨越多台摄像机观察的移动物体的位置时，可以根据该等信息来选择输出结果。 由此，能够进行高精度的位置检测。

符号说明

100～102 摄像机

103 图像获取部分

104 识别部分

105 识别结果

106 显示选择部分

107 摄像机配置信息

108 输入单元

109 图像显示部分

110 显示单元

200～202，500 摄像机

203，1303，1403，1404 物体

204 结构物

205，501 监视区域

206 移动方向

207 脸部方向

300～302 摄像区域

400～402，502，1300～1302，1400～1402 摄像机图像

504 摄像机图像位置

505 监视区域位置

1100 优先度设定画面

1200 小窗区域

1201 大窗区域

1202 检测框

1203，1304 附加信息

1204 再现控制部分

1205 设定按钮

1500 图像数据

1501 检索部分

1502 输入单元

1600 多台摄像机识别部分

1601图像选择部分

权利要求书(按照条约第19条的修改)

1.(修正后)一种图像监视系统，其特征在于，具有多台摄像机、识别部分 以及优先度设定部分，所述多台摄像机对监视区域内进行摄像，所述识别部分从 通过所述多台摄像机获取的图像中检测物体，并且针对各台摄像机获取作为所述 物体的特征量的摄像机评价项目，所述优先度设定部分决定所述摄像机评价项目 的优先度，

还具有显示选择部分，在由所述多台摄像机重复进行摄像的监视区域内检测 到物体时，所述显示选择部分根据所述摄像机评价项目的优先度，对各台所述摄 像机的图像设定优先顺序。

2.(修正后)如权利要求1所述的图像监视系统，其特征在于，

所述显示选择部分根据所述摄像机评价项目和所述摄像机评价项目的优先 度，针对各个所述物体计算各台摄像机的评价值，并根据所述评价值，对各台所 述摄像机的图像设定优先顺序。

3.如权利要求2所述的图像监视系统，其特征在于，

使用所述多台摄像机中的各台摄像机的摄像机设置信息，针对所述多台摄像 机，获取与所述物体相关的摄像机配置信息，并且使用所述摄像机配置信息中的 至少一个以上的摄像机配置信息来计算所述评价值。

4.如权利要求3所述的图像监视系统，其特征在于，

所述摄像机设置信息包括摄像机位置、俯角、水平角、视角、旋转的信息， 通过获取所述多台摄像机与所述监视区域之间的对应关系来进行计算。

5.(修正后)如权利要求1至4中的任一项所述的图像监视系统，其特征在 于，所述摄像机评价项目是所述物体的移动方向、大小、规定区域。

6.(修正后)如权利要求1至5中的任一项所述的图像监视系统，其特征在 于，

使用所述多台摄像机中的各台摄像机的摄像机设置信息，获取由所述物体与 所述多台摄像机之间的距离、所述物体在所述规定区域的方向以及所述移动方向 构成的摄像机配置信息，并且使用所述摄像机配置信息中的至少一个以上的摄像 机配置信息来计算所述摄像机评价项目。

7.如权利要求1至6中的任一项所述的图像监视系统，其特征在于，

具有显示部分，所述显示部分按照所述优先顺序来改变各台所述摄像机的输 出图像的输出形态。

8.如权利要求7所述的图像监视系统，其特征在于，

输出到所述显示部分的所述输出图像显示所述监视区域和所述多台摄像机 的位置，将所述多台摄像机中的各台摄像机获取的所述图像合成为输出图像后进 行显示。

9.如权利要求7或者8所述的图像监视系统，其特征在于，

输出到所述显示部分的所述输出图像与作为附加信息的从所述识别结果获 取的所述移动物体和所述规定区域进行合成后输出。

10.如权利要求7至9中的任一项所述的图像监视系统，其特征在于，

通过在输出到所述显示部分的所述输出图像中选择作为监视对象的所述移 动物体或者所述图像，将所述输出图像重新构造成以所述监视对象为中心的配置 后进行输出。

11.如权利要求1至10中的任一项所述的图像监视系统，其特征在于，

按照所述优先顺序，将各台所述摄像机的输出图像记录在记录介质上。

12.(修正后)如权利要求1至11中的任一项所述的图像监视系统，其特征 在于，根据所述摄像机评价项目的精度来选择在所述识别部分中进行处理的所述 多台摄像机或者所述各台摄像机的监视区域。

13.(修正后)一种监视摄像机控制装置，其特征在于，具有识别部分和显示 选择部分，所述识别部分从通过多台对监视区域内进行摄像的摄像机获取的图像 中检测物体，并且针对各台摄像机获取作为所述物体的特征量的摄像机评价项目， 在由所述多台摄像机重复进行摄像的监视区域内检测到物体时，所述显示选择部 分根据所述摄像机评价项目的优先度，对各台所述摄像机的图像设定优先顺序。

说明或声明(按照条约第19条的修改)

1.修正的内容

针对权利要求1，首先，将原文修正为“具有识别部分，所述识别部分从通过所述多台摄像机获取的图像中检测物体，并且针对各台摄像机获取作为所述物体的特征量的摄像机评价项目”。这一修正的依据是本说明书的图10和[0058]。第二，进行了追加限定，也就是追加了“具有所述优先度设定部分，所述优先度设定部分决定所述摄像机评价项目的优先度”这一内容。这一修正的依据是本说明书的图11和[0065]。第三，明确了具有“显示选择部分，所述显示选择部分根据所述摄像机评价项目的优先度，对各台所述摄像机的图像设定优先顺序”。这一修正的依据是本说明书的[0067]至[0070]。

针对权利要求2，将原文修正为“根据所述摄像机评价项目和所述摄像机评价项目的优先度，针对各个所述物体计算各台摄像机的评价值，并根据所述评价值，对各台所述摄像机的图像设定优先顺序。”这一修正的依据是本说明书的[0067]至[0070]。

针对权利要求5，6以及12，为了与说明书中的说明相吻合，根据本说明书的图10和[0058]，修正为“摄像机评价项目”。

针对权利要求13，首先，将原文修正为“所述识别部分从通过多台对监视区域内进行摄像的摄像机获取的图像中检测物体，并且针对各台摄像机获取作为所述物体的特征量的摄像机评价项目”。这一修正的依据是本说明书的图10和[0058]。此外，明确了具有“显示选择部分，所述显示选择部分根据所述摄像机评价项目的优先度，对各台所述摄像机的图像设定优先顺序”。这一修正的依据是本说明书的[0067]至[0070]。

2.说明

在任何引用文献中均没有对“具有决定作为物体的特征量的摄像机评价项目的优先度的优先度设定部分”以及“根据摄像机评价项目 的优先度，对各台摄像机的图像设定优先顺序”这一内容作出公开和暗示，也没有展现这方面的动机。