全方位智能自动巡视和态势感知的球形监视摄像机系统和方法

摘要

一种操作视频监视系统的方法包括：将PTZ摄像机设置在外壳内。将鱼眼镜头摄像机附着在外壳上，使得鱼眼镜头摄像机具有不被外壳阻挡的全景视场。所述全景视场以PTZ摄像机的摇摄轴为中心。鱼眼镜头摄像机围绕所述摇摄轴旋转。通过使用鱼眼镜头摄像机在所述全景视场内捕捉第一图像。识别兴趣对象在所捕捉的第一图像内的位置。将PTZ命令传输到PTZ摄像机，使得对PTZ摄像机进行定向以捕捉在所识别的位置处的兴趣对象的第二图像。针对在鱼眼镜头摄像机的旋转期间鱼眼镜头摄像机的视场的旋转来对所述PTZ命令进行补偿。

说明书

技术领域

本发明涉及一种视频摄像机监视系统，并且更特别地，涉及用于视频 摄像机监视系统的图像处理方法。

背景技术

视频监视系统被用于监控诸如火车站、市场、街道交叉口等之类的公 共场所，以及诸如图书馆、公共服务机构、法庭、监狱等之类的公共建筑 物。视频监视系统还被用于私营部门，例如用作警报系统或用于看管需要 注意的个体。

存在很多已知的可用于跟踪诸如人或车辆之类的移动对象的视频监视 系统。视频监视系统通常包括多个永久安装的摄像机，该摄像机观察周边 的相关区域，并且视频监视系统具备用于评价用摄像机记录的视频序列的 能力。

虽然该评价以前由监控人员执行，但是视频序列的自动评价已经变得 更加普遍。在自动监控的典型应用中，第一步，将移动的对象从场景中的 实质上静止的背景中分离出来(对象分割)，对移动的对象进行实时跟踪(对 象跟踪)，并且如果发生相关的移动或者移动的模式，则触发警报。在例如 EP 0710927B1中描述了该类型的自动监控的一种可能设计，其中讨论了一 种用于移动对象的面向对象检测的方法。

这样的视频监视系统可以被称为闭路电视(CCTV)。一些这样的系统 采用具有静止视场(FOV)的固定摄像机。然而，为了利用固定的摄像机 系统完全覆盖给定的监视地点，往往必须使用相当大数量的固定摄像机。

也可以将可以摇摄(pan)、倾斜和/或变焦的可移动摄像机用于跟踪对 象。PTZ(摇摄、倾斜、变焦)摄像机系统的使用通常将减小给定监视地 点所需要的摄像机数量，并且还由此减小视频馈送和系统集成硬件(例如 与之关联的多路复用器和切换器)的数量和成本。该摄像机可以通过围绕 垂直轴旋转来摇摄，通过围绕水平轴转动来倾斜，并且通过放大或减小其 FOV来变焦。用于指示该摇摄动作、倾斜动作、变焦动作的控制信号通常 来源于经由操纵杆的操作员或者来源于自动视频跟踪系统。

这样的PTZ摄像机的问题在于：尽管能够在几乎任何方向上摇摄和倾 斜，但是该摄像机在任何给定时刻具有有限的视场(FOV)，并且因而不可 能从所有方向感测围绕摄像机的所有运动。

现有技术既未公开也未建议用于感测在更大的FOV内的运动并且自动 跟踪作为该运动的源的对象的改进系统和改进方法。

发明内容

在一个实施例中，本发明涉及一种全方位(例如360度)态势感知的 监视系统(situational aware surveillance system)，该监视系统可以使用例如 来自鱼眼镜头摄像机(“间谍摄像机(spycam)”)的全方位的视频输入来感 测和/或跟踪在整个区域内的人或对象的移动。该系统可以指示一个或多个 球形摄像机(例如，博世的具有自动跟踪功能的AutoDome摄像机，参见 EP1427212A1)来将PTZ电机控制(motor control)指向由鱼眼摄像机感测 的任何作为目标的人或对象，使得autodome摄像机能够以更大的细节和/ 或特异性来持续跟踪移动对象。因而，鱼眼摄像机可以用作用于360°态势 感知监视的全方位传感器。现今最常使用的其他类型的已知传感器有声纳 和红外传感器，但是它们是昂贵的，具有高能耗并且是复杂的。

PTZ电机控制的方向可以基于所检测的事件、所定义的探试法 (heuristics)、以及从鱼眼镜头摄像机提供的世界坐标到由球形摄像机使用 的摇摄值、倾斜值和变焦值的转换。可以使用鱼眼镜头图像配准、背景减 除和前景检测从连续帧中测量总体运动行为(overall motion activity)。

本发明可以提供一种具有视频内容分析，即对利用一个或多个全方位 和/或auto-dome摄像机捕捉的监视视频的内容进行提取及建模的新颖智能 监视方法。自动提取视频内容能力这一性质可以对将监视视频传送到安保 人员进行改善，并且可以显著地扩展有效处置并实时呈现监视视频的能力。

为了处理到达配备人员的安保室的数以百计的视频通道，智能或自动 视频监视已经变为必须的工具。实时处置数据的系统应当最优地考虑用户 的偏好并且相应地对实时视频和缓冲的内容进行过滤。

电子监控和监视设备通常是各种固定的和移动的摄像机，当电子监控 和监视设备记录在主要交通路线、办公建筑、住宅社区以及大百货商店或 超级市场中的视频时，该电子监控和监视设备可以理想地对准可疑的目标 或对象。在传统的摄像机系统中，由于具有标准视场的镜头的摄像机的有 限对准范围，可以被作为目标的对象是非常有限的。此外，大多数已知的 视频捕捉设备工作时具有各种各样的盲点，这是因为它们具有小的视场。 因此，当前设备被用于监视的方式离360°态势感知监视的理想是遥远的。

通常，监视应用将多个目标同时呈现给人类观察者分析。然而，人类 同时集中于多个目标的能力是有限的。因此，已经开发了计算机视觉系统， 该计算机视觉系统可以分析来自摄像机的信息，并且可以将该信息以简洁 的符号样式呈现给用户。可以从人类目标的轨迹的特性以及人类目标之间 的交互来提取出关于人类目标行为的信息。

本发明的视频分析技术能够胜任环境评估并且可以大幅度减小人员在 执行危险任务时不得不承担的风险。本发明可以提供360°态势感知的监视 系统，该监视系统使用全方位视频输入来跟踪在整个区域内的人或对象的 活动。

鱼眼镜头摄像机可以提供不具有盲点的360度的完全态势感知。鱼眼 镜头摄像机适用于室内应用和室外应用二者，并且在一个实施例中，鱼眼 镜头摄像机能够观察300英尺半径内的对象。

在360度态势感知的监视系统的一个特定实施例中，鱼眼镜头间谍摄 像机与autodome摄像机一起旋转，由此避免了在使autodome摄像机独立 于间谍摄像机旋转时所需要的机械复杂性。间谍摄像机并不需要如 autodome摄像机那样摇摄并且倾斜以便覆盖大的观察区域，由于间谍摄像 机的静止全方位能力，间谍摄像机可以覆盖完整场景的所有360度。即， 虽然间谍摄像机不需要摇摄，并且在静止的同时能够覆盖360度，然而出 于机械简单性的目的，间谍摄像机可能被迫与autodome一起摇摄。因而， 可以在图像处理中以及在PTZ autodome摄像机的摇摄-倾斜-变焦(PTZ) 控制中对间谍摄像机的旋转视场(FOV)进行补偿。本发明的新颖方面可 以在于：间谍摄像机与autodome摄像机一起旋转，并且在图像处理中以及 在PTZ autodome摄像机的控制中执行对间谍摄像机的FOV旋转的补偿。 另一新颖特征可以在于：用于PTZ摄像机的控制器被设置在autodome的外 壳中，而不是被设置为需要电缆的外部个人计算机(PC)。

另一新颖方面在于使用鱼眼间谍摄像机(低分辨率)和autodome摄像 机(高分辨率)的组合的监视系统。根据本发明，间谍摄像机可以用作图 像传感器而不是用于显示的目的。例如，间谍摄像机可以仅仅感测移动对 象的大体位置，并且autodome摄像机可以以更高的精度对移动对象进行定 位、以及产生用于显示给人员的图像。autodome下方(即比autodome低) 的间谍摄像机具有非常重要的挑战。在本发明中，当autodome移动时， autodome下方的间谍摄像机也可以相应地移动。在该情况下，除了利用一 些诸如边沿检测、模糊(blurring)等之类的图像处理之外，系统可能还需 要利用全图像配准技术来稳定作为传感器的间谍摄像机的输出。

在特定的实施例中，本发明提供360度态势感知的监视系统，该监视 系统使用全方位视频输入来创建基于人或其他对象在整个区域内的移动的 运动密度图。可以从运动密度图以及在高运动密度的区域之间的交互中提 取出与用于动态智能自动巡视特征的编程轨迹有关的信息。自动巡视可以 是自动或手动编程到摄像机系统内的移动轨迹或模式(例如摇摄、倾斜、 变焦)，从而能够重复该移动轨迹或模式。期望该轨迹或模式使摄像机能够 捕捉高运动密度区域的图像或者使摄像机能够聚焦在高运动密度区域。

首先，在已经建立了运动密度图之后，系统可以在轨迹路径中将高运 动密度的成分区域连接。该密度图中的最密集区域是期望摄像机聚焦的潜 在兴趣区域。可替代地，系统可以使用探试方法，其中用户识别兴趣区域， 或者系统通过使用默认的兴趣区域定义(例如最大区域、最小区域、特定 区域阈值、优先的兴趣区域等)来识别兴趣区域。在系统通过用户输入或 者通过探试法来将最感兴趣区域选择为在运动密度图上的路径中的连通成 分(connected component)之后，系统可以基于对在二维图像中的像素值中 选择的成分的权重进行平衡来计算路径线的中心。这样，所有这些像素值 可以定义预期的智能自动巡视功能的轨迹。依据所选择的连通成分的尺寸 或面积，系统可以提供最优焦距信息，使得可以以最优视场进行监视。接 下来，系统可以将该轨迹的像素值转换为世界坐标位置。然后，可以将所 有这些值从世界坐标位置转换为特别针对每个个体autodome摄像机计算的 PTZ值。即，所选择成分的所有这些轨迹值是用兴趣监控区域的PTZ值的 集合来表示的。PTZ值的每个集合对应于多个autodome摄像机中的相应一 个，并且PTZ值的每个集合可以取决于autodome摄像机在房间中相对于被 监控的区域的几何位置。最终，系统根据跨越所选择的成分的轨迹的长度 来计算平滑的最优速度，摄像机将以该速度跨越被监视的地点来进行查看 或扫描。

在一个实施例中，本发明包括一种用于操作视频监视系统的方法，该 方法包括将PTZ摄像机设置在外壳内。将鱼眼镜头摄像机附着在该外壳上， 使得鱼眼镜头摄像机具有不被该外壳阻挡的全景视场。全景视场以PTZ摄 像机的摇摄轴为中心。鱼眼镜头摄像机围绕摇摄轴旋转。通过使用鱼眼镜 头摄像机在全景视场内捕捉第一图像。识别兴趣对象在所捕捉的第一图像 内的位置。将PTZ命令传输到PTZ摄像机，使得PTZ摄像机被定向以捕 捉在所识别的位置处的所述兴趣对象的第二图像。针对在鱼眼镜头摄像机 旋转期间该鱼眼镜头摄像机的视场的旋转来对PTZ命令进行补偿。

在本发明的另一形式中，本发明包括一种视频监视系统，该视频监视 系统包括在外壳内的PTZ摄像机。鱼眼镜头摄像机被附着在该外壳上，使 得鱼眼镜头摄像机具有不被该外壳阻挡的全景视场。全景视场以PTZ摄像 机的摇摄轴为中心。将鱼眼镜头摄像机和PTZ摄像机进行耦合，使得鱼眼 镜头摄像机跟随PTZ摄像机围绕摇摄轴的旋转。鱼眼镜头摄像机在全景视 场内捕捉第一图像。处理设备通信地耦合到PTZ摄像机和鱼眼透镜摄像机 中的每一个。该处理设备识别兴趣对象在所捕捉的第一图像之内的位置， 并且将PTZ命令传输给PTZ摄像机，使得对PTZ摄像机进行定向以捕捉 在所识别的位置处的所述兴趣对象的第二图像。针对在鱼眼镜头摄像机旋 转期间该鱼眼镜头摄像机的视场的旋转来对PTZ命令进行补偿。

本发明的一个优点在于：可以通过鱼眼镜头摄像机持续监控摄像机系 统的整个360度的周围环境，同时PTZ摄像机跟踪鱼眼镜头摄像机所识别 的各个对象。

另一个优点在于：PTZ摄像机的控制器可以被设置在PTZ摄像机的外 壳中，并且因而不需要过长的电缆来连接该摄像机和该控制器。

另一个优点在于：可以对PTZ摄像机在整个高移动密度区域上的自动 巡视进行自动编程。另外，通过首先按照全局坐标协定或球形坐标协定对 高移动密度区域进行定位，并且然后将全局坐标逐个转化为用于每个摄像 机的PTZ移动，从而可以自动为多个摄像机规划这样的自动巡视。

附图说明

通过参考下文结合附图对本发明的实施例的描述，本发明的上述和其 他特征和目标以及实现它们的方式将变得更加显而易见，并且本发明本身 将被更好地理解，其中：

图1是根据本发明的视频监视系统的一个实施例的示意图；

图2是图1中的视频监视系统的方框图；

图3是由适合在本发明中使用的鱼眼镜头摄像机捕捉的图像的样本；

图4是在没有运动情况下的示例性鱼眼镜头运动密度图；

图5是在一时间段期间具有运动情况下的示例性鱼眼镜头运动密度图；

图6是示例性鱼眼镜头运动密度图，其中通过使用本发明的连通成分 算法已经检测到了三个成分；

图7是示例性鱼眼镜头运动密度图，其中通过使用在每个连通成分中 的线的中心点以(x，y)像素为单位计算出用于每个成分的智能自动巡视 路径；以及

图8是示出用于操作视频监视系统的本发明的方法的一个实施例的流 程图。

在所有多个视图中，对应的附图标记指示对应的部分。虽然这里阐述 的范例以多种形式说明了本发明的实施例，但是下面公开的实施例并不是 穷举的，或者并不应该将下面公开的实施例理解成是将本发明的范围限制 于先前公开的形式。

具体实施方式

根据本发明的一个实施例，在图1中示出了视频监视系统20。系统20 包括PTZ autodome摄像机22，该PTZ autodome摄像机22位于部分球形的 罩或者“autodome”24内，并且安装在支撑物25上。静止的支撑物25可 以采用很多形式，例如从建筑的外部边沿延伸出的向外延伸的支撑臂。该 罩24被着色以允许摄像机获取罩24外部的环境的图像并且同时防止正由 摄像机22观察的环境中的个体能够看到摄像机22的取向。摄像机22包括 控制器和电机，其被提供用于摄像机22的摇摄、倾斜以及焦距调整。摄像 机22的摇摄动作由双箭头26来表示，摄像机22的倾斜动作由双箭头28 来表示，并且摄像机22的镜头23的焦距的改变(即变焦)由双箭头30来 表示。如参考坐标系统21所示，摇摄运动可以跟踪沿着x轴的移动，倾斜 运动可以跟踪沿着y轴的移动，并且焦距调整可以被用于跟踪沿着z轴的 移动。在所说明的实施例中，摄像机22和罩24可以是博世的AutoDome 模块化摄像机系统，该模块化摄像机系统可以从博世安防系统有限公司获 得，并且博世安防系统有限公司在宾夕法尼亚州的兰开斯特市具有营业场 所。

系统20还包括主控端(head end)单元32。主控端单元32可以包括 视频切换器或视频多路复用器33。例如，主控端单元包括可从博世安防系 统有限公司获得的Allegiant牌视频切换器，例如LTC8500系列Allegiant 视频切换器，该LTC8500系列Allegiant视频切换器为最多64个摄像机提 供输入，并且主控端单元还可以设置有八个独立键盘和八个监视器。主控 端单元32包括用于操作者输入的键盘34和操纵杆36。主控端单元32还包 括用于操作者观看的显示设备，该显示设备可以采用监视器38的形式。提 供24伏AC电源40来向摄像机22和处理设备50二者供电，处理设备50 可操作地耦合到摄像机22和主控端单元32二者。

所说明的系统20是单个摄像机应用，然而，本发明可以应用于具有附 加摄像机的更大监视系统内(这些附加摄像机中的一些可以是静止的)以 提供更大的或者更加复杂的监视区域的覆盖。也可以将一个或多个VCR或 者其他形式的模拟或数字记录设备连接到主控端单元32，以提供对系统中 的摄像机22和其他摄像机捕捉的视频图像的记录。

摄像机22可以包括诸如电荷耦合器件(CCD)之类的图像捕捉设备， 该电荷耦合设备获取四边(例如矩形)的CCD视频图像。处理设备50识 别或者选择了CCD图像中的至少一部分，使其在监视器38的屏幕上显示 以供系统20的操作者观看。

鱼眼镜头摄像机52可以被设置于罩24内的摄像机22的下方。然而， 同样可以将鱼眼镜头摄像机52设置在罩24的外面。在任一情况下，可以 如此安装摄像机52，使得它具有不被系统20的其余部分阻挡的半球形视 野。摄像机52可以沿向下的方向54对准、指向和/或面向地板或地面，使 得摄像机52可以在遍及整个360度地平线(horizon)的方向56上观察相 同的垂直水平。

摄像机52可以被用作传感器，并且其捕捉的图像可以与360度态势感 知监视算法结合用于360度态势感知监视。在提供不具有盲点的态势感知 的低成本解决方案内，本发明提供了简单设置、容易操作以及高度灵活性 的优点。

在图2中说明了在视频内容分析(VCA)硬件模块(例如TI的DM642 DSP)上实现360度态势感知实时监视的技术和自动智能监视算法的顺序 基本步骤。Autodome VCA模块200的Beam 202和监视器I各自接收来自 鱼眼镜头摄像机52的视频输入204a-204b中的相应一个。背景估计和适配 模块(BEAM)202可以处理图像序列并且检测其中的移动对象。BEAM 202 可以包括背景减除模块和解释层。

在下一步骤206，检测之前已经创建的任何运动遮蔽(mask)。例如， 可以在FOV内创建一个或多个运动遮蔽，其中由于永久运动源位于该遮蔽 之后或者之内，因此可以忽略该永久运动源。在风中摇动的旗帜或灌木可 以是这样的永久运动源。

在步骤208，通过求平均值来更新运动密度图。即，如下文更详细地所 述，通过求平均值函数来计算运动密度。

在下一步骤210，计算密度路径。即，可以计算出autodome摄像机的 摇摄、倾斜和/或变焦所遵循的路径，使得摄像机的FOV经过具有很多运 动的区域。该高密度路径可以对应于在x和y坐标系统的被检测的运动区 域中具有最密集运动的像素，并且可以在逐条的基础上。

接下来，在步骤212，根据摇摄动作、倾斜动作和/或变焦动作来创建 智能自动巡视路径。在一个实施例中，建立与所计算的密度路径中的每一 段(leg)相关联的速度或通过时间，以便由此创建自动巡视路径。此外， 可以进一步计算出引导摄像机通过所计算的密度路径的摇摄命令、倾斜命 令和/或变焦命令。

在最后的步骤214，通过向autodome摄像机22发送摇摄命令、倾斜命 令和/或变焦命令来控制autodome摄像机。摄像机22捕捉的图像可以实时 显示在监视器II上。

可以将态势感知建模为两个底层视频特性的集成函数，通过以下的视 频分析学研究来激发该视频特性的选择：(1)从连续的帧中测量的总体运 动行为；以及(2)360度全方位传感器模型。

可以将运动行为定义为在包括对象和摄像机运动二者的场景中的总体 运动，视频流中出现的运动行为可以被认为是在态势感知的激励(arousal) 的建模中使用的第一特征。关于鱼眼镜头图像的配准，常驻于autodome头 单元(head unit)中的360度全方位传感器模型可以做出以下假设：空间中 的图像的平移和旋转能够近似于在autodome头单元处于运动时的图像运 动。

平移可以被认为是在x或y方向上的像素运动，像素运动的距离是按 照一些数量的像素来定义的。正平移是沿着增大的行索引或列索引的方向 上的；而负平移是沿着减小的行索引或列索引的方向上的。正方向上的平 移向图像的顶部和/或左侧增加行和/或列，直到已经达到所要求的增加。可 以相对于原点来执行图像旋转，该原点被定义在运动的中心，并且由此可 以将图像旋转指定为角度。可以使用下列的近似方程来表示该平移：

x′＝(xcosα-ysinα)+t_x

y′＝(ysinα+xcosα)+t_y

关于背景减除，背景建模可以包括将当前图像从参考图像中减去。参 考图像可以从一个时间段期间的静态背景中获得。提取仅留下非静止对象 或新的对象。鱼眼镜头摄像机不需要摇摄和倾斜来覆盖大的观看区域，由 于其静止、全方位能力，所以该鱼眼镜头摄像机覆盖整个场景的所有360 度。然而，鱼眼镜头摄像机还提供了用于开发强大背景模型的机会。

相应地，“背景减除”算法的基本步骤可以如下：背景模型构建了参考 图像并且建立了背景。背景估计和适配模块(BEAM)可以用于构建背景 图像。

在第二步，阈值方法确定在减除操作中使用的用于获得所期望的检测 率的适当阈值。例如，适当的阈值可以使感兴趣的运动(例如来自人)能 够被检测到，而使不感兴趣的运动(例如来自老鼠)不被检测到。

背景减除算法的第三且最终步骤可以包括减除操作或像素分类和适配 速度。该步骤对给定像素的类型进行分类。例如，像素可以被分类为背景 的一部分(包括普通背景和阴影背景)，或者像素可以被分类为移动对象。

关于前景检测，当像素强度具有大于特定全局阈值的概率时，可以通 过检测来发现前景区域。每个帧的前景区域被分组为连通成分。通过应用 连通成分技术，前景提取具有不同于背景的区域集合。可以通过边界框和 图像遮蔽来描述每个前景成分，其表示边界框中的那些属于前景的像素。 对于定义明确的移动对象，下一步骤是去除小的成分、噪声和无关紧要的 区域。为了在跟踪器中解析更复杂的前景提取结构，可以使用去除算法， 例如光归一化和尺寸滤波。

一旦检测到前景，则可以使用尺寸滤波器来清除和去除噪声区域。在 每个候选区域应用尺寸滤波器的情况下，考虑来自图像差异的累积像素计 数。尺寸滤波器具有最小阈值和最大阈值。最大阈值可以被用于避免对象 的大的缓慢移动的阴影。

如上文提到的，态势感知可以被建模为两个底层视频特性的集成函数， 两个底层视频特性中的一个为360度全方位传感器模型，如在一个实施例 中由鱼眼镜头摄像机52所实施的那样。鱼眼镜头摄像机52可以具有360 度的视野，并且因此能够将半球形的所有信息压缩到一幅图像中。该压缩 可以使图像能够承载更加多的信息，以便用于需要非常宽的视角的计算机 视觉应用(例如，在检测、跟踪和监控中)。通常，捕捉半球形视场所要求 的特殊镜头的模型参数使得鱼眼图像的投影变换的计算难以精确计算。

在图3中，示出了来自鱼眼镜头摄像机视频的样本图像。在图像中捕 捉的是两条人行道302、304的交叉路口，每条人行道具有恒定的宽度，并 且相互垂直定向。由于与摄像机的距离增加，所以人行道的宽度看起来朝 向图像的外侧越来越小。还示出了正走在人行道上的两个行人306、308。

对于常规的摄像机图像，为了产生或减小图像中的几何扭曲来由此检 测并显示在视频的下一帧中的移动对象，可以调用需要非常长处理时间的 变形(warping)或反变形(unwarping)。在另一方面，因为不将视频显示 给用户，所以可以不需要反变形技术。因此，可以依靠鱼眼镜头视频中的 几何参数仅使用像素映射来控制移动的摄像机。

因为鱼眼镜头的使用，原始的鱼眼镜头输出视频可以不具有统一的空 间分辨率。归因于鱼眼镜头的光学性质，全方位摄像机沿着地平线的空间 分辨率是最大的。博世公司在市场上出售的Dinion摄像机系统具有480(H) ×720(V)的分辨率。当考虑整个半球形图像时，沿着地平线的空间分辨 率可以为4.8像素/度。

对于支持监视系统的基于视觉的检测和跟踪系统，该检测和跟踪系统 需要可靠地跟踪对象的位置和身份、能够以合理的速度运行、可用于多人、 允许对人的表示进行创建和删除、以及能够与多个摄像机一起工作。为了 达到在真实世界环境中实际跟踪的所有要求，可能需要考虑在分辨率和 FOV之间进行权衡。然而，依靠鱼眼镜头的独特最优设计，可以不需要具 有多个视野。

进一步关于360度全方位传感器模型，可以将在图像中捕捉的对象的 像素坐标转换为在全方位运动传感器模型中的世界坐标(例如全局坐标或 半球形坐标，例如可以利用纬度和相对于参考经度线的经度来表示全局坐 标或半球形坐标)。理想地，当测量与沿着地平线的目标对象的角度时，可 以利用所观察的x坐标和y坐标来发现其真实的角度。然后，可以根据沿 着x轴和y轴的像素来计算从中心点到该目标的距离。该计算产生了该目 标距鱼眼图像中心的、按照像素的观察距离。

当检测到不寻常的运动时，鱼眼镜头摄像机可以监控运动行为的方向， 并且可以提供目标在世界坐标系统中的位置。执行这样的计算的示例性软 件代码如下：

Autodome移动摄像机可以使用以世界坐标表示的位置信息来确定其 摇摄值、倾斜值和变焦值。因而，可以将以世界坐标表示的位置信息转换 为PTZ位置信息。在移动摄像机锁定对象之后，移动摄像机可以通过使用 速度控制功能连续跟踪该目标，只要该目标存在于场景中(例如，该目标 在视场之内)。当目标对象离开该摄像机的FOV时，该摄像机可以然后将 目标对象的跟踪移交给在其FOV中具有该目标对象的另一摄像机。仅当连 通成分识别对于特定对象无效时，可以完成不同对象或人的移交。将世界 坐标转换为PTZ位置信息的示例性软件代码如下：

关于图形用户界面模块和信息显示，虽然直接在鱼眼镜头的视频上运 行跟踪算法是可接受的，但是它不是向终端用户显示目标的适当方式。即， 当对象被显示在鱼眼镜头视频中时，人类很难辨认该对象。因而，Autodome 系统控制器可以提供两个基本功能。第一个基本功能可以是显示事件的视 频。即，Autodome系统控制器可以通过使用移动的autodome摄像机的输 出来显示正在场景中发生的当前事件。第二个基本功能可以是提供全方位 的图窗(map window)。该系统可以通过使用鱼眼镜头摄像机输出来向用户 提供整个区域的运动图的画中画(PIP)。

如上所述的本发明可以提供360度感知，并且没有盲点、低成本、室 内/室外适用、低功耗、低复杂性、快速实施、在300英尺半径之内的覆盖 区域、以及集成了虚拟遮蔽和隐私遮蔽。

鱼眼镜头能够看到半个世界。然而，世界的该最优视图要付出高昂的 成本。即，从全方位镜头获得的图像是扭曲的。在对一个轴的半径的测量 中哪怕小到一个像素的错误也会随着目标向可视区域的最顶端移动而变 大。

另一个考虑因素是，为了更大的覆盖区域，背景建模算法需要更多的 CPU功率来用于更有效的背景检测和更高分辨率的处理。可能需要最优化。 该算法在诸如具有每秒25帧的四分之一通用中间格式(QCIF)之类的小 尺寸图像上运行。如果要增大覆盖区域，则需要更大的分辨率，这也需要 更多的CPU功率。灵敏度取决于该分辨率。120×160的QCIF尺寸对于室 外应用而言具有有限的灵敏度。

来自鱼眼镜头的图像在地平线的边缘发生很大的扭曲。该扭曲可以导 致摇摄位置、倾斜位置和变焦位置的较小精度和灵敏度。

最后的考虑因素是本发明需要摄像机平衡。平衡上的小的不精确性可 以导致在摇摄位置、倾斜位置和变焦位置上的较低映射精度。

如上所述的本发明解决了从用于360度态势感知监视系统的鱼眼镜头 摄像机产生的实时视频中提取出感兴趣内容的问题。本发明可以提供一种 用于使用鱼眼图像在摄像机的全方位空间中进行个体目标跟踪的图像处理 方法。该创新的方法由于计算机视觉算法和探试法而变得智能。并且，使 用具有360度全景的全方位视频监视系统消除了盲区。该智能的视频分析 系统可以基于所检测的事件或所定义的试探法来指示Autodome而直观地 将PTZ电机控制指向任何目标人或对象。

本发明可以提供一种用于没有盲点的自动360度态势感知监视系统的 方法，该自动360度态势感知监视系统可与混合的鱼眼镜头和移动摄像机 一起使用。本发明还可以提供一种用于连续360度态势感知监视系统的方 法，其中该360度态势感知监视系统被用作有效的监控系统。与之相比， 传统系统的效率低下或无效性在于用户仅能够看到非常有限的视场。

本发明可以提供一种通过同一摄像机(采用变化且不同的FOV)来同 时监控多个对象的方法。因而，可以基于全方位控制来快速观察场景中的 行为。与之相比，传统的系统可以使用固定的摄像机监控有限数量的对象， 这不是在场景内提取行为的有效方式。

本发明可以提供一种用于实现对用于整个区域的360度FOV光学传感 器的视频输出进行采集的方法，其中该传感器安装在移动的摄像机上。本 发明还可以提供一种实施快速并且可靠的用于在以低分辨率图像进行实时 成像时收集视频分析信息的手段的方法。

在本发明的另一实施例中，提供了360度智能自动巡视。可以将运动 行为定义为在一时间段内场景中的总体运动。

关于创建运动遮蔽，背景建模可以包括将当前图像从参考图像中减去， 该参考图像可以从在一时间段期间的静态背景中获得。背景图像的提取仅 留下非静止对象或新的对象。鱼眼镜头摄像机不需要摇摄和倾斜来覆盖大 的观看区域，由于鱼眼镜头摄像机的静止全方位能力，因此该鱼眼镜头摄 像机覆盖完整场景的所有360度。

可以建立和更新运动密度图。在图4中，示出了在没有运动情况下的 示例性鱼眼镜头运动密度图。可以通过在用户定义的时间段中持续更新运 动像素来发现运动密度图。运动密度图可以具有通过使用背景模型检测到 的运动遮蔽的集合。

可以创建高密度路径。高密度路径可以逐条地在x和y坐标系统中的 检测的运动区域中提供具有最密集的运动的像素。可以通过求平均值函数 来计算运动密度。

下面的方程(1)表示如在图5中所示的n个帧之间的时间段内的每个 像素的运动密度值。

$I_{\mathrm{average}}(x,y)=\underset{i=0}{\overset{n}{\Sigma }}\alpha *I_i(x,y)+(1-\alpha )*I_{\mathrm{average}}(x,y)---\left(1\right)$

等式(1)体现在以下的代码中：

首先，如在图6中所示，系统可以在已经创建运动密度图之后创建连 通成分。密度图中最密集的区域是用于智能未来考虑的可能兴趣区域。然 而，该系统还可以使用探试方法来对兴趣区域的定义(例如最大的区域、 最小的区域、特定区域阈值、优先兴趣区域等)做出决定。关于兴趣区域 的定义的决定也可以由用户或通过默认做出。

在通过用户输入或通过探试法系统已经选择了最感兴趣的区域之后， 针对运动密度图中的连通成分，系统计算线的中心使得所选择的成分的全 部像素均匀分布在该线的两侧，虽然该线可能沿着路径成曲折形。所有这 些像素值由此定义具有预期的智能自动巡视功能的轨迹，如在图7中所示。

依据所选择的连通成分的尺寸，系统可以提供用于有效监控的最优焦 距信息。接下来，系统可以将该轨迹的像素值转换为世界坐标位置。然后， 可以将所有这些值从世界坐标系统转换为用于每个个体autodome摄像机的 PTZ值。系统以用于每个autodome摄像机监控区域的PTZ值的形式存储所 选择的成分的所有这些轨迹值，其中PTZ值取决于各个autodome在房间中 的几何位置。最终，系统可以计算平滑的最优速度来执行监控，其中该速 度取决于所选择的成分的轨迹的长度。

关于创建智能巡视路径，系统可以通过在预先定义的时间段内动态地 使用360度全方位传感器模型来提供完整的摇摄、倾斜、变焦控制信息。 本发明可以提供一种图像处理方法，该图像处理方法通过使用鱼眼图像并 且采用计算机视觉算法和探试法而在移动的摄像机中具有智能自动巡视特 征。

本发明可以提供一种用于自动动态360度智能自动巡视系统的方法， 该自动动态360度智能自动巡视系统可与混合的鱼眼镜头摄像机和一个和 多个移动(例如摇摄、倾斜和/或变焦)摄像机一起使用。本发明还提供一 种用于持续的360度智能自动巡视系统的方法，其中该持续的360度智能 自动巡视系统用于360度全景的有效监控。与之相比，传统的系统提供效 率低下或者无效的方式，从而仅能监控小的、预先定义的区域。

图8示出了本发明的用于操作视频监视系统的方法800的一个实施例。 在第一步骤802，将PTZ摄像机设置在外壳内。例如，可以将autodome PTZ 摄像机22设置在autodome或罩24内。

在下一步骤804，将鱼眼镜头摄像机附着在该外壳，使得鱼眼镜头摄像 机具有不被外壳阻挡的全景视场，该全景视场以PTZ摄像机的摇摄轴为中 心。更特别地，鱼眼镜头摄像机52可以附着在罩24，使得摄像机52具有 不被系统20的任何其他部分阻挡的180度、半球形的视场。虽然在图1中 示出的摄像机52被设置在罩24内，但是由于罩是透明的，因此罩24并不 阻挡摄像机52的FOV。然而，摄像机52还可以向下延伸到罩24的底部之 外。半球形视场可以以图1中示出的y轴为中心，PTZ摄像机22可以围绕 该y轴摇摄。虽然这里将鱼眼镜头摄像机描述为具有跨越180度的半球形 视场，但是该鱼眼镜头摄像机也可以具有跨越小于180度(例如120度) 的视场，并且该视场可以仍然被认为是如本文所使用的术语“全景”。

接下来，在步骤806，鱼眼镜头摄像机围绕摇摄轴旋转。例如，鱼眼镜 头摄像机52可以被机械固定在PTZ摄像机22上，使得无论摄像机22何 时经历任何围绕垂直y轴的摇摄动作(y轴在本示例中是摇摄轴)，摄像机 52都被迫跟随围绕摇摄轴的旋转。为了系统20的机械简单性的目的，摄像 机52可以以该方式固定在摄像机24上。

在步骤808，通过使用鱼眼镜头摄像机来在全景视场内捕捉第一图像。 例如，摄像机52可以持续监控全景FOV，由此在全景视场内持续捕捉图像 序列。

在下一步骤810，识别兴趣对象在所捕捉的第一图像内的位置。例如， 兴趣对象可以通常以人的形式，并且人通常以正在运动为特征(例如在帧 与帧之间具有不同的位置)，这与通常不移动的无生命对象相反。因而，可 以将在所捕捉的图像内的呈现高度运动的区域(当结合紧接着的前面的帧 和紧接着的后面的帧来考虑时)识别为兴趣对象的位置。可以将视场内的 不感兴趣的已知移动对象(例如旋转吊扇)遮蔽掉，使得它们不会被识别 为兴趣对象。

在最后的步骤812，向PTZ摄像机传输PTZ命令，使得对PTZ摄像机 进行定向以捕捉在所识别的位置处的兴趣对象的第二图像，针对在鱼眼镜 头摄像机的旋转期间该鱼眼镜头摄像机的视场旋转来对PTZ命令进行补 偿。即，可以将如在鱼眼镜头摄像机52捕捉的图像中识别的兴趣对象的位 置传送到PTZ摄像机22的控制器，使得PTZ命令可以被发送到摄像机22 以由此使摄像机22也能够捕捉兴趣对象的图像。如果鱼眼镜头摄像机52 是静止的，则将摄像机52捕捉的图像中的对象的位置转化为使PTZ摄像 机22对准同一兴趣对象的PTZ命令将是相对简单的。然而，由于鱼眼镜 头摄像机52是有规律地处于旋转运动中，因此必须依据当捕捉图像时摄像 机52的旋转位置来确定其图像由摄像机捕捉的对象的位置，并由此必须依 据在捕捉该图像之前摄像机52的FOV的先前旋转运动来确定该对象的位 置。因为兴趣对象的位置是基于摄像机52的FOV的先前旋转运动来确定 的，所以使摄像机22向着兴趣对象摇摄、倾斜并且变焦的PTZ命令也必 须依据在捕捉兴趣对象的图像之前摄像机52的FOV的先前旋转运动，并 且必须针对在捕捉兴趣对象的图像之前摄像机52的FOV的先前旋转运动 来对该PTZ命令进行补偿。

除了针对鱼眼镜头摄像机52的FOV的旋转运动来对PTZ命令进行补 偿之外，摄像机32捕捉的图像的处理也可以依据鱼眼镜头摄像机的视场的 旋转，并且针对鱼眼镜头摄像机的视场的旋转来对摄像机32捕捉的图像的 处理进行补偿。例如，在利用图像的帧与帧之间的关系来确定对象的移动 时，必须考虑的是：对象在图像内的位置可以由于摄像机52在帧之间的旋 转而逐帧变化。因而，当处理该摄像机捕捉的图像以为了发现其中的移动 对象时，需要删除纯粹由于摄像机的移动所致的对象的这种被认为的“移 动”。

尽管已经将本发明描述为具有示例性的设计，但是也可以在本公开内 容的精神和范围内对本发明进一步修改。因此，本申请旨在覆盖使用本发 明一般性原理对本发明的任何变动、使用或调整。