用于显示可控制的摄像机的摄像机图像的客户端装置、方法、计算机程序以及具有所述客户端装置的监视系统

摘要

摄像机支持的监视设备设置用于保护建筑物或场所的安全。所述监视设备通常具有至少一个监视摄像机，其中所述监视摄像机可以构造为刚性的监视摄像机。然而也已知所谓的PTZ摄像机(Pan-Tilt-Zoom-Kameras)，借助伺服马达可以在摆动角、倾斜角和放大调节方面控制所述PTZ摄像机。提出一种用于显示可控制的摄像机(3)的摄像机图像(IK，ZK，SK)的客户端装置(2)，所述客户端装置具有屏幕(5)、用于在屏幕(5)上显示第一图像显示的显示装置(6)，其中所述第一图像显示出摄像机(3)的实际摄像机视域(IK)中的实际摄像机图像(IK)，具有选择装置(7)，其中所述选择装置(7)构造用于选择所述摄像机(3)的期望摄像机视域(SK)，并且具有通信装置(8)，其中所述通信装置构造用于请求(A)并且接收所述期望摄像机视域(SS)中的期望摄像机图像(SK)，其中所述显示装置(5)构造用于在第二图像显示中在所述期望摄像机视域(SK)中至少区段式地位置正确且大小正确地显示所述期望摄像机图像(IK)，而在另一图像显示中在所述期望摄像机视域(SK)中位置正确且大小正确地显示所述期望摄像图像(SK)。

说明书

技术领域

本发明涉及一种用于显示可控制的摄像机的摄像机图像的客户端装置，所述客户端装置具有屏幕、具有显示装置、具有选择装置并且具有通信装置，所述显示装置用于在屏幕上显示第一图像显示，其中所述第一图像显示示出摄像机的实际摄像机视域中的实际摄像机图像，其中所述选择装置构造用于选择摄像机的期望摄像机视域，其中所述通信装置构造用于请求以及接收期望摄像机视域中的期望摄像机图像。本发明还涉及一种借助所述客户端装置的方法、一种用于所述客户端装置的计算机程序以及一种具有所述客户端装置的监视系统。

背景技术

摄像机支持的监视设备设置用于保护建筑物或场所的安全。所述监视设备通常具有至少一个监视摄像机，其中所述监视摄像机可以构造为刚性的监视摄像机。然而，也已知所谓的PTZ摄像机(Pan-Tilt-Zoom-Kameras：云台全方位移动及镜头变倍、变焦控制摄像机)，借助伺服马达可以在摆动角、倾斜角和放大调节方面控制所述PTZ摄像机。

所述PTZ摄像机不仅在监视设备领域中已知。因此，可能构成最接近现有技术的文献WO 2011/046448 A1公开了一种用于会议系统的PTZ摄像机。在所述文献中探讨以下问题：对于每一个会议而言对PTZ摄像机的调节的要求可能不同，从而应互动地控制PTZ摄像机，以便通过这种方式可以使PTZ摄像机的视域与相应的请求匹配。在一种可能的构型中设置有触摸屏，其中通过所述触摸屏输入用于PTZ摄像机的控制指令。

发明内容

在本发明的范畴内提出具有权利要求1的特征的客户端装置、具有权利要求11的特征的方法、具有权利要求12的特征的计算机程序以及具有权利要求13的特征的监视系统。由从属权利要求、以下描述以及附图得到本发明的优选的或有利的实施方式。

在本发明的范畴内提出用于显示可控制的摄像机的摄像机图像的客户端装置。所述客户端装置可以构造为计算机工作站、尤其构造为个人计算机(PC)。然而对此替代地，客户端装置也可以实现为移动终端设备、尤其实现为膝上型计算机、智能电话或平板电脑。

客户端装置包括屏幕以及显示装置，所述显示装置构造用于控制所述屏幕。显示装置例如可以构造为数据处理装置、尤其构造为数字数据处理装置。屏幕优选是客户端装置的集成组成部件。显示装置构造用于将第一图像显示显示在屏幕上，其中所述第一图像显示定义为在屏幕上显示的图像信息。第一图像显示是摄像机的实际摄像机视域中的实际摄像机图像。实际摄像机图像优选是可控制的摄像机的当前摄像机图像。实际摄像机视域优选通过可控制的摄像机的定向和放大和/或视角限定。

客户端装置包括选择装置，所述选择装置尤其构造为人机接口，其中所述选择装置构造用于选择可控制的摄像机的期望摄像机视域。摄像机的期望摄像机视域通过摄像机的改变的定向和/或改变的增大或者改变的视角实现。

此外，客户端装置包括通信装置，所述通信装置构造用于请求以及接收期望摄像机视域中的期望摄像机图像。实际摄像机图像是由摄像机在实际摄像机视域中检测的摄像机图像，而期望摄像机图像是由摄像机在期望摄像机视域中检测的摄像机图像。

在本发明的范畴内提出，显示装置构造用于在第二图像显示中使实际摄像机图像至少区段式地显示在期望摄像机视域中而在另一图像显示中使期望摄像机图像位置正确且大小正确地显示在期望摄像机视域中。

在选择期望摄像机视域之后或在选择期望摄像机视域时，客户端装置将其屏幕切换到第二图像显示或另一图像显示，其中显示期望摄像机视域的摄像机图像或其一部分。然而实际上，所述摄像机图像不存在或不完全存在于客户端装置上，因为必须先相应地定向摄像机或必须改变其视角/其放大。在这种情形中，使实际摄像机图像位置正确且大小正确地显示在期望摄像机视域中。因此，使实际摄像机图像在屏幕上如此移位和/或缩放——即增大或减小，使得实际摄像机图像的至少部分区段位置正确且大小正确地显示在现在要显示的期望摄像机视域中。期望摄像机视域的剩余面积例如可以保持空白或以覆盖颜色显示。

在稍后的时刻，通过通信装置提供期望摄像机图像，所述期望摄像机图像在理想情形中百分之百地填充期望摄像机视域。因此，在另一图像显示中使期望摄像机图像位置正确且大小正确地显示在期望摄像机视域中。在从第二图像显示至另一图像显示的过渡中，在屏幕上实际摄像机图像的和期望摄像机图像的位置固定的、内容相同的图像区域完全重叠。

客户端装置的优点首先在于，所述客户端装置对借助选择装置的选择非常快速地反应。因此，实际摄像机图像在期望摄像机视域中的适配可以由客户端装置自主地(autark)实施，而不必请求并且等待来自可控制的摄像机的其他数据。因此，客户端装置对于第二图像显示的产生的反应仅仅取决于客户端装置自身的计算能力。由于移动终端设备或其他数据处理设备的计算能力当时非常高，所以可以在用户的感知方面几乎无延迟地或完全无延迟地实施第二图像显示。

与此相反，通过期望摄像机图像的请求和接收通常出现一定时间延迟或时延。因为可控制的摄像机必须先自身如此调节，使得所述摄像机拍摄期望摄像机视域，所以尤其出现所述时间延迟。出于所述原因，在稍后的时刻才实现具有期望摄像机图像的另一图像显示。尽管如此，作为可控制的摄像机的控制的补充，客户端装置的互动方法建立通过选择装置的操作动作与通过显示装置的显示之间的直接联系并且因此能够实现可控制的摄像机的直观的、准确的且舒适的操作以及控制。

在本发明的一种优选的扩展方案中，显示装置构造用于在至少一个在另一图像显示前面的中间图像显示中使中间摄像机视域(ZS)中的中间摄像机图像位置正确且大小正确地显示在期望摄像机视域中。所述扩展方案基于以下考虑：当请求期望摄像机视域中的期望摄像机图像时才必须使可控制的摄像机电动地行进。根据可控制的摄像机的执行机构，所述过程可以要求一定的时间段，其中在所述时间段期间拍摄一个或多个中间摄像机图像。然而，不丢弃所述中间摄像机图像，而是由显示装置将其显示在屏幕上，然而又仅仅显示中间摄像机图像的能够位置正确且大小正确地显示在期望摄像机视域中的部分区段。因此，在所述扩展方案中实现屏幕上的图像显示的持续更新，从而显示始终最新的摄像机图像。在大多情形中，从实际摄像机图像出发通过一个或多个中间摄像机图像、即始终借助最新的摄像机图像持续地继续填充屏幕上的期望摄像机视域，从而向客户端装置的用户显示所选择的期望摄像机视域的最大可供使用的图像信息。

在本发明的一种优选的实施方式中，选择装置构造用于通过实际摄像机图像的所选择的图像点的互动移位实现期望摄像机视域的选择。因此，在第一步骤中，通过选择装置限定实际摄像机图像的图像点(或具有所述图像点的图像区域)。在第二步骤中，使实际摄像机图像的所选择的图像点移位。在此设置，选择装置构造用于使实际摄像机图像与所选择的图像点共同移位。由此确保，使实际摄像机图像至少区段式地显示在期望摄像机视域中。例如可以通过计算机鼠标的操作或通过触摸屏的操作实施所选择的图像点的选择和互动的移位。因此，在所选择的图像点以及实际摄像机图像的互动移位时实现从第一图像显示至第二图像显示的过渡。可选择地能够实现，在移位期间已经通过随后的中间摄像机图像或甚至期望摄像机图像替代实际摄像机图像，然而如此实现所述替代，使得相对于当前的期望摄像机视域始终位置正确且大小正确地设置当前显示的摄像机图像和/或使得所选择的图像点设置在通过选择装置选择的位置处。

在本发明的一种扩展方案或一种替代方案中，选择装置构造用于通过实际摄像机图像的所选择的两个图像点的互动移位来选择期望摄像机视域。在此，根据所选择的两个图像点的位置来缩放实际摄像机图像，以便使实际摄像机图像至少区段式地显示在期望摄像机视域中。通过所谓的“收聚”例如在智能电话上实现视图的缩放。在缩放时同样实现从实际摄像机视域至期望摄像机视域的过渡，其中只要涉及对称的缩放就仅仅通过视角的变化实现所述过渡。在同样包含移位的缩放中，不仅改变摄像机的视角而且改变摄像机的定向，以便能够产生相应的期望摄像机图像。

在从实际摄像机视域至期望摄像机视域的所述变化中也优选的是，将通过选择装置选择的图像点在期望摄像机视域中设置在通过选择装置选择的位置处。由此确保用户可以始终以简单的方式互动地操作客户端装置。

在本发明的一种优选的实现中，通信装置构造用于分别与元数据一起接收实际摄像机图像、中间摄像机图像和期望摄像机图像作为摄像机图像，其中所述元数据能够实现将摄像机图像归类到一个共同的参考系中。所述实现基于以下考虑：通过元数据的说明和一个共同的参考系的使用极大地简化不仅期望摄像机视域的选择而且摄像机图像到期望摄像机视域中的嵌接。元数据尤其构造为参考系中的位置说明和/或构造为可控制的摄像机的调节参数——尤其摆动角、倾斜角和视角。

在本发明的一种可能的构型中，参考系构造为平的2D参考系。作为元数据，例如可以传送摄像机图像在2D参考系中的两个相对置的角坐标。因此，在这种构型中，将所有可能的摄像机视域投影到二维面上并且各个当前的摄像机图像设有相应的坐标。

然而，在本发明的一种优选的构型中使用3D参考系或极坐标系，其中元数据包括摄像机的实际摆动(IST-Pan)、实际倾斜(IST-Tilt)和实际缩放值或与其相当的值或定义。尤其可以使用球坐标系，其限于角说明。

本发明的另一个主题涉及一种具有权利要求11的特征的用于在屏幕上显示可控制的摄像机的摄像机图像的方法，其中在第一图像显示中在屏幕上显示实际摄像机视域中的实际摄像机图像，随后选择期望摄像机视域并且随后在第二图像显示中使实际摄像机图像至少区段式地位置正确且大小正确地显示在期望摄像机视域中并且在另一图像显示中使期望摄像机视域的期望摄像机图像位置正确且大小正确地显示在期望摄像机视域中。

本发明的另一个主题涉及具有权利要求12的特征的计算机程序，所述计算机程序具有程序代码模块。

本发明的另一个主题涉及监视系统，所述监视系统具有如先前已描述的或者根据以上权利要求中任一项所述的客户端装置。所述监视系统还包括至少一个如先前已描述那样的可控制的摄像机。

附图说明

由本发明的优选实施例以及附图的以下描述得到本发明的其他特征、优点和作用。附图示出：

图1示出具有作为本发明的一个实施例的客户端装置的监视系统的示意性框图；

图2以具体的形式示出图1中的监视系统；

图3示出用于阐示以上附图的客户端装置的功能方式的示意图；

图4示出用于进一步阐示功能方式的参考系；

图5示出图像显示的顺序，其代表现有技术；

图6以与图5中相同的示图示出借助以上附图的监视系统或者客户端装置的图像显示的顺序；

图7示出缩放过程中监视系统或者客户端装置的功能方式的示图；

图8示出图4中的参考系以阐示缩放的功能方式。

具体实施方式

图1以示意性框图示出监视系统1，所述监视系统可以构造用于监视任何监视区域。也可以涉及会议等的监视。然而特别优选地，监视系统1用于在未经许可的闯入、行窃、尤其店铺行窃等方面监视监视区域。

监视系统1包括一个或多个客户端装置2和一个或多个PTZ摄像机(Pan-Tilt-Zoom摄像机)3作为可控制的摄像机。PTZ摄像机3通过网络4与客户端装置2连接。网络4可以涉及线缆连接的网络、例如LAN。然而也可能的是，网络4构造为公共网络、尤其因特网。

PTZ摄像机3具有执行机构，所述执行机构能够实现使PTZ摄像机3围绕垂直于PTZ摄像机3的安装面、基面或参考面的轴线摆动(Pan)以及围绕与所述面平行的、垂直于PTZ摄像机3的视向定向的轴线倾斜(Tilt)。此外，PTZ摄像机3具有马达运行的缩放。在其他实施例中，也可以替代PTZ摄像机3设置PT摄像机、即没有缩放功能性或具有电子缩放的监视摄像机。

客户端装置2可以构造为个人计算机，然而所述客户端装置优选构造为移动终端设备、尤其智能电话或平板PC。特别优选地，无线地实现从客户端装置2到网络4的连接。

客户端装置2具有用于显示PTZ摄像机3的摄像机图像的屏幕5。屏幕5由显示装置6控制，其中所述显示装置6同样可以是客户端装置2的控制装置。此外，客户端装置2包括选择装置7，所述选择装置构成至客户端装置2的人机接口并且例如构造为屏幕5上的触碰敏感的区域，使得其实现为触摸屏。控制装置2还具有通信装置8，所述通信装置构造用于通过网络4与PTZ摄像机3进行通信，如其以下示出的那样。

在图2中，再次具体示出监视系统1，其中可以看到PTZ摄像机3可围绕在示图中水平延伸的倾斜轴线T和垂直延伸的摆动轴线P运动。PTZ摄像机3也可以安装在其他位置上，使得倾斜轴线T平行于安装面并且摆动轴线P垂直于安装面。

客户端装置2构造为智能电话，其中在屏幕5上显示PTZ摄像机3的摄像机图像K。图形示出的是选择装置7的操作，所述选择装置如已阐述的那样与屏幕5共同构造为触摸屏，其中通过两个手指选择不同的图像点B以及在屏幕5上移位来进行用户输入。

应根据图3阐述监视系统1的功能方式。监视系统1、尤其客户端装置2构造用于通过选择装置7中的用户输入来控制PTZ摄像机3，以便用户友好地且舒适地改变屏幕5上的摄像机图像K。在摆动轴线P和倾斜轴线T方面实现PTZ摄像机3的互动控制，其方式是，在摄像机图像K上选择图像点B并且借助在构造为触摸屏的选择装置7上的移位运动使其移位到位置P。以下如此定向PTZ摄像机3，使得在随后的摄像机图像K′中图像点B位于所选择的位置P处，如其在摄像机图像K’中示出的那样。

借助图4进一步探讨在所述控制过程中在后台运行的过程。图4示出构造为坐标系的参考系9，其中可以示出可由PTZ摄像机3检测的所有图像点。在图4中，参考系9构造为2D参考系，其中将可由PTZ摄像机3检测的图像点投影到2D面上。

在参考系9中示出实际摄像机视域IS，其在参考系9中例如通过两个角点以及(因此)坐标(min X；min Y)；(max X；max Y)的说明来限定的。物理上考虑的是，实际摄像机视域IS通过围绕摆动轴线P的摆动角p、围绕倾斜轴线T的倾斜角t和缩放因数Z以及固有摄像机参数——如PTZ摄像机3的焦距等的说明来限定。

替代直角坐标系，也可以选择球坐标系或3D参考系作为所述参考系9，其中所述参考系9例如构造半球，其中摄像机视域IS、ZS、SS的角点通过角坐标、尤其通过摆动角p和倾斜角t的说明来限定。参考系9选择为3D参考系在数学上是开销较大的，然而也可以更接近现实地示出根据视角的变化(由摄像机图像K投影到参考系中引起)。

在如同在图3中示出的互动中，着眼于参考系9，实际摄像机视域IS移位了移位向量V至期望摄像机视域SS。所述移位向量V是相等的，然而与图像点B和所期望的位置P之间的向量相反定向。期望摄像机视域在参考系9中具有另外的角坐标并且也分配给另外的摄像机参数，使得尤其不同地构造PTZ摄像机3的摆动角p和倾斜角t。

在实际摄像机视域IS中示出了实际摄像机图像IK。在PTZ摄像机3的摆动和倾斜以及当前图像的传输之后，在期望摄像机视域SS中示出了期望摄像机图像SK。

然而实际上考虑，PTZ摄像机3需要一定的时间来重新调节摆动角p、倾斜角t以及必要时缩放因数Z。出于所述原因可能的是，在中间时间中传输中间摄像机图像ZK，其在参考系9中设置在中间摄像机视域ZS中。如果现在在屏幕5上依次显示所述的三个摄像机图像——实际摄像机图像IK、中间摄像机图像ZK和期望摄像机图像SK，则得到以下示图(如其在图5中显示的那样)：如果用户已经将图像点B移位到位置P上，则首先在实际摄像机图像IK中不进行变化。在下一摄像机图像中，PTZ摄像机3已经跟随，从而得到中间摄像机图像ZK，其中图像点B和位置P具有比在实际摄像机图像IK中更小的间距，然而还不重叠。在期望摄像机图像SK中，图像点B和位置P才重叠。对于客户端装置2的用户而言，由于时延直至图像点B跟随到所期望的位置P上感觉到所述显示“拖延”。

为了避免所述时延，使实际摄像机图像IK和必要时中间摄像机图像ZK位置正确且大小正确地在期望摄像机视域SS中适配。在图6中图形地示出这种行为。通过将实际摄像机图像适配到期望摄像机视域SS中，图像点B和所期望的位置P立刻重叠(B＝P)，这尤其通过使实际摄像机图像与图像点B一起拖拉实现。实际摄像机图像IK的这种移位(以及可能缩放)可以由客户端装置2自主地实施并且因此没有延迟地实现。

然而，不能立即填充整个期望摄像机图像视域SS，而是剩下没有图像点的区域10，对于所述区域而言实际摄像机图像IK不具有图像信息。也将随后的中间摄像机图像ZK位置正确且大小正确地嵌接到期望摄像机视域SS中，从而减小没有图像点的区域10。一旦PTZ摄像机3已经实现了由期望摄像机视域SS限定的摄像机参数——摆动角p、倾斜角t和缩放因数Z，则由期望摄像机图像SK完全填充期望摄像机视域SS。

要强调的是，在屏幕5上始终显示期望摄像机视域SS。因此，在通过选择装置7的用户操作时客户端装置2显得没有延迟地或几乎没有延迟地反应，其中然而逐渐地下载用于期望摄像机视域SS中的没有与实际摄像机视域IS重叠的区域的最新图像信息。

如果再次观察图1，则可以看到，在选择期望摄像机视域时向PTZ摄像机3传输请求数据A。请求数据A尤其可以涉及期望摄像机视域SS的坐标、图像点B和位置P之间的向量或甚至涉及所期望的摆动角p、倾斜角t和缩放因数Z的说明。PTZ摄像机3提供摄像机图像、尤其实际摄像机图像IK、中间摄像机图像ZK和期望摄像机图像SK，其中然而对于每一个摄像机图像K而言一起发送元数据M，所述元数据能够实现摄像机图像K在参考系9中的位置的辨识，从而可以在期望摄像机视域SS中位置正确且大小正确地放置摄像机图像K。

图7示意性示出在借助从实际摄像机图像IK上的两个图像点B1、B2拉开到位置P1、P2(“收聚(pinching)”)的缩放时客户端装置2的功能方式。通过将图像点B1和B2拉开到位置P1和P2，确定缩放因数或放大因数Z。

如果在图8中再次观察参考系9，则图像区段的放大表示期望摄像机视域SS相对于实际摄像机视域IS的缩小，其中中间摄像机视域ZS再次占据中间大小。在作为用户互动的缩放时，实际摄像机图像再次位置正确且大小正确地适配在期望摄像机视域SS中，使得即使在缩放时也实现客户端装置2的没有延迟的反应。

客户端装置2的行为的特征尤其在于，所选择的图像点B、B1、B2始终保持在用户的“手指”的下方，因为由于将实际摄像机图像IK适配到期望摄像机视域SS中所选择的图像点始终保持与所期望的位置P重叠。