一种飞机跑道实时全景视频远程监控系统

摘要

一种飞机跑道实时全景视频远程监控系统属于飞机跑道实时全景视频远程监控技术领域，其特征在于包括：设在机场塔楼上的网络摄像机组、设在机房内依次串联的无线路由器和图形工作站、以太网以及设在客户端的远程监控中心；无线路由器以有线方式从一组网络摄像机输入多幅实时视频图像，图形工作站内的程序从所述无线路由器中以无线的形式输入一组多幅实时视频流，利用现有的实时图像拼接软件或者改进型实时视频流拼接软件对输入的多幅实时图像进行拼接处理，得到拼接线处平滑过渡且配准的图像经以太网送往远程监控中心，与传统的模拟-数字监控系统DVR比较，本发明具有远程传输、布线简单、实时性好、对跑道进行全景监控以及图像处理速度快的优点。

说明书

技术领域

本发明涉及全景视频远程监控系统，具体涉及一种飞机跑道实时全景视频远程监控系统 

背景技术

飞机跑道安全是一个很大的航空安全问题，飞机跑道的视频监控非常重要，随着科学技术的发展，目前飞机跑道所使用的视频监控系统主要为“模拟-数字”监控系统（DVR）已经不能满足人们在监控管理上的需求。“模拟-数字”监控系统是以数字硬盘录像机DVR为核心、半模拟--半数字方案，从摄像机到DVR采用的是同轴电缆输出视频信号，通过DVR同时支持录像和回放，并且支持网络访问，由于DVR产品五花八门，没有标准，所以这一代系统是非标准封闭系统，DVR系统仍存在大量局限。这种产品存在一些明显的缺点：（1）传输距离有限，这主要是由于同轴电缆的传输距离受限而影响到视频信号的传输距离。（2）布线复杂，每个摄像机都要安装单独的同轴电缆，导致布线复杂。（3）不适合远程监控，并且远程监控的时候实时性较差，有较高网络的延迟。（4）由于每一路摄像头监控范围有限，监控整个飞机跑道需要同时观看多路视频，监控起来比较麻烦。（5）多路视频分别存储，不利于回放和查找问题。（6）系统部署困难，并且需要在监控机器上安装视频采集卡。 

发明内容

发明目的：为了克服现有技术的不足，本发明提供了一种飞机跑道实时全景视频远程监控系统，实现对飞机跑道远程集中监控和控制。 

本发明包括：至少一组网络摄像机、至少一组无线路由器、至少一组图形工作站、以太网以及至少一个远程监控中心；其中： 

网络摄像机组,安置在机场塔楼上，每组网络摄像机设有至少一个网络摄像机，对准飞机跑道上的不同位置； 

无线路由器和图形工作站,设在机房内，每一台无线路由器对应一组网络摄像机，一台所述无线路由器通过LAN口以有线方式与一组内各个网络摄像机的实时视频图像输出端相连，每一台图形工作站以无线方式连接一台无线路由器，输入对应于一个机场跑道的不同位置的实时视频图像； 

所述图形工作站，以有线方式连接以太网； 

远程监控中心，是每个客户端PC机，以有线的方式连接以太网； 

所述图形工作站，是一台同时设有无线网卡和有线网卡的计算机，内设有基于并行编程模型指令集架构CUDA的NVIDIA显卡，依次按以下步骤对从相应的所述网络摄像机输入的多路实时视频图像进行拼接： 

步骤（1），采集在水平方向有部分重合的三路一批的视频图像； 

步骤（2），对所述三路视频图像进行同步互斥控制，以确保视频流全景图像的正确拼接； 

步骤（3），判断所述三路视频图像的实时性： 

若当前为离线阶段，则转至步骤（4）， 

若当前为实时阶段，这转至步骤（6）； 

步骤（4），对从离线阶段输入的所述三路视频图像依次进行特征点提取、描述、匹配以及特征变换，其中：利用SURF算子提取特征点，再用RANSAC算法求解图像空间的空间变换模型，得到单应矩阵的8个参数，从而确定出一个三维平面上的点在不同二维图像中的投影位置，使得同组相邻的两幅视频图像分别得到配准； 

步骤（5），依次对配准后的两幅相邻的视频图像利用最终伽马校正参数进行颜色亮度校正，并且找出最佳缝合线，利用最佳缝合线对两幅有重叠的所述配准后的视频图像进行全景合成，在此基础上，再利用距离变换函数对设在所述最佳缝合线两侧的两个初始化权重矩阵，计算出对应于各初始化权重矩阵中所有非零像素点到与其相邻的最近的零像素点的街区距离，经过平滑过渡后，得到对应所述全景图像的所述两幅相邻且有部分重叠的视频图像的加权融合矩阵； 

步骤（6），依次按以下步骤对在实时阶段传入的三路实时视频图像进行实时拼接： 

利用离线阶段得到的最终伽马校正参数进行颜色亮度校正； 

调用所述基于并行编程模型指令集架构CUDA，直接利用离线阶段算出的单应矩阵，在图像处理器NVIDIA GPU卡上实现多线程并发的图像变换计算，对实时输入的相邻图像进行配准，确定图像的重叠区域和最佳缝合线，把结果返回给所述计算机的CPU； 

所述计算机利用离线阶段得到加权融合矩阵进行加权融合，得到的最佳缝合 线处更为平滑过渡的三幅实时视频图像，然后利用成熟的H264压缩算法对拼接后的全景视频图像进行压缩处理，再将压缩后的视频流经过以太网向远程监控中心输出。 

有益效果：与现有的飞机跑道视频监控系统先比，本发明的飞机跑道实时全景视频远程监控系统具有以下优点：新型的机场实时全景视频远程监控系统可以使得值班人员和指挥人员在远程便可以监控机场跑道，并且全景视频比多路视频具有更好的视觉效果，使得观察机场跑道情况更加方便，更容易察觉出飞机跑道的上出现障碍物或异常物体并且做出相应的处理，可以把损失降低到最小。并且，本系统可以将拼接好的全景视频存储到磁盘上，当需要回放的时候，相比多路视频，可以更快捷的找出问题。另外，本系统对全景视频使用H264编码器进行压缩，可以节省存储资源和降低传输带宽要求。但更重要的是，可以在一个远程监控中心同时监控多个飞机跑道，从而降低监控成本，具有很好的实用性，能够产生较好的经济效益和社会效益。 

附图说明

图1是本发明公开的飞机跑道实时全景视频远程监控系统结构示意图； 

图2是本发明公开的飞机跑道实时全景视频远程监控系统的部署示意图； 

图3是传统视频监控显示方式； 

图4是本发明对监控场景进行实时拼接显示的示意图； 

图5是本发明公开的全景视频远程监控系统的工作流程示意图。 

具体实施方式

下面结合附图对本发明做进一步的说明。 

本发明采用的技术方案如下： 

一种飞机跑道实时全景视频远程监控系统，系统设备由网络摄像机、无线路由器、图形工作站组成。一个无线路由器上通过有线方式连接多个网络摄像头，无线路由器和图形工作站通过无线方式连接。图形工作站通过网络方式采集多个网络摄像头的视频数据，将多路角度不同方向但视野范围有部分重叠的视频流进行拼接，并利用先进的GPU并行计算对视频拼接处理进行加速以达到实时流畅的目的。在图形工作站对实时全景视频进行预览和存储。远程监控中心通过以太网和本系统建立连接。 

在所述的网络摄像头需要2～4路，无线路由器有2～4个LAN口用来连接网 络摄像头。 

在所述的图形工作站需要使用NVIDIA GPU卡，其中GPU计算能力需要在2.0以上,并且需要同时具有无线网卡和有线网卡。 

如图1所示，本系统设备由网络摄像机、无线路由器、图形工作站组成。本实施例中使用的络摄像机型号为海康威视DS-2CD883F-E(W)，无线路由器型号为TP-LINK TL-W841N，图形工作站使用的是联想ThinkStation S30，显卡为NVIDIA Quadro K600，处理器为Intel(R)Xeon(R)E5-16203.60GHz,12GB内存，Windows764位操作系统。远程控制中心使用的机器为普通PC。 

在路由器上有4个口LAN口，将网络摄像机部署在塔楼上，通过有线连接的方式和部署在机房中得无线路由器进行连接。图形工作站上有一块无线网卡和一块有线网卡，工作站和无线路由器之间通过无线的方式进行连接。图形工作站通过有线网卡连接以太网。远程监控中心的计算机也通过有线方式连接以太网。 

图形工作站连接上无线路由器之后，首先查找每一路网络摄像机的IP和端口。确定相机的个数以及每一路网络摄像机的IP和端口以及位置顺序之后，初始化视频拼接，求得每路摄像机相对位置以及相应的变换参数。 

在工作站上启动实时视频拼接和端口监听。远程控制中心向相应的工作站发起全景视频请求。整个工作流程如图4所示，工作站上部署的全景拼接系统首先采集多路视频，然后对多路视频进行实时拼接，再利用成熟的H264压缩标准对全景视频进行压缩，接着使用RTP协议对压缩后的视频数据进行打包发送。远程控制中心部署的程序收到服务器端发来的RTP数据包后，利用H264标准进行解码，然后再将解码后的图像显示到屏幕上。 

飞机跑道实时全景视频远程监控系统，经过了严格的系统测试，具有很高的稳定性。本系统是一种充分利用先进的电子技术和现代通讯技术，是集实时全景预览、画面截图、视频压缩、全景录像回放、网络实时传输、远程监控等功能于一体的视频监控系统。可以使得在一个监控中心对多处飞机跑道进行实时监控。本系统采用先进的视频拼接算法以及GPU加速技术，可以对监控场景实施友好的全景监控。 

飞机跑道全景视频远程监控系统，是通过在远程监控中心对各个飞机跑道进行集中监视和管理，当飞机跑道出现障碍物或者异常人员的时候可以立即通知管 理人员做出相应的处理，防患于未然，能更加有效的避免意外事故的发生。本发明具有以下创新点： 

（1）远程集中管理：本系统可以使得监控管理人员在一个监控中心同时监控多个飞机跑道，节省监控系统系统的建设成本。 

（2）部署简单方便：本系统的工作站和网络摄像机是通过无线的方式连接的，其他连接方式这是通过网络的形式，无需安装使用采集卡等等。 

（3）全景视频功能：本系统将多路视频进行拼接处理，相比传统的多路视屏监控，具有更加友好的视觉效果，也更方便在监控场景中发现异常。 

（4）全景记录回放功能：本系统将实时拼接后的视频存储到磁盘设备上，当监控场景出现问题，可以更加快捷的找出问题根源。