基于串口的嵌入式智能视频处理设备的视频监控系统

摘要

本发明涉及基于串口的嵌入式智能视频处理设备的视频监控系统，属于视频监控技术领域，该系统包括安装在所需场所的一个或多个摄像头、视频服务器，与所述视频服务器通过网络相连的客户终端，智能视频处理设备，该摄像头用视频线通过视频口与智能视频处理设备连接，该智能视频处理设备的串口通过数据信号线与视频服务器的串口相连，通过视频服务器的透明通道实现智能视频处理设备与视频服务器间的双向通信；该客户终端通过网络接收视频服务器发送的数据，对视频进行统一管理。本发明降低了系统更新成本，保证了视频处理的实时性、准确性，同时降低了客户终端的计算负担，且能够实时监控、视频分析处理、实时报警等，实现了对场景的智能化监控。

说明书

技术领域

本发明属于视频监控技术领域，特别涉及对智能视频监控系统的改良。

背景技术

近年来，视频监控系统已经从幕后走向了台前，走进了人们的生活中。工作场所、小区的出入口随处都可以看到摄像头，视频监控已经成为人们现实生活中不可缺少的一部分。

视频监控系统的发展经历了第一代的全模拟系统，第二代的部分数字化的系统，第三代的完全数字化的系统(前端用网络摄像机)三个阶段的发展演变。  目前已经向更高的领域发展，智能化是视频监控的最高境界，也是发展的必然趋势。

传统视频监控系统的组成如图1所示，包括：安装在所需场所的一个或一个以上的摄像头(图中只示出一个摄像头)及与其相连的视频服务器，视频服务器通过网口与网络连接，摄像头与视频服务器通过视频线路单向传输视频数据，数据流由摄像头传输到视频服务器。视频服务器自带网口，能够根据网络通信协议进行网络间通信，将视频数据传输给网络的客户终端，客户通过客户终端的视频监控管理系统接收视频，对视频进行处理，并能够通过显示屏进行视频播放。

传统视频监控系统存在以下缺陷：

在很多情况下，人类并非一个可以完全信赖的观察者。人的注意力不能长时间高度集中，人集中注意力时间低于每小时20分钟，且人容易被其他的外在事件干扰，如电话、聊天、外界噪音等。所以无论是观看实时视频时，还是在视频录像回放时，人类经常无法察觉威胁的存在，从而导致漏报。

目前大多的视频监控场所不能实现摄像头与监视屏一对一的关系，而是一个监视屏对应多个摄像头，从而只能是一个监视屏轮流播放多个摄像头，采取一种随机或定时的抽取摄像头显示，这样导致大多数摄像头的视频录像不能被显示，只能存储，待事后取证时察看。

目前视频监控的监视屏前不能保证有充足的人员进行监控，经常出现一个人监控多个监视屏，致使被显示的视频也不能被有效的监控。

由于以上几个方面的限制性，摄像头的监控不能被全部的显示，监控人力不足，人自身的弱点等，视频监控系统不能提供实时、有效的事前预警，致使视频监控只能先将视频录制存储起来，待事件发生后进行视频回放、取证。这样的视频监控系统是被动的监控，失去了事前预警、处理的时机，不能满足日益增长的监控需求。

大量地视频实时、有效的存储成为困扰的问题，由于缺乏智能的因素，视频无法被有效的分类存储，最多只能打上个时间标签，因此数据分析工作变得及其耗时，并且很难获得全部的相关信息。

智能视频监控是社会发展的需要，人身安全、财产安全、交通安全等，成为当今社会人们日益关注的问题。

智能视频监控(IVS Intelligent Video Surveillance)是基于计算机视觉技术对监控场景的视频图像内容进行分析，提取场景中的关键信息，并形成相应事件和告警的监控方式，是新一代基于视频内容分析的监控系统。智能视频监控技术借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤掉用户不关心的信息，仅仅为监控者提供有用的关键信息。所以，智能视频监控能够有效的解决以上传统视频监控中的困绕，能够根据预先设置好的规则，对场景进行实时的监控，当预设规则被破坏，及时发出报警信息，提醒监控人员注意，采取有效的解决方案。而且在一定程度上能够达到吓跑可疑人员的目的，及时制止可疑事件的发生。

智能视频监控是通过在原始视频监控系统中加载智能视频处理算法模块实现的，智能视频处理算法是以人工智能为理论基础，利用计算机视觉的技术，通过对视频进行分析处理以达到具有部分思维能力(如人脑的部分思维功能)的算法。

目前智能视频监控市场尚处于发展初期，没有明确的市场需求。智能视频监控设备产品未形成具有一定标准的规范化产品。一般来说实现智能视频监控的方法，是通过嵌入智能视频处理算法来实现的。现有以下几种方案：

方案一：

将智能视频处理算法加载到原有的视频监控设备上，形成全新的智能视频设备。如：智能视频处理算法加载在网络视频服务器(NVS/DVS)上，形成智能视频服务器；智能视频处理算法加载在网络摄像机内，形成智能网络摄像机；智能视频处理算法加载在硬盘录像机内，形成智能分析硬盘录像机；这种方案是用全新的智能视频设备替代原有的视频监控设备，达到视频智能监控的目的。然而，从目前的视频监控产品应用来看，无论是国家军事基地、重点安全防护基地，还是公共设施、居住商业设施等，都已经安装了大量的摄像头、视频服务器、硬盘录像机等视频监控设备，且安装还展现出高速增长的势头。这些视频监控场所都将发展成智能视频监控。若要将该方案开发出的智能视频监控设备，应用于现有的视频监控系统中，无疑要将大量的原有视频监控设备更换掉，安装新的智能视频监控设备，重新组建成智能视频监控系统。这样从原始的视频监控升级为智能视频监控的成本是高昂的，成本高就可能成为阻碍智能视频监控实施的主要障碍；同时大量的原有视频监控设备(摄像头、视频服务器)被淘汰下来，给社会造成了巨大资源浪费。

方案二：

将智能视频处理算法加载到客户终端的视频监控管理系统中，与客户终端原视频监控管理程序一起实现视频的集中管理，对视频进行智能的分析、处理。

该方案需要客户终端的视频监控管理系统对视频进行实时的分析处理，而视频监控管理系统位于整个监控系统的后端，需要将摄像头录制的视频实时地通过网络进行传输，这无疑增加了对网络带宽的要求，同时不能保证处理的实时性和准确性。另外，由于智能视频处理算法一般比较复杂，采用后端处理的方式势必增加客户终端计算的负担，此时客户终端不仅要进行多路的解码显示图像，同时还需要对解码后的图像进行智能分析。

方案三：

利用传统视频监控系统，再开发一个智能视频处理设备，它是一个独立的硬件设备，在内部的DSP芯片上嵌入了智能视频处理算法模块，这样能够对视频进行实时的分析、处理。它提供视频口，可以接收视频监控系统前端摄像头捕获的视频数据，通过内部的智能视频处理算法，对视频数据进行实时的分析，处理。同时，这种智能视频处理设备提供通用网口，在智能视频处理设备中经过智能视频处理后的处理结果将通过网口传输到网络中的客户终端；智能视频处理设备与视频服务器并行连接，之间不存在任何的通信；该方案的组成结构如图2所示。摄像头获取的视频数据，分两路分别传输给智能视频处理设备和视频服务器。智能处理设备与视频服务器都有网口，能够进行网络间通信，视频服务器对视频进行压缩编码，通过网络将视频流传输给网络中的客户终端。智能视频处理设备对通过视频口传入的视频数据进行分析处理，将处理结果独立的通过网络传输给网络中的客户终端。

该方案中的摄像头获取的视频信号分两路分别传输给智能视频处理设备和视频服务器，这样的视频数据分叉方式使得每一路的信号在很大程度上被削弱，影响了客户端视频回放的质量和智能视频处理设备的视频处理的准确度。此外由于智能视频处理设备与视频服务器都分别向网络传输数据，所以客户端收到的是来自两个网络设备，多IP地址的数据流，这将给设备有效管理造成一定的困难。将会影响到原始视频监控系统的系统管理模式，需要更改原始视频监控系统的通信协议。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于串口的嵌入式智能视频监控设备的视频监控系统，不但能够与原有的视频监控设备兼容，直接接入原有的视频监控系统中，将系统升级为智能视频监控系统，避免了原有设备的浪费，降低了系统更新成本，有效地保证了视频处理的实时性、准确性，同时有效的降低了客户终端的计算负担，且能够实时监控、视频分析处理、实时报警等，实现了对场景的智能化监控。

本发明提出的基于串口的嵌入式智能视频处理设备的视频监控系统，包括安装在所需场所的一个或多个摄像头、视频服务器，与所述视频服务器通过网络相连的带有视频监控管理系统的客户终端，还包括智能视频处理设备，其特征在于，该摄像头用视频线通过视频口与智能视频处理设备连接，该智能视频处理设备的串口通过数据信号线与视频服务器的串口相连，通过视频服务器的透明通道实现智能视频处理设备与视频服务器间的双向通信；该客户终端通过网络接收视频服务器发送的数据，对视频进行统一管理，并对智能视频处理设备的参数进行设置和控制。

上述智能视频处理设备可包括，嵌入有视频智能处理模块和通讯模块的核心处理单元，其中，视频智能处理模块，用于提供视频实时、分析处理功能，提供视频分析处理的结果数据，报警提示信息；通讯模块，用于实现与视频服务器、客户终端的数据传输功能；所述视频智能处理模块处理得到的结果数据通过通讯模块将数据信息传输到所述视频服务器，该视频服务器将接收的数据信息与视频服务器接收的视频信息统一进行压缩编码，传输给嵌入客户终端设备的客户端视频监控管理系统。

上述智能视频处理设备还可包括环路放大器(采用常规技术实现)，用于将接收到的视频数据放大后经视频输出口输出。

上述视频智能处理模块是以硬件电路为载体，在其上可加载嵌入各种已知的智能视频处理算法。智能视频处理设备对通过视频口接收的视频信息经视频智能处理算法进行实时地分析、处理，得到分析处理结果。

上述通信模块：主要完成智能视频处理设备与视频服务器以及客户端之间的通信协议，包括客户端对智能视频处理设备的参数设置和控制，智能视频处理设备向客户端发状态信息和报警信息等。该通信为双向的通信，通信速率受串口速率的限制。本发明采用的通信协议，简称SVBP(Smart Video Box Protocol)。在SVBP中，有四种类型的数据类型被打包，分别是命令(Command)、系统参数(System)、物体(Object)和报警信息(Alarm)。命令用于对智能视频处理设备进行参数配置以及对智能视频处理设备进行控制；系统参数用于传递系统的参数信息，如摄像头的信息；物体用于表示对视频处理过程中的目标物体如跟踪到的人、警戒区域和警戒线等；报警信息是为报警输出的数据，如有物体闯入警戒区域。各种类型的数据段将通过包头中的各个比特位区别开。报警信息、命令、物体和系统数据的发送采用“请求”和“应答”的方式，以达到可靠的传输通信的目的。上述通信模块可采用常规的通信模块产品进行编程实现。

上述客户端的视频监控管理系统是运行在客户端的管理程序，是对客户终端原视频监控管理程序的改进，即增加了客户端交互模块，通过它可以对视频监控系统传输到客户端的数据信息进行有效的管理，客户端视频监控管理系统提供视频播放功能、视频服务器配置功能、智能视频处理设备配置功能等。

本发明的客户端交互模块：包括主界面子模块、服务器配置子模块、智能视频处理设备配置子模块、帮助子模块。主界面模块显示当前部分已注册设备的视频信息，并完成客户端与视频服务器和智能视频处理设备之间的交互工作，如视频播放，配置服务器、配置智能参数等功能；服务器参数配置模块完成视频服务器主要参数的配置工作，如注册/注销服务器、串口参数配置等；智能配置模块完成智能视频处理设备各功能的参数配置工作，如入侵检测参数配置、目标数量统计参数配置、物品丢失参数配置等；帮助模块主要显示本系统的版权、版本号、技术疑问联系方式等信息。客户端交互模块主要实现以下功能：主要完成系统的功能参数设置；能够保存、读入用户设置的功能参数；能够注册、注销多个视频服务器；能够通过串口接收视频服务器端传回的数据并分析数据；能够通过串口向视频服务器端发送指令及信息；能够完成系统设置的报警功能；能够实现系统的多语言版本。上述各功能模块均可采用常规的编程技术实现。

本发明的特点及工作原理：

本发明采用串口完成智能视频处理设备与视频服务器之间的通信，智能视频处理设备的串口可以与视频服务器的串口连接，智能视频处理设备处理视频得到的视频数据，通过串口发送给视频服务器，视频服务器利用透明通道进行数据的传输，透明通道可以对通过串口传输的任意数据进行传输，通过网络传输给客户端，这样通过串口方式，使得智能视频处理设备的数据能够传输给客户端。由于串口可以双向通信，所以智能视频处理设备还可以通过串口接收客户终端发送的参数配置信息，本发明改进了客户终端设备中的视频监控管理系统，用户可以通过客户终端设备对场景的监控区域进行设置，设置警戒线、警戒区域(ROI)等，这些在客户终端的视频监控管理系统中进行的参数设置可以通过网络进行传输，传输给视频服务器，视频服务器通过串口通信，将数据传输给智能视频处理设备，智能视频处理设备能够接收串口传输来的数据信息(即在客户端配置的参数信息)，这样智能视频处理设备可以根据用户的实际需要，通过客户端视频监控管理程序对场景进行设置，设置的参数信息通过网络传输给视频服务器，视频服务器能够通过串口与智能视频处理设备通信，通过这种方式，智能视频处理设备更新场景的设置参数，在新的设置下对场景进行实时监控，根据嵌入的智能视频处理算法对场景、场景中的运动物体进行检测、分类、跟踪、入侵检测等分析处理，处理的结果再通过串口，传输给视频服务器，经视频服务器的透明通道，通过网络传输给客户终端，形成智能视频监控系统的智能化通信模式。客户端端视频监控管理软件能够接收视频服务器发送过来的视频数据和视频处理数据，在客户端进行实时视频播放和实时报警信息输出。

本发明的特点及有益效果：

(1)智能视频处理设备与原有视频监控设备视频服务器的接入方式采用串口，实现双向通信，且接入方式方便高效；

(2)不需要更换原有的视频监控设备，直接利用视频服务器自带的串口，将智能视频处理设备接入视频监控系统中，实现了智能视频监控的目的，较少了系统升级的成本，最大限度地较少了社会资源的浪费；

(3)智能视频处理设备位于摄像头与视频服务器的中间位置，视频处理是在网络传输之前进行的，保证了视频处理的实时性、准确性，同时通过串口将报警信息传输给视频服务器，由视频服务器的通明通道将视频处理后的信息传输给客户端，保证了报警的实时性、准确性。

(4)客户端视频监控管理软件接收到的视频数据和报警信息都来自于视频服务器的传输，这样客户端接收到的数据是来自一个网络设备。这样有效的保持了原有视频监控系统的管理模式，无须改变原始视频监控系统的通信协议就能保证系统的正常通信。

(5)智能视频处理设备作为原有视频监控设备的辅助设备，可方便的安装或拆卸，且安装或拆卸后并不影响原有视频监控设备的原有功能。

附图说明

图1为传统的视频监控系统结构示意图。

图2为已有技术方案三的智能化视频监控系统结构示意图。

图3本发明方案智能视频监控系统的系统实施例结构示意图。

具体实施方式

本发明提出的基于串口的嵌入式智能视频处理设备的视频监控系统结合附图及实施例详细说明如下：

本发明的智能视频监控系统由以下几部分构成，如图3所示，包括：摄像头、智能视频处理设备、视频服务器、带有视频监控管理系统的客户终端。其中摄像头、视频服务器、客户终端均可采用原有的视频监控系统的组成部分。智能视频处理设备是本发明特有的设备，主要由嵌入有视频智能处理模块和通讯模块的核心处理单元和环路放大器构成；本发明通过串口接入方式将智能视频处理设备接入原始视频监控系统中，构成本发明的智能视频监控系统。

本发明各设备的连接关系为：摄像头与智能视频处理设备的视频口用视频线连接，传输到智能视频处理设备的视频数据在其内部分叉，一路在视频内部进行分析处理，处理结果数据通过串口传输，一路经环路放大器，再将视频数据经视频输出口输出。视频服务器是与智能视频处理设备紧连的设备，它们之间有两条通信线路，一路是串口通信线路，双向通信，智能视频处理设备可以向视频服务器传输数据，视频服务器同时也能向智能视频处理设备传输数据；一路是视频线，通过视频口的单向通信，信号从智能视频处理设备的视频输出口，经线路传输给视频服务器的视频接入口。视频服务器自带网口可以与网络连接，进行网络传输，将数据信息传输到网络的终端客户。

本发明的智能视频处理设备实施例是以DSP为核心处理单元，也可以是TI公司或ADI公司以及摩托罗拉公司的DSP，芯片采用了TI公司的C6000系列的TMS320DM642芯片。TMS320DM642共有三个视频口，分别为VP0、VP1和VP2，其中VP2为单一功能的视频口。在该芯片硬件电路板上设计有视频口，并辅以相关的驱动程序。集成一条IIC总线，在此总线上连接以下从设备：视频解码器控制口，音频解码器控制口，实时时钟RTC(可选用的芯片有TVP5150PBS，TLV320AIC23B)。TMS320DM642通过EMIF扩展外部存储资源，如Flash，SDRAM，UARTA，UARTB等，最大可支持4M×8位Flash，4M×64位SDRAM。TMS320DM642可配置两个通用异步串口，接口标准可由软件配置为RS232/RS422/RS485。另外TMS320DM642还有以太网接口(EMAC+MDIO)，此接口接出以备用。

在DSP为核心处理单元嵌入了视频智能处理模块和通讯模块，视频智能处理模块提供视频实时、分析处理功能，提供视频分析处理的结果数据，包括报警提示信息。通讯模块，提供数据传输功能，通信模块主要实现智能视频处理设备与视频服务器、客户终端的数据传输功能。智能视频处理设备处理得到的结果数据将通过通信模块将数据信息传输到视频服务器，视频服务器将接收的数据信息与视频服务器接收的视频信息统一进行压缩编码，传输给客户终端用户。

视频智能处理模块：视频智能处理模块是以DSP为载体，在其上加载嵌入已开发的各种智能视频处理算法。智能视频处理设备对通过视频口接收的视频信息通过视频智能处理算法进行实时地分析、处理，得到分析处理结果包括报警提示信息。

该视频智能处理模块能够实现以下功能：

1.能够实现场景中的运动物体检测功能，如运动的人、车、动物等，并能够提取运动物体的特征，如人衣服的颜色的识别、人脸、人体的检测，判断场景中先后出现的是否为同一人等。

2.能够实现目标物体分类功能，能够将场景中的提取的前景物体进行分类，区分人、车、动物等。

3.能够检测场景中的遗留物体，提供报警信息。无论是由人携带而来并在防区中遗弃的物品(摄像头看到完整遗弃过程的情况)，或者是被人从防区外扔入防区内的物品(摄像头看到部分遗弃过程的情况)，还是在防区中突然出现的物品(摄像头完全看不到遗弃过程的情况)，遗弃物检测模块都可以从场景中正确检测出遗弃物，提供实时报警信息。

4.能够实现目标跟踪、人群分割、人数统计功能。智能视频处理设备能够自动识别场景中的运动物体是人、还是人群，并能对其进行跟踪，识别出运动物体的运动轨迹，包括方向、速度等。还能够进行场景中的人数统计，对于人群密度大、有重叠的人群，系统采用独特的人群分割技术，同样能够较准确的统计出场景中人的数量。

5.能够提供入侵检测功能。智能视频处理设备能够根据场景中预设的警戒区域、警戒线，对场景进行实时地监控，根据预设的规则，判断场景中的运动物体是否跨入警戒区域，当有物体跨越警戒区域时，将向用户发出报警信息，提示其采取相应的措施。

6.能够提供检测摄像头移动功能，智能视频处理设备能够根据智能视频处理算法检测出摄像头是否发生移动，给出摄像头发生移动的移动方向信息。

7.能够提供摄像头模糊、遮挡检测功能，智能视频处理设备能够根据智能视频处理算法的模糊、遮挡检测算法，能够检测出摄像头的视野图像是否模糊、是否有物体遮挡摄像头，当摄像头视野不清晰时，给出图像模糊的报警提示信息；当摄像头被物体遮挡时，给出摄像头被遮挡的报警提示信息。

通信模块：主要完成智能视频处理设备与视频服务器以及客户端之间的通信协议，包括客户端对智能视频处理设备的参数设置和控制，智能视频处理设备向客户端发状态信息和报警信息等。该通信为双向的通信，通信速率受串口速率的限制。通信协议，简称SVBP(Smart Video Box Protocol)。在SVBP中，有四种类型的数据类型被打包，分别是命令(Command)、系统参数(System)、物体(Object)和报警信息(Alarm)。命令用于对智能视频处理设备进行参数配置以及对智能视频处理设备进行控制；系统参数用于传递系统的参数信息，如摄像头的信息；物体用于表示对视频处理过程中的目标物体如跟踪到的人、警戒区域和警戒线等；报警信息是为报警输出的数据，如有物体闯入警戒区域。各种类型的数据段将通过包头中的各个比特位区别开。报警信息、命令、物体和系统数据的发送采用“请求”和“应答”的方式，以达到可靠的传输通信的目的。上述通信模块可采用常规的通信模块产品进行编程实现。

客户端交互模块：包括主界面子模块、服务器配置子模块、智能视频处理设备配置子模块、帮助子模块。主界面模块显示当前部分已注册设备的视频信息，并完成客户端与视频服务器和智能视频处理设备之间的交互工作，如视频播放，配置服务器、配置智能参数等功能；服务器参数配置模块完成视频服务器主要参数的配置工作，如注册/注销服务器、串口参数配置等；智能配置模块完成智能视频处理设备各功能的参数配置工作，如入侵检测参数配置、目标数量统计参数配置、物品丢失参数配置等；帮助模块主要显示本系统的版权、版本号、技术疑问联系方式等信息。客户端交互模块主要实现以下功能：主要完成系统的功能参数设置；能够保存、读入用户设置的功能参数；能够注册、注销多个视频服务器；能够通过串口接收视频服务器端传回的数据并分析数据；能够通过串口向视频服务器端发送指令及信息；能够完成系统设置的报警功能；能够实现系统的多语言版本。上述各功能模块均可采用常规的编程技术实现。

本发明的智能视频处理设备与视频服务器之间通过串口信道通信，并利用视频服务器的透明通道与客户端进行交互具体实现如下：

智能视频处理设备通过视频接入口能够接收摄像头捕获的视频数据，视频流在智能视频处理设备的内部进行分流，一路是将视频数据进行放大，保证视频信号不失真，然后传输给视频服务器，视频服务器通过视频口接收视频数据，对视频数据进行编码、压缩，通过网络传输给客户端；另一路是，智能视频处理设备对原始视频利用嵌入的智能视频处理算法，并根据预设的规则，对视频数据进行分析处理，当规则被破坏时进行实时的报警。

本发明的视频服务器自带通用串口(UART)，RS232和RS485等，一般这些串口用于连接云台、调制解调器、解码器等设备。而串口可以进行双向通信，具有可编程性，且视频服务器提供串口透明通道，可以对通过串口接收的任意数据进行统一的处理。本发明采用串口进行设备间的通信。本发明智能视频处理设备带有串口，利用视频服务器自带的串口，可以成功的实现智能视频处理设备与视频服务器间的双向通信。