一种用DSP和FPGA实现视频结构化描述的装置及方法

摘要

本发明的目的在于公开一种用DSP和FPGA实现视频结构化描述的装置及方法，用DSP和FPGA实现对输入视频进行结构化描述将视频结构化描述的智能图象处理技术和基于DSP和FPGA的嵌入式系统进行了有机的结合，对视频图像进行分析、理解，并产生结构化描述数据，有效地对视频监控和视频数据进行管理，实现对视频图像数据的查询、浏览、检索等信息化的应用；工作性能稳定可靠，适用范围较为广泛，能够大幅度提高现有视频监控系统的智能化程度，降低人工监控的成本，实现视频监控的信息化管理，实现本发明的目的。

说明书

技术领域

本发明涉及一种实现视频结构化描述的装置和方法，特别涉及一种用DSP和FPGA实现对输入视频进行结构化描述的装置及方法。

背景技术

随着视频监控资料在公共安防领域中的重要性越来越突出，目前的视频监控主要以人工监控和人工查阅录像资料来查找证据和线索为主。随着监控网络规模的不断扩大、视频资料的急剧增长，人工监控和查阅越来越难以满足日益增长的城市安全监控需求。另外，现有的原始视频图像数据属于一种难以进行检索、查询的非结构化数据，若需要通过视频录像来查找某个线索或者细节，必须采用人工调阅该录像视频片断方法，对该视频录像进行完整的分析。比如：从一段监控录像中查找“一辆红色的轿车”，必须人工从头至尾观看该录像片断，才能找出所有相关的画面或场景。如果给出更多、更长的监控视频录像，人工就很难完成分析和查找工作，因此如何对这些数据进行信息化管理和深度应用是视频智能处理分析技术领域的一个前沿课题。

嵌入式DSP和FPGA实时图像处理技术是结合图像处理、模式识别、高速多层电路板设计、以及电磁兼容等多学科门类的一门前沿技术。在目前的电子技术条件下，DSP技术和大规模高速逻辑处理芯片FPGA技术成为解决智能视频处理系统问题的热点方案。

根据公开的文献资料，市场上逐渐出现了一些智能监控系统和智能视频分析设备。申请号200810018859.X的发明专利公开了一种智能视频监控终端，该终端不仅可以在监控前端对视频实现编码，而且可以对监控场所的运动目标进行检测，将报警信息连同监控场所的视频图像一起进行网络传输，实现智能化视频监控，对运动目标的检测不仅快速而且还提高了监控的深度。

申请号为200710046001.X的发明专利公开了一种基于嵌入式具有识别功能的智能网络摄像机，集图像采集、压缩、保存、特定内容识别、传输、必要时的控制技术为一体，将硬件设计与软件设计相结合，达到应用灵活、功能可预置、网络管理、网络设置等目的。

申请号为200710178409.2的发明专利公开了一种运动检测方法、装置及一种智能监控系统，通过将背景差分图像和帧间差分图像进行逻辑与处理获得运动前景图像。但使用DSP和大规模FPGA芯片实现对输入视频根据图象特征进行结构化描述，便以视频定位、检索和管理等高级应用的专用嵌入式系统未见报道。

综上所述，现有的智能视频分析技术和设备主要致力于运动目标检测、跟踪和一些异常情况的判别报警，没有提取视频图像特征并进行高级语义理解，难以产生结构化的描述数据，从而难以进行检索、浏览、过滤等信息化的管理和应用。现有的设备和分析方法也没有运用数字信号处理器DSP和大规模逻辑电路FPGA进行视频结构化描述的应用。

发明内容

本发明的目的在于提供一种用DSP和FPGA实现视频结构化描述的装置及方法，针对现有技术的不足，利用嵌入式DSP和FPGA技术，能够自动进行视频分析和结构化描述、适用范围广泛、使用安全快捷、性能稳定可靠。

本发明所解决的技术问题可以采用以下技术方案来实现：

一方面，本发明提供一种用DSP和FPGA实现视频结构化描述的装置，其特征在于，它包括：

A/D采样转换模块，用于采集外部数据源的视频数据；

DSP数字信号处理器，与A/D采样转换模块连接，接收A/D采样转换模块采集的视频数据并进行视频数据的结构化描述处理；

FPGA大规模逻辑处理器，与DSP数字信号处理器连接并协助DSP数字信号处理器对A/D采样转换模块采集的视频数据进行视频数据的结构化描述处理；

数据存储模块，与DSP数字信号处理器和FPGA大规模逻辑处理器互相连接并用于存储DSP数字信号处理器和FPGA大规模逻辑处理器进行视频数据的结构化描述处理的数据；

数据输出模块，与DSP数字信号处理器或者FPGA大规模逻辑处理器连接并输出DSP数字信号处理器和FPGA大规模逻辑处理器进行视频数据的结构化描述处理的数据；

电源模块，与A/D采样转换模块、DSP数字信号处理器、FPGA大规模逻辑处理器、数据存储模块和数据输出模块连接并为A/D采样转换模块、DSP数字信号处理器、FPGA大规模逻辑处理器、数据存储模块和数据输出模块供电；

A/D采样转换模块通过数据总线与DSP数字信号处理器连接，DSP数字信号处理器、FPGA大规模逻辑处理器、数据存储模块及数据输出模块之间通过数据总线和地址总线互相连接，A/D采样转换模块与DSP数字信号处理器之间及DSP数字信号处理器、FPGA大规模逻辑处理器、数据存储模块和数据输出模块之间设置有总线控制单元，控制A/D采样转换模块与DSP数字信号处理器之间及DSP数字信号处理器、FPGA大规模逻辑处理器、数据存储模块和数据输出模块之间的数据传输。

在本发明的一个实施例中，所述数据存储模块包括固化有视频结构化描述程序的数据存储器及用于存储视频数据的结构化描述处理过程中的数据的高速动态存储器，所述数据存储器和高速动态存储器与所述DSP数字信号处理器、FPGA大规模逻辑处理器及数据输出模块之间互相连接。

进一步，所述高速动态存储器设置有公共数据交换区、全局变量存储区和临时数据堆栈。

在本发明的一个实施例中，所述数据输出模块包括与上位机互相连接通信并接收视频数据结构化描述处理参数的高速串行输入输出模块及与上位机互相连接通信并向上位机传输视频数据结构化描述处理后的数据的网络传输模块。

进一步，所述高速串行输入输出模块通过RS232接口与上位机互相连接通信，接收上位机传输的视频数据结构化描述处理参数。

进一步，所述网络传输模块通过RJ45接口和TCP/IP协议与上位机互相连接通信，向上位机传输视频数据结构化描述处理后的数据。

在本发明的一个实施例中，所述A/D采样转换模块可以接收NTSC、PAL、SECAM制式的外部摄象机或原始视频源提供的标准视频数据。

另一方面，本发明提供一种用DSP和FPGA实现视频结构化描述的方法，其特征在于，它包括如下步骤：

a)对外部视频源进行数据采样；

b)把采样的外部视频源中的视频数据中的视频图像分成若干个视频图像片断、关键帧和子区域；

c)对上述视频图像片断、关键帧和子区域进行特征提取和高级语义分析处理，获得视频图像的特征和高级语义数据；

d)对视频图像、视频图像的特征和高级语义数据进行编码，得到视频图像的编码和视频图像结构化描述数据的编码；

e)对视频图像编码数据和视频图像结构化描述编码数据传输到上位机。

在本发明的一个实施例中，所述视频图像通过镜头分割、关键帧提取、运动目标区域检测和静态目标区域分割处理分成若干个视频图像片断、关键帧和子区域。

进一步，所述镜头分割是指把一段视频图像根据镜头边界分割成若干个镜头，每个镜头是一段时间序列的帧，连续记录一个单独的摄像机的动作；一般描述一个连续的动作而没有主要的内容变化，镜头分割主要通过镜头边界检测来实现。

进一步，所述关键帧提取是指在某个镜头或者某个视频片断中提取的一些具有代表性的视频帧，用来表现该镜头或视频片断的内容。

再进一步，所述关键帧提取的方法包括：随机抽取、根据图像质量抽取根据感兴趣区域的位置和大小抽取及事件触发抽取。

进一步，所述运动目标区域检测是指在视频图像中，检测视频图像的场景中运动的目标，把画面中运动目标的区域和背景区域分开，并对运动目标区域进行标记或遮罩处理。

再进一步，所述运动目标区域检测的方法为根据当前图像和背景图像的差异来检测运动目标区域的背景差分方法。

进一步，所述静态目标区域分割是指根据色彩、纹理、轮廓、边缘或者事物的完整性，对整个视频图像进行分割和划分，获得若干个子区域。

在本发明的一个实施例中，所述视频图像片断、关键帧和子区域进行特征提取，提取的特征为图像的视觉特征，包括：颜色、纹理、运动、形状、定位、轮廓、线条、人像特征。

在本发明的一个实施例中，所述视频图像片断、关键帧和子区域的高级语义分析处理包括对视频图像片断、关键帧和子区域及图像特征进行分割、聚类、匹配、解义、分类、判别等运算和操作，产生图像描述高级语义数据。

在本发明的一个实施例中，所述视频图像的编码和压缩方法包括MPEG-2、MPEG-4、H.264、SVAC、AVS等压缩编码方式。

在本发明的一个实施例中，所述视频结构化描述数据的编码通过可扩展标记语言(XML)或者二进制的XML压缩进行编码。

本发明的用DSP和FPGA实现视频结构化描述的装置及方法，用DSP和FPGA实现对输入视频进行结构化描述将视频结构化描述的智能图象处理技术和基于DSP和FPGA的嵌入式系统进行了有机的结合，对视频图像进行分析、理解，并产生结构化描述数据，有效地对视频监控和视频数据进行管理，实现对视频图像数据的查询、浏览、检索等信息化的应用；工作性能稳定可靠，适用范围较为广泛，能够大幅度提高现有视频监控系统的智能化程度，降低人工监控的成本，实现视频监控的信息化管理。

本发明的特点可参阅本案图式及以下较好实施方式的详细说明而获得清楚地了解。

附图说明

图1为本发明的用DSP和FPGA实现视频结构化描述的装置的硬件结构图；

图2为本发明的用DSP和FPGA实现视频结构化描述的方法的流程图；

图3为本发明的用DSP和FPGA实现视频结构化描述的方法的处理流程图；

图4为本发明的A/D采样转换模块的结构示意图；

图5为本发明的高速动态存储器的应用模块图；

图6为本发明的网络通信模块的结构示意图；

图7为本发明的用DSP和FPGA实现视频结构化描述的装置及方法的应用示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

实施例1

如图1所示，本发明的用DSP和FPGA实现视频结构化描述的装置，它包括：A/D采样转换模块100、DSP数字信号处理器200、FPGA大规模逻辑处理器300、数据存储模块、数据输出模块和电源模块400，所述数据存储模块包括FLASH数据存储器500及SDRAM高速动态存储器600，所述数据输出模块包括高速串行输入输出模块700及网络传输模块800。

A/D采样转换模块100用于采集外部数据源的视频数据；DSP数字信号处理器200与A/D采样转换模块100连接，接收A/D采样转换模块100采集的视频数据并进行视频数据的结构化描述处理；FPGA大规模逻辑处理器300，与DSP数字信号处理器200连接并协助DSP数字信号处理器200对A/D采样转换模块100采集的视频数据进行视频数据的结构化描述处理；数据存储模块，与DSP数字信号处理器200和FPGA大规模逻辑处理器300互相连接并用于存储DSP数字信号处理器200和FPGA大规模逻辑处理器300进行视频数据的结构化描述处理的数据；数据输出模块，与DSP数字信号处理器200或者FPGA大规模逻辑处理器300连接并输出DSP数字信号处理器200和FPGA大规模逻辑处理器300进行视频数据的结构化描述处理的数据；电源模块400，与A/D采样转换模块100、DSP数字信号处理器200、FPGA大规模逻辑处理器300、数据存储模块和数据输出模块连接并为A/D采样转换模块100、DSP数字信号处理器200、FPGA大规模逻辑处理器300、数据存储模块和数据输出模块供电。

A/D采样转换模块100通过数据总线与DSP数字信号处理器200连接，DSP数字信号处理器200、FPGA大规模逻辑处理器300、数据存储模块及数据输出模块之间通过数据总线和地址总线互相连接，A/D采样转换模块100与DSP数字信号处理器200之间及DSP数字信号处理器200、FPGA大规模逻辑处理器300、数据存储模块和数据输出模块之间设置有总线控制单元900，控制A/D采样转换模块100与DSP数字信号处理器200之间及DSP数字信号处理器200、FPGA大规模逻辑处理器300、数据存储模块和数据输出模块之间的数据传输。

在本实施例中，DSP数字信号处理器200采用TI公司的TMS320C6000系列DM642 DSP嵌入式处理器，FPGA大规模逻辑处理器300采用XILINX公司的SPARTEN-3e系列FPGA来组建系统；A/D采样转换模块100采用TVP5146芯片，可以配置成六路复合视频信号输入或二路YPbPr分量输入或S-Video和两路复合视频信号输入等多种方式。视频信号经过A/D采样转换模块100转换为数字图像序列，传给DSP数字信号处理器200和FPGA大规模逻辑处理器300做图象结构化描述处理，视频结构化描述程序主要由DSP数字信号处理器200和FPGA大规模逻辑处理器300协同处理完成。

在本实施例中，所述数据存储模块包括FLASH数据存储器500及SDRAM高速动态存储器600，FLASH数据存储器500固化有视频结构化描述程序，SDRAM高速动态存储器600用于存储视频数据的结构化描述处理过程中的数据，FLASH数据存储器500及SDRAM高速动态存储器600与DSP数字信号处理器200、FPGA大规模逻辑处理器300及数据输出模块之间互相连接。

SDRAM高速动态存储器600设置有公共数据交换区、全局变量存储区和临时数据堆栈。

在本实施例中，所述数据输出模块包括高速串行输入输出模块700及网络传输模块800，高速串行输入输出模块700与上位机互相连接通信并接收视频数据结构化描述处理参数，网络传输模块800与上位机互相连接通信并向上位机传输视频数据结构化描述处理后的数据。

高速串行输入输出模块700通过RS232接口与上位机互相连接通信，接收上位机传输的视频数据结构化描述处理参数。

网络传输模块800通过RJ45接口和TCP/IP协议与上位机互相连接通信，向上位机传输视频数据结构化描述处理后的数据。

如图4所示，A/D采样转换模块100采用TVP5146芯片，可以配置成六路复合视频信号输入或二路YPbPr分量输入或S-Video和两路复合视频信号输入等多种方式；内部有模拟视频输入钳位电路和自动增益控制电路(AGC)。钳位电路能使模拟视频输入信号稳定在一个固定的直流电平值上，自动增益控制电路将调整信号的幅度使它不超过A/D采样转换模块100所允许的范围。A/D采样转换模块100可以接收NTSC、PAL、SECAM制式的模拟图像信号，输出格式可以是20-/16-bit或10-/8-bit 4:2:2，或者10-/8-bit ITU-R BT.656。DSP数字信号处理器200通过I2C总线(SCL：时钟线，SDA：数据线)读写A/D采样转换模块100的内部寄存器来控制A/D采样转换模块100的输入输出格式、图像的亮度、对比度、饱和度，并且启动芯片开始工作。晶振产生14.318MHz的时钟输入到A/D采样转换模块100的内部锁相环(PLL)，产生13.5MHz的PCLK，送到DSP数字信号处理器200的VP口，作为接收20-/16-bit 4:2:2格式数字图像信号的时钟。A/D采样转换模块100输出行同步(HSYN)、场同步(VSYN)、奇偶场指示(FID)、Y/UV信号到DSP数字信号处理器200的VIDEOPORT口。

如图5所示，本发明的用DSP和FPGA实现视频结构化描述的装置，在处理过程中需开辟多帧图像的存储空间作为缓存，因此选用4片SAMSUNG公司的K4S561632E SDRAM芯片组成128M字节SDRAM高速动态存储器600。地址线A[0..12]中A0～A12为行地址，A0～A8为列地址。通过和控制行、列地址选通。DSP数字信号处理器200的EA[3..15]做为连接SDRAM高速动态存储器600的地址线。EA[16..17]用于SDRAM高速动态存储器600的4个Bank的片选，连接SDRAM高速动态存储器600的BA[0..1]即可。EA[0..2]通过内部3/8译码器，输出BE[0..7]，用于使能DM642以字节形式访问SDRAM高速动态存储器600，只需连接SDRAM高速动态存储器600的DQML和DQMH引脚。

如图6所示，本发明的用DSP和FPGA实现视频结构化描述的装置，其网络传输模块800采用DSP数字信号处理器200集成的以太网控制器，包括以太网介质访问控制器(EMAC)和物理层管理数据输入输出(MDIO)。EMAC控制DSP和物理层芯片(PHY)之间的数据流，而MDIO控制PHY的配置并且监视其状态。PHY采用Intel公司的LXT971A，支持100BASE-TX和100BASE-T两种模式，并提供MII接口。

如图2所示，本发明的用DSP和FPGA实现视频结构化描述的方法，它包括如下步骤：

a)对外部视频源进行数据采样；

b)把采样的外部视频源中的视频数据中的视频图像分成若干个视频图像片断、关键帧和子区域；

c)对上述视频图像片断、关键帧和子区域进行特征提取和高级语义分析处理，获得视频图像的特征和高级语义数据；

d)对视频图像、视频图像的特征和高级语义数据进行编码，得到视频图像的编码和视频图像结构化描述数据的编码；

e)对视频图像编码数据和视频图像结构化描述编码数据传输到上位机。

其中步骤a)、d)由DSP数字信号处理器200完成，步骤b)、c)、e)由DSP数字信号处理器200和FPGA大规模逻辑处理器300协作完成。

其具体工作过程是：

(1)原始视频源产生的模拟视频信号经过A/D采样转换模块100进行A/D采样和转换，由上述步骤a)产生数字图像，通过Video Poet数据口传送给DSP数字信号处理器200；

(2)DSP数字信号处理器200中运行的上述步骤b)根据场景的变化将整个数字图像分解成几个片断，每个片断包含一个场景。再进行镜头边界检测方法，比较相邻两帧之间的变化，如果该变化超过某个阈值，则认为这两帧之间为镜头边界。其次，对每个视频片断提取关键帧，关键帧一般为该视频片断中具有代表性的视频帧。再次，根据关键帧画面中的活动目标对关键帧图像做进一步的分割，得到多个子区域，其中对关键帧的分割需要FPGA的协处理。这样，通过上述步骤，把一段视频图像分割成若干视频图像片断、关键帧和子区域。

(3)DSP数字信号处理器200中运行的上述步骤c)对经过分割得到的子区域图像进行特征提取，获得其区域形状特征，并且生成关于其特征的描述。该区域形状的特征是采用背景差分和图像形态学运算的方法获得，并采用可扩展标记语言(XML)对其进行描述。该区域形状的特征描述，包括：形状、颜色、纹理、运动、定位、轮廓等视觉特征。

(4)图像提取到视觉特征后，上述步骤c)可根据其特征进行分类判别。分类判别的方法包括：相似度计算、模板匹配、基于机器学习的分类方法、神经网络、支持向量机等方法。

(5)视觉特征和语义描述的方法是：首先制定描述的方案(MDS)，然后根据描述方案把图像的特征数据和语义描述数据用可扩展标记语言(XML)表述出来。

(6)上述步骤d)对数字图像序列及其结构化语义描述进行编码，产生视频流数据和视频描述数据，通过上述步骤e)并输出到网络。

如图3所示，在本实施例中，所述视频图像通过镜头分割、关键帧提取、运动目标区域检测和静态目标区域分割处理分成若干个视频图像片断、关键帧和子区域。

所述镜头分割是指把一段视频图像根据镜头边界分割成若干个镜头，每个镜头是一段时间序列的帧，连续记录一个单独的摄像机的动作；一般描述一个连续的动作而没有主要的内容变化，镜头分割主要通过镜头边界检测来实现。

所述关键帧提取是指在某个镜头或者某个视频片断中提取的一些具有代表性的视频帧，用来表现该镜头或视频片断的内容。

所述关键帧提取的方法包括：随机抽取、根据图像质量抽取根据感兴趣区域的位置和大小抽取及事件触发抽取。

所述运动目标区域检测是指在视频图像中，检测视频图像的场景中运动的目标，把画面中运动目标的区域和背景区域分开，并对运动目标区域进行标记或遮罩处理。

所述运动目标区域检测的方法为根据当前图像和背景图像的差异来检测运动目标区域的背景差分方法。

所述静态目标区域分割是指根据色彩、纹理、轮廓、边缘或者事物的完整性，对整个视频图像进行分割和划分，获得若干个子区域。

在本实施例中，所述视频图像片断、关键帧和子区域进行特征提取，提取的特征为图像的视觉特征，包括：颜色、纹理、运动、形状、定位、轮廓、线条、人像特征。

在本实施例中，所述视频图像片断、关键帧和子区域的高级语义分析处理包括对视频图像片断、关键帧和子区域及图像特征进行分割、聚类、匹配、解义、分类、判别等运算和操作，产生图像描述高级语义数据。

在本实施例中，所述视频图像的编码和压缩方法包括MPEG-2、MPEG-4、H.264、SVAC、AVS等压缩编码方式。

在本发明的一个实施例中，所述视频结构化描述数据的编码通过可扩展标记语言(XML)或者二进制的XML压缩进行编码。

如图7所示，一个典型视频监控场景中采用本发明的用DSP和FPGA实现视频结构化描述的装置及方法对一个道路监控的场景输入视频进行结构化描述的装置和方法对关键帧的分析和结构化描述过程。通过对视频图像进行镜头分割、关键帧提取、运动目标区域检测、静态目标区域分割处理，把图像分成若干个片断、关键帧和子区域。如图7所示，本例中关键帧处理后，得到4个子区域：子区域1为一个奔跑的人，子区域2为一辆红色的轿车，子区域3为一辆蓝色的卡车，子区域1为一棵树。通过对视频图像、关键帧和子区域进行特征提取和高级语义分析处理，能够获得视频图像、关键帧和子区域的视觉特征(如：主色调特征、轮廓特征、位置特征等)和高级语义描述数据(如：“一个在路边奔跑的人”、“一辆红色的轿车”、“卡车”、“蓝色”、“一棵树”、“反向行驶”等)。最后对视频图像、图像特征和高级语义数据进行编码，得到视频图像的编码和视频图像描述数据的编码。由于采用本发明的视频图像分析描述的方法，通过对非结构化的视频图像数据进行分析和描述产生结构化的视频描述数据编码，从而实现对视频图像数据的结构化、信息化的管理。例如：用户可以通过检索关键词“轿车”、“红色”，就可以快速检索到相应的视频录像片断，并且快速定位到包含有红色轿车出现的视频帧。与传统的人工调阅录像相比，大大提高了查询、检索的效率。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。