基于FPGA实现4路音视频合路方法

摘要

本发明涉及在同一信道上可同时传输多路音视频的合路方法，特别是一种基于FPGA实现4路音视频合路方法，它是将4路视频信号和4录音频信号分别通过4个PAL编解码芯片和4路PCM语音编码语音芯片输入到FPGA现场可编程门阵列芯片进行处理后实现4路音视频信号合路输出，其信号处理流程为：4路音视频信号首先通过模式设定模块设置视频输出的格式、时钟和同步的输入输出模式，之后平行处理3个分支，第一个分支用来设置视频芯片的寄存器，第二个分支用来合路4路音频，第三支用来合路4路视频。本发明方法实现了在同一信道上可同时传输多路音视频，既解决了多路音视频输入问题，又提高了传输线路的利用率和音视频编码器性能价格比。

说明书

技术领域

本发明属于多媒体网络传输技术，具体涉及一种在同一信道上可同时传输多路音视频的合路方法。

背景技术

随着互联网的迅猛发展，其网络视频产品的需求量以每年20％的速度增长，2002年全世界各种网络视频编码器销售额超过了100亿美元，然而，网络多媒体视频传输数据量呈现爆炸式增长，网络带宽已成为信息传输的“瓶颈”，采用高效的多路音视频处理方法的编码器是解决“瓶颈”问题的有效方法之一。随着我国网络的普及和国家信息基础设施建设的发展，多媒体视频业务必将成为网络通信的主流。节约现有通信资源、提高通信线路的利用率是当前具有重大意义的课题。目前国内外厂家生产的音视频编码器，均是可提供单通道1路音视频，传输线路利用率低，造成产品的性能价格比也较低，传输效率也很低，早已不适应网络产业飞速发展的需要，因此急需开发能实现多路音视频整合功能的方法，以实现在同一信道上可同时传输多路音视频，提高其传输线路的利用率和音视频编码器性能价格比。

发明内容

本发明的目的是提出一种基于FPGA实现4路音视频合路方法，以实现在同一信道上可同时传输多路音视频，既解决了多路音视频输入问题，又提高了传输线路的利用率和音视频编码器性能价格比。

本发明基于FPGA实现4路音视频合路方法，是将4路视频信号和4录音频信号分别通过4个PAL编解码芯片和4路PCM语音编码语音芯片输入到FPGA现场可编程门阵列芯片进行处理后实现4路音视频信号合路输出，FPGA芯片包括有SDRAM同步动态随机存储器控制模块、视频输出模块、视频同步生成模块、视频时钟模块、4路视频同步检测模块、4路视频判断存储模块、音频时钟模块、PCM编码控制模块、视频芯片控制模块、模式设定模块，其信号处理流程为：

4路音视频信号采集输入后，首先通过模式设定模块设置视频输出的格式、时钟和同步的输入输出模式，之后平行处理3个分支，第一个分支用来设置视频芯片的寄存器，第二个分支用来合路4路音频，第三支用来合路4路视频；

第一个分支：I²C接收、缓存模块收到数据后，启动I²C发送模块，进行SAA7114视频芯片寄存器的设置，包括芯片的工作模式、亮度、色度设置、前置滤波器的设置；

第二个分支：音频时钟模块产生音频时钟，控制PCM编码器控制模块进行SPI数据的设置，接收音频数据合路为I²S数据发出，完成4路音频的合路，SPI设置的内容为音频的所占时隙、时钟速率、片内运放的增益，而后接收音频数据，进行存储，并且通过音频输出时钟的控制输出I²S数据；

视频时钟信号又进入两个并行分支，一是检测4路输入视频的同步信号，对视频数据进行存储，二是产生行、场同步，有了行场同步信号，进行同步信号的输出，并且利用此同步信号控制视频合路信号的输出。

本发明多路音视频合路方法的实现原理是：

由于多路音视频合路器不需要太多的算法，主要实现的灵活的控制功能，4路视频信号的输入，经过PAL解码后，其同步信号是随机的相位关系，要想合路视频信号，必须要有一个基准视频同步信号，而4路视频输入的每一路有可能不接摄像头，因此不能用任何一路信号的同步作为输出视频的同步信号，所以采用内部生成同步信号的方式，此同步信号与4路输入视频的同步不需要有相位关系。输入视频数据按照各路输入的同步时序向SDRAM中写数据，输出视频则按照内部生成的同步信号从SDRAM中读数据，并向外输出。这里的SDRAM功能为数据缓存作用，音频信号和路处理相对简单一些，因为输入的音频数据为PCM(脉冲编码调制，一种语音数字格式)数据，各路音频的时序位置固定，而且因为视频信号存储的帧数很少，不会影响音视频信号的同步。这样音频信号和视频信号可以分开单独处理，视频信号的接收和合路输出也是分别进行，合路的功能的完成主要靠视频数据的存储过程和视频数据的读取输出过程。

本发明方法实现了在同一信道上可同时传输多路音视频，既解决了多路音视频输入问题，又提高了传输线路的利用率和音视频编码器性能价格比。基于FPGA(Field Program GateArray，现场可编程门阵列)实现4路音视频合路方法作为音视频编码器的重要技术之一，为音视频编码器提供一机多路提供了适用可靠实现方法，为音视频编码器在LAN/WAN、远程视频监控、安防系统中多路音视频要求提供了支持和可靠的保证，它将大大的提高通信线路的利用率，节省宝贵的线路带宽资源，是实现视频通信非常重要的技术。利用该技术开发出高效实用的视频传输设备无疑将有广阔的市场前景和巨大的经济、社会效益。在视频和音频处理上运用FPGA等可编程器件，将成为具有经济实用的未来标准平台，这是因为它具有多种优点：可快速做出样机并验证，加速上市时间；紧随新标准、新要求快速演进步伐。因此，基于FPGA实现4路音视频合路方法的实用化、产品化，可为网络多路音视频通信提供高效、实时、并可方便灵活多用及具有良好兼容性的硬件通信平台，可为网络的视频通信提供了一个高性能价格比的选择。

附图说明

图1是本发明4路音视频合路的系统框图；

图2是图1中所示合路FPGA中的功能模块组成示意图；

图3是视频同步检测模块使用的视频数据格式；

图4是合路FPGA内部信号处理的流程图。

具体实施方式

结合下面给出的实施例对本发明方法作进一步详细说明。

参照图1、2，本发明基于FPGA实现4路音视频合路方法，是将4路视频信号和4录音频信号分别通过4个PAL编解码芯片和4路PCM语音编码语音芯片输入到FPGA现场可编程门阵列芯片进行处理后实现4路音视频信号合路输出，FPGA芯片包括有SDRAM同步动态随机存储器控制模块、视频输出模块、视频同步生成模块、视频时钟模块、4路视频同步检测模块、4路视频判断存储模块、音频时钟模块、PCM编码控制模块、视频芯片控制模块、模式设定模块。

4路PAL解码器采用PHILIPS公司的SAA7114芯片，此芯片使用I²C(一种串行总线协议)设置方式，视频输出可以为CCIR601和CCIR656两种模式，本发明使用CCIR656模式，4路语音PCM编码器采用IDT公司的IDT821034，此芯片使用SPI(一种串行总线协议)设置方式。SDRAM采用三星公司的K4S1632C芯片。FPGA采用XILINX公司的XC2S200-PQ208芯片，至于语音压缩处理芯片和视频压缩处理芯片可以任选。

FPGA软件编程说明：

FPGA编程使软件使用XILINX公司提供的ISE6.1集成开发环境，语言使用VEROLOG国际规范硬件描述语言。设计的功能模块如图2所示。下面分模块介绍编程思想。

视频同步检测模块1到4：本发明使用的视频数据格式为如图3所示的CCIR656格式，视频信号的行、场同步等控制信号都存在于数据流中，此模块作用是检测数据流中的信息，提取出4路视频同步信号。使用4级8位比较器来完成。

视频判断存储模块1到4：由提取出的4路视频同步控制信号来控制把各路的视频数据存储到SDRAM，这里把SDRAM作为视频数据的缓存，每路信号存储的位置固定，第一路存到缓存区的左上1/4部分，第二路存到缓存区的右上1/4部分，第三路存到缓存区的左下1/4部分，第四路存到缓存区的右下1/4部分，因为每路视频的存储信号不同步，为保证视频数据的完整，必须至少开三个视频帧的缓存区。使用4个16位计数器来生成地址信号，并用比较器来判断回行。

视频时钟模块：内部生成视频时钟信号，为27MHz，可以接外部时钟信号，此时钟信号是输出视频信号的基准。使用内部时钟线，以减少延时。

视频同步生成模块：此模块完成内部视频行、场同步信号的产生，要使用视频时钟模块产生的时钟，按视频压缩处理芯片的通常要求，还产生视频复合同步信号，奇偶场指示信号等，这些同步信号也可以是外部输入。使用计数器、比较器、触发器等来生成所需的同步信号。

视频输出模块：此模块利用视频同步生成模块产生视频同步信号从SDRAM中读取数据(前面所开的视频缓冲区)，因为4路输入视频信号存储的位置是视频缓冲区的4个不同区域，所以输出的视频信号为已经合路的信号。这里要保证输出的视频是已经写好的数据，所以缓存区的大小至少为三个视频帧。保证1、2视频帧在写的时候读取3视频帧，或2、3视频帧在写的时候读取1视频帧，或3、1视频帧在写的时候读取2视频帧。使用1个16位计数器来生成地址信号。

SDRAM控制模块：所有视频信号、音频信号的存储和读取都要对SDRAM操作，而SDRAM又需要刷新，所以此模块为其他模块对SDRAM操作的接口模块。

视频芯片控制模块：此模块包括I²C接收和发送两部分，目的是设置PAL解码器芯片，而设置的数据来源可以通过I²C接收CPU发来的信号得到，因为SAA7114可以设置两个l²C地址，4个芯片共要使用2路I²C发送两部分。另外I²C接收部分同时还接收音频设置信息。使用串并转换器来是实现I²C接收，使用数据锁存器来存储I²C数据。使用并串转换器完成I²C发送。

音频时钟模块：包括两部分时钟，一是音频输入时钟，二是音频输出时钟，均为外部输入。

PCM编码器控制模块：PCM编码器使用SPI控制方式，把I²C接收部分收到数据通过SPI总线发出，对PCM编码器进行初始化。收到的音频数据流存储到SDRAM中，同时按照输入视频的时钟向外输出数据，此处的音频缓冲区要2个即可，每个为16BYTE。把收到的PCM音频数据变换成多数处理芯片可以接收的I²S(一种语音数字格式)信号，使用并串转换器完成SPI发送和I²S数据的发送。

模式设定部分：此模式设定为初始化FPGA来用的，主要设置视频输出的格式，时钟和同步的输入输出模式等。

参照图4，FPGA信号处理流程为：4路音视频信号采集输入后，首先通过模式设定模块设置视频输出的格式、时钟和同步的输入输出模式，之后平行处理3个分支，第一个分支用来设置视频芯片的寄存器，第二个分支用来合路4路音频，第三支用来合路4路视频；

第一个分支：I2C接收、缓存模块收到数据后，启动I2C发送模块，进行SAA7114视频芯片寄存器的设置，包括芯片的工作模式、亮度、色度设置、前置滤波器的设置等。

第二个分支：音频时钟模块产生音频时钟，控制PCM编码器控制模块进行SPI数据的设置，接收音频数据合路为I²S数据发出，完成4路音频的合路功能。SPI设置的内容为音频的所占时隙、时钟速率、片内运放的增益等。而后接收音频数据，进行存储，并且通过音频输出时钟的控制输出I²S数据。

视频时钟模块又有两个并行分支，一是检测4路输入视频的同步信号，对视频数据进行存储，二是产生行、场同步，有了行场同步信号，进行同步信号的输出，并且利用此同步信号控制视频合路信号的输出。

采用本发明方法，既可以4路视频和4路音频同时进行合路，也可以进行选择性的合路，如2路视频、2路音频合路；并可在4路视频和1路直通两种方式中选择。