扩展多通道解码和多通道智能视频处理功能的方法和装置

摘要

本发明公开了一种同时扩展多通道解码和多通道智能视频处理功能的方法及装置，使得在原数字硬盘录像机的硬件资源设计不需更改或更改较少的情况下，通过PCI接口扩展一个带有多颗DSP芯片的子板进行多路解码和多路智能视频分析。为了使扩展板上的DSP达到最大利用率，采用扩展板解码功能和智能分析功能相切换的方法，使得不同的操作状态下，扩展板的所有DSP只用于一种功能，从而增加了扩展板解码和智能分析所能支持的总通道数。总而言之，本发明实施例的硬件设计实现简单，经过扩展的普通数字硬盘录像机在不增加任何相关其它设备下，就可以同时最大限度地支持多路高分辨率的解码功能和多路视频分析处理功能。

说明书

技术领域

本发明涉及监控技术领域，特别涉及一种能够同时扩展多通道解码和多通道智能视频处理功能的方法和装置。

背景技术

由于受视频处理芯片等硬件资源的限制，传统的数字硬盘录像机可以同时回放高分辨率的视频录像(如D1分辨率)的通道数是极其有限的，目前，很多的数字硬盘录像机生产厂商都生产了只具有单独的解码回放功能但可以同时解码回放多路视频通道的多路解码器产品。这样当用户需要回放多路高分辨率的本地视频录像时，不仅需要使用本地视频录制的数字硬盘录像机设备，而且还需另外购置多路解码器设备，这种方法不仅成本高，接线安装复杂，而且使用不方便，系统稳定性差。

另外，为了提高城市的社会治安状态、增强对突发事件的应变能力，目前全国各个城市都构建了视频监控系统，这类视频监控系统往往十分庞大，集成了超过千路的监控摄像机。传统人为监控方式的局限性在这类大型监控系统中表现的越来越突出。监控者同时观测多个监视器时，监控精度会随着监控视频数量的上升而下降，监控者对于单调的事物无法长时间的集中注意力，人为监控的成本非常昂贵。因此，在传统监控系统中，多数时候视频监控系统的作用是事后取证及排查，无法做到对异常事件的防范及快速响应。解决以上问题的一个有效手段是智能视频处理技术，它利用视频分析算法将视频数据变为语义级信息，从而在图像与事件描述之间建立一种映射关系，可以在某些场合替代人为监控或者协助人为监控。智能视频处理技术的优势在于它可以一天24小时不间断的对视频进行监控，一旦有事件发生可以及时报警，使监控者可以快速对异常事件进行反应，相对于人为监控来说，智能化监控可靠性更高，成本更加低廉。目前市场上大部分对智能视频处理技术的应用，主要有2种方案：一是应用层客户端处理方式，通过购置一台PC本地服务器，然后通过网络连接将监控点的视频监控设备如网络摄像机，网络数字硬盘录像机等的实时数字视频流传送至本地PC服务器，然后在PC服务器上进行相关的智能视频处理分析。这种处理方案需要另购置价格不菲的高性能PC服务器，另外当介入PC服务器的视频监控设备过多时，由于网络的拥堵和不稳定性，会导致视频监控设备的数字视频流不能实时送至PC服务器进行智能视频分析处理，从而引起智能系统的漏报警和误报警。另外一种方案是嵌入式处理方案，即利用先进的高主频数字信号处理(DSP)芯片本地进行智能视频处理分析，相对应用层客户端处理方式，这种方式可以避免大量视频数据的网络传输，本地实时进行视频帧的智能分析，减少整个智能监控系统的复杂性，系统可靠性强，具有很好的应用前景。但是，要想在原有数字硬盘录像机上增加这一功能，必然会占用其原有硬件资源，使得其部分运行参数下降，更不可以进行多通道的智能视频分析。

发明内容

本发明实施例在于提供一种能够同时扩展多通道解码和多通道智能视频处理功能的方法和装置，通过最小的硬件资源将多通道高分辨率解码和多通道数字视频智能分析功能同时集成到一台数字硬盘录像机上。

本发明实施例提供了一种同时扩展多通道解码和多通道智能视频处理功能的方法，在数字硬盘录像机DVR上扩展包括至少一颗数字信号处理DSP芯片的扩展板，所述扩展板上的每颗DSP与DVR的主板上一个用于编码的DSP对应链接，所述方法还包括：

在所述扩展板上电后，所述扩展板上的DSP分配用于智能视频处理的内存资源，初始化用于智能视频处理的分析运行参数；

判断是否执行解码处理，是则执行解码任务，否则执行智能视频处理任务；

执行智能视频处理任务时，具体包括：

所述扩展板上的DSP检测接收到有效的视频数据后，将所述有效的视频数据拷入处理缓冲区，对所述处理缓冲区的视频数据进行智能视频分析处理，将智能处理结果信息一份发送给DVR的主机以保存到所述DVR的硬盘中，另一份回传给对应的主板编码DSP，以便在原始视频图像上叠加所述智能处理结果信息；

执行解码任务时，具体包括：

所述扩展板上的DSP停止智能分析功能，释放用于智能视频处理的内存资源，初始化解码参数，分配解码所需的内存资源，唤醒解码线程，执行解码操作。

其中，当解码操作结束时，所述方法还包括：

所述扩展板上的DSP释放用于解码的内存资源，初始化用于智能视频处理的分析运行参数，分配用于智能视频处理的内存资源。

其中，在执行智能视频处理任务时，所述方法还包括：

所述扩展板上的DSP检测未收到有效的视频数据时，等待一预设时间后，再执行检测操作。

其中，所述是否执行解码处理是根据接收到的来自DVR主机的命令是开始解码命令还是开始智能分析命令来决定的。

其中，所述扩展板上的DSP检测接收到有效的视频数据的步骤包括：所述扩展板上的DSP从共享缓存中检测接收到DVR主板上与之对应的编码DSP发送来的有效视频数据。

其中，所述方法还包括：当所述扩展板上的DSP执行完每个操作后，向DVR主机返回表示执行成功与否的执行状态。

本发明实施例还提供了一种同时扩展多通道解码和多通道智能视频处理功能的装置，在数字硬盘录像机DVR上扩展包括至少一颗数字信号处理DSP芯片的扩展板，所述扩展板上的每颗DSP与DVR的主板上一个用于编码的DSP对应链接，所述装置包括：

初始化单元，用于在所述扩展板上电后，分配用于智能视频处理的内存资源，初始化用于智能视频处理的分析运行参数；

操作类型判断单元，用于判断是否执行解码处理，是则通知解码单元，否则通知智能视频处理单元；

智能视频处理单元，用于在所述扩展板上的DSP检测接收到有效的视频数据后，将所述有效的视频数据拷入处理缓冲区，对所述处理缓冲区的视频数据进行智能视频分析处理，将智能处理结果信息一份发送给DVR的主机以保存到所述DVR的硬盘中，另一份回传给对应的主板编码DSP，以便在原始视频图像上叠加所述智能处理结果信息；

解码单元，用于停止智能分析功能，释放用于智能视频处理的内存资源，初始化解码参数，分配解码所需的内存资源，唤醒解码线程，执行解码操作。

其中，所述解码单元，还用于当解码操作结束时，释放用于解码的内存资源，初始化用于智能视频处理的分析运行参数，分配用于智能视频处理的内存资源。

其中，所述智能视频处理单元，还用于在所述扩展板上的DSP检测未收到有效的视频数据时，等待一预设时间后，再执行检测操作。

应用本发明实施例，可以利用最少的硬件资源，达到最大的资源利用率。本发明实施例使得在原数字硬盘录像机的硬件资源设计不需更改或更改较少的情况下，通过PCI接口扩展一个带有多颗DSP芯片的子板进行多路解码和多路智能视频分析。为了使扩展板上的DSP达到最大利用率，采用扩展板解码功能和智能分析功能相切换的方法，使得不同的操作状态下，扩展板的所有DSP只用于一种功能，从而增加了扩展板解码和智能分析所能支持的总通道数。总而言之，本发明实施例的硬件设计实现简单，经过扩展的普通数字硬盘录像机在不增加任何相关其它设备下，就可以同时最大限度地支持多路高分辨率的解码功能和多路视频分析处理功能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种同时扩展多通道解码和多通道智能视频处理功能的方法流程图；

图2是根据本发明一实施例的系统整体框图；

图3是根据本发明实施例的一带有智能信息的预览图像；

图4是根据本发明实施例的扩展板的执行流程图；

图5是根据本发明实施例的执行智能视频处理功能和解码功能之前相互切换的流程图；

图6是根据本发明实施例的一种同时扩展多通道解码和多通道智能视频处理功能的装置逻辑示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，其是根据本发明实施例的一种同时扩展多通道解码和多通道智能视频处理功能的方法流程图，本实施例中，在数字硬盘录像机(DVR)上扩展包括至少一颗数字信号处理DSP芯片的扩展板，所述扩展板上的每颗DSP与DVR的主板上一个用于编码的DSP对应链接，所述方法还包括以下步骤：

步骤101，在所述扩展板上电后，所述扩展板上的DSP分配用于智能视频处理的内存资源，初始化用于智能视频处理的分析运行参数；

步骤102，判断是否执行解码处理，是则执行步骤104，否则执行步骤103；

具体的，根据接收到的来自DVR主机的命令是开始解码命令还是开始智能分析命令来决定的。

步骤103，执行智能视频处理任务，其具体包括：

所述扩展板上的DSP检测接收到有效的视频数据后，将所述有效的视频数据拷入处理缓冲区，对所述处理缓冲区的视频数据进行智能视频分析处理，将智能处理结果信息一份发送给DVR的主机以保存到所述DVR的硬盘中，另一份回传给对应的主板编码DSP，以便在原始视频图像上叠加所述智能处理结果信息；

其中，扩展板上的DSP是从共享缓存中检测接收到DVR主板上与之对应的编码DSP发送来的有效视频数据；

这里，共享缓冲指扩展板DSP与主板编码DSP之间的共享缓存；处理缓冲区指扩展板DSP自己分配且单独使用的缓冲区；

步骤104，执行解码任务，其具体包括：

所述扩展板上的DSP停止智能分析功能，释放用于智能视频处理的内存资源，初始化解码参数，分配解码所需的内存资源，唤醒解码线程，执行解码操作。

需要说明的是，当解码操作结束时，图1所述方法还可以包括：

所述扩展板上的DSP释放用于解码的内存资源，初始化用于智能视频处理的分析运行参数，分配用于智能视频处理的内存资源。

需要说明的是，在执行智能视频处理任务时，图1所述方法还可以包括：

所述扩展板上的DSP检测未收到有效的视频数据时，等待一预设时间后，再执行检测操作。

需要说明的是，当所述扩展板上的DSP执行完每个操作后，向DVR主机返回表示执行成功与否的执行状态。

需要说明的是，上述DVR主机是指DVR系统的ARM主机。

本发明实施例在原有数字硬盘录像机主板上利用PCI接口扩展一个带有至少一颗DSP芯片的子板进行多路解码和多路智能视频分析，这样原有数字硬盘录像机的主板硬件资源就不需更改或更改较少。

扩展板可以最大限度支持多路解码功能和多路视频智能分析功能，本发明实施例并不是将扩展板上DSP进行分类(比如2颗DSP只用于解码，2颗DSP只用于智能视频分析)或扩展板只支持单独多路解码或单独多路智能分析功能；为了达到扩展板最大的DSP利用率，采用了扩展板解码功能和智能分析功能相切换的方法，使得不同的操作状态下，扩展板的所有DSP只用于一种功能，从而增加了扩展板解码和智能分析所能支持的总通道数。

下面结合具体实例，对本发明做进一步详细说明。

参见图2，其是根据本发明一实施例的系统整体框图。本实施例中，假设原有数字硬盘录像机主板上有5颗DSP，其中，DSP0用于解码和显示，DSP1-DSP4用于编码且最大编码通道数为4，为了不影响其它的功能性能，该系统目前最大只能由DSP0来同时解4路D1分辨率视频图像，更不能进行智能视频分析功能。

为了能够同时扩展多通道解码和多通道智能视频处理功能，本实施例通过PCI接口扩展一块带有4颗DSP芯片的子板即扩展板，该扩展板上的4颗DSP(DSP5-DSP8)与主板上的4个编码DSP(DSP1-DSP4)一一对应。ARM(Advanced RISC Machines，其既可以认为是一个公司的名字，也可以认为是对一类微处理器的通称，还可以认为是一种技术的名字)主机和扩展板上的DSP可以通过PCI总线进行数据的交互。需要说明的是，扩展板上的每个DSP每次可以与主板上的不同DSP对应链接，但是，每次都是一对一连接，不存在一对多连接，也不存在多对一连接。

在进行智能视频处理任务时，主板上的4颗编码DSP(DSP1-DSP4)分别将各自视频输入通道的源视频流拷贝一份送入对应的扩展板DSP(DSP5-DSP8)中进行智能视频分析；扩展板上的DSP进行智能视频分析后，将智能处理结果信息上传至ARM主机进行硬盘保存并回传一份到对应的主板编码DSP上，主板编码DSP使智能处理结果信息与源视频流叠加并送到显示DSP进行显示，这样在预览画面中就可以看到带有智能处理结果信息的图像了。经过这样的扩展后该硬盘录像机就可以由扩展板上的DSP(DSP5-DSP8)同时进行16路通道的智能处理分析。

参见图3，其是根据本发明实施例的一带有智能信息的预览图像。图3中由黑实线圈出的部分即智能报警区域，该区域中出现可疑目标时就有可能触发报警等操作。

在进行多路解码任务时，系统停止了扩展板DSP的智能视频分析功能，开启解码功能，扩展板上每颗DSP最大可以解4路D1分辨率的视频图像，加之原来主板的DSP0的4路D1分辨率的解码功能，扩展后的硬盘录像机可以同时解码20路的D1分辨率的视频图像。

参见图4，其是根据本发明实施例的扩展板的执行流程图，具体包括：

步骤401，设备启动后，扩展板上电复位，扩展板上的DSP默认分配用于智能视频处理的内存资源，初始化用于智能视频处理的分析运行参数；

步骤402，判断是否执行解码处理，是则执行步骤411，进行解码操作，否则执行步骤403，进行智能视频处理任务；

步骤403～405，扩展板DSP不断检测与之相对应的主板编码DSP的共享缓存中是否有视频数据，且该视频数据是否有效，该共享缓存中视频数据就是对应主板编码DSP写入的视频输入通道的源视频流，如果共享缓存中有有效的视频数据，扩展板DSP则读出视频数据至其分析缓存中，否则继续等待一预设的时间如10ms后再检测。

步骤406～409，扩展板上的DSP对当前帧图像进行智能视频分析处理，并将智能处理的结果信息一份发送给ARM主机保存到硬盘，另一份回传给对应的编码DSP，以便在原始视频图像上叠加绘制目标、规则等智能处理结果信息，在预览中有智能信息显示。

其中，叠加显示的过程大致为：编码DSP将智能处理信息叠加到原始视频图像上，然后将叠加后的视频数据送到具有解码和显示功能的DSP中预览显示，实施例中DSP0具有解码和显示功能。该过程为现有技术，本文对此不再详细说明。

步骤410，对本次当前帧处理完毕后，等待下一帧数据，跳至步骤403；

步骤411～413，系统有解码任务时，扩展板上的DSP停止智能分析功能，释放用于智能分析的内存资源，接着初始化解码参数，分配解码所需的内存资源，唤醒解码线程；

步骤414，进行解码操作；

步骤415，判断解码操作是否结束，若结束跳至步骤415，若未结束跳至步骤414；

步骤416～417，解码结束后，扩展板DSP停止解码功能，释放用于解码的内存资源，接着初始化智能分析功能参数，分配智能分析所需的内存资源，跳至步骤403。

由图4可知，扩展板在上电初始化后默认是先分配智能处理的内存资源空间，即扩展板初始化后，就可以正常进行多路智能视频分析功能。在检测到有解码任务后，即停止智能视频分析功能，转而全面支持解码功能。执行智能视频处理功能和解码功能的切换操作流程如图5所示。

参见图5，其是根据本发明实施例的执行智能视频处理功能和解码功能之前相互切换的流程图，具体包括：

步骤501～502，有解码任务时，ARM主机判断是否需要扩展板DSP进行解码任务。如果需要，则向相应的扩展板DSP发送结束智能分析的主机命令，否则不向扩展板DSP发送该命令。

其中，判断是否需要扩展板DSP进行解码任务可根据主机的实际资源以待解码数据量来决定。以图2实施例为例，由于DSP0可以同时解码4路D1分辨率视频，如果要同时解码的路数大于4，即要启动扩展板进行解码任务。本申请文件中，并不对具体的判断方法进行限定。

步骤503～504，扩展板DSP收到主机发来的结束智能分析命令后，即开始响应主机命令，具体包括清除智能使能标志，释放智能使用的内存空间，并向主机返回命令的执行状态。

步骤505，ARM主机判断上次命令的执行状态，如果执行成功，则执行步骤506；否则执行步骤520；

步骤506，ARM主机继续向该DSP发送开始解码的命令；

步骤507～508，扩展板DSP收到主机发来的开始解码命令后，即开始初始化解码参数，分配解码内存空间，唤醒解码进程，并向主机返回命令的执行状态；

步骤509，ARM主机判断上次命令的执行状态，如果执行成功，则执行步骤510，否则执行步骤520；

步骤510，ARM主机将硬盘上的视频数据读至ARM和DSP的共享缓存上；

步骤511，扩展板DSP从共享缓存上将数据读至其解码缓存中进行解码回放；

步骤512，ARM主机判断解码操作是否结束，若结束则执行步骤513，否则执行步骤510；

步骤513，ARM主机停止从硬盘读数据至共享缓存，并向扩展板上的DSP发送停止解码的命令；

步骤514～515，扩展板DSP收到主机发来的停止解码命令后，即开始清除解码使能标志，释放解码使用的内存空间，并向主机返回命令的执行状态；

步骤516，ARM主机判断上次命令的执行状态，如果执行成功，则执行步骤517，否则执行步骤520；

步骤517，ARM主机继续向该DSP发送开始智能分析的命令；

步骤518～519，扩展板DSP收到主机发来的开始智能分析命令后，即开始初始化智能分析参数，分配智能分析所需内存空间，执行智能视频分析处理功能；

步骤520，串口输出显示命令执行出错。

至此，完成了执行智能视频处理功能和解码功能之前相互切换。扩展板上的DSP视频智能分析功能和解码功能的切换是通过与ARM主机的交互，终止上次的功能，释放上次功能的内存资源，再申请本次功能的内存资源，执行本次的功能操作，来实现两种功能间相互切换的。

可见，应用本发明实施例提供的在数字硬盘录像机上同时扩展多通道解码和多通道智能视频处理功能的方法，可以利用最少的硬件资源，达到最大的资源利用率。本发明实施例使得在原数字硬盘录像机的硬件资源设计不需更改或更改较少的情况下，通过PCI接口扩展一个带有多颗DSP芯片的子板进行多路解码和多路智能视频分析。为了使扩展板上的DSP达到最大利用率，采用扩展板解码功能和智能分析功能相切换的方法，使得不同的操作状态下，扩展板的所有DSP只用于一种功能，从而增加了扩展板解码和智能分析所能支持的总通道数。总而言之，本发明实施例的硬件设计实现简单，经过扩展的普通数字硬盘录像机在不增加任何相关其它设备下，就可以同时最大限度地支持多路高分辨率的解码功能和多路视频分析处理功能。

本发明实施例还提供了一种同时扩展多通道解码和多通道智能视频处理功能的装置，参见图6，在数字硬盘录像机DVR上扩展包括至少一颗数字信号处理DSP芯片的扩展板，所述扩展板上的每颗DSP与DVR的主板上一个用于编码的DSP对应链接，所述装置包括：

初始化单元601，用于在所述扩展板上电后，分配用于智能视频处理的内存资源，初始化用于智能视频处理的分析运行参数；

操作类型判断单元602，用于判断是否执行解码处理，是则通知解码单元，否则通知智能视频处理单元；

智能视频处理单元603，用于在所述扩展板上的DSP检测接收到有效的视频数据后，将所述有效的视频数据拷入处理缓冲区，对所述处理缓冲区的视频数据进行智能视频分析处理，将智能处理结果信息一份发送给DVR的DVR主机以保存到所述DVR的硬盘中，另一份回传给对应的主板编码DSP，以便在原始视频图像上叠加所述智能处理结果信息；

解码单元604，用于停止智能分析功能，释放用于智能视频处理的内存资源，初始化解码参数，分配解码所需的内存资源，唤醒解码线程，执行解码操作。

上述解码单元604，还用于当解码操作结束时，释放用于解码的内存资源，初始化用于智能视频处理的分析运行参数，分配用于智能视频处理的内存资源。

上述智能视频处理单元603，还用于在所述扩展板上的DSP检测未收到有效的视频数据时，等待一预设时间后，再执行检测操作。

应用本发明实施例提供的在数字硬盘录像机上同时扩展多通道解码和多通道智能视频处理功能的装置，可以利用最少的硬件资源，达到最大的资源利用率。本发明实施例使得在原数字硬盘录像机的硬件资源设计不需更改或更改较少的情况下，通过PCI接口扩展一个带有多颗DSP芯片的子板进行多路解码和多路智能视频分析。为了使扩展板上的DSP达到最大利用率，采用扩展板解码功能和智能分析功能相切换的方法，使得不同的操作状态下，扩展板的所有DSP只用于一种功能，从而增加了扩展板解码和智能分析所能支持的总通道数。总而言之，本发明实施例的硬件设计实现简单，经过扩展的普通数字硬盘录像机在不增加任何相关其它设备下，就可以同时最大限度地支持多路高分辨率的解码功能和多路视频分析处理功能。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。