实现数字视频单像素输入输出多像素处理的方法及装置

摘要

本发明实施例公开一种实现数字视频单像素输入输出多像素处理的方法及装置，能实现对FPGA输入、输出支持混合高低分辨率视频端口。方法包括：S1、将FPGA端口输入的单像素视频转换成像素时钟不变但包括数据有效位的多像素视频；S2、对所述多像素视频进行图像预处理；S3、将经图像预处理后的多像素视频转换为单像素视频，并将转换得到的单像素视频通过FPGA端口输出，其中，所述转换得到的单像素视频的像素时钟比经图像预处理后的多像素视频的像素时钟高。

说明书

技术领域

本发明实施例涉及视频领域，具体涉及一种实现数字视频单像素输入输出多像素处理的方法及装置。

背景技术

随着人们对视频清晰度的需求越来越高，视频端口的带宽也越来越高，相应的也出现了新的视频接口，从开始的VGA(视频图形阵列)、DVI到SDI(数字分量串行接口)、HDMI(高清晰度多媒体接口)、DisplayPort(显示接口)。在同一设备中有可能有1920*1080等低分辨率的VGA、DVI接口，也有更高分辨率3840*2160的DisplayPort接口，其中1920*1080等低分辨率的视频端口一般都是单像素，而高分辨率3840*2160的视频端口的像素个数为多像素。但是现有技术无法实现对FPGA(Field－Programmable Gate Array，现场可编程门阵列)输入、输出支持混合高低分辨率视频端口。

发明内容

针对现有技术存在的不足和缺陷，本发明实施例提供一种实现数字视频单像素输入输出多像素处理的方法及装置。

一方面，本发明实施例提出一种实现数字视频单像素输入输出多像素处理的方法，包括：

S1、将FPGA端口输入的单像素视频转换成像素时钟不变但包括数据有效位的多像素视频；

S2、对所述多像素视频进行图像预处理；

S3、将经图像预处理后的多像素视频转换为单像素视频，并将转换得到的单像素视频通过FPGA端口输出，其中，所述转换得到的单像素视频的像素时钟比经图像预处理后的多像素视频的像素时钟高。

另一方面，本发明实施例提出一种实现数字视频单像素输入输出多像素处理的装置，包括：

单像素转多像素模块，用于将FPGA端口输入的单像素视频转换成像素时钟不变但包括数据有效位的多像素视频；

多像素处理模块，用于对所述多像素视频进行图像预处理；

多像素转单像素模块，用于将经图像预处理后的多像素视频转换为单像素视频，并将转换得到的单像素视频通过FPGA端口输出，其中，所述转换得到的单像素视频的像素时钟比经图像预处理后的多像素视频的像素时钟高。

第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；

其中，所述处理器，存储器通过所述总线完成相互间的通信；

所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。

本发明实施例提供的实现数字视频单像素输入输出多像素处理的方法及装置，在输入端把单像素格式的视频转为多像素格式，从而在FPGA内部以统一的视频格式处理，然后在输出端再把多像素视频格式转为单像素格式输出，通过本方案，可以在FPGA内部保持同样的视频像素时钟的情况下实现更高的处理视频的带宽，从而实现对FPGA输入、输出支持混合高低分辨率视频端口。

附图说明

图1为本发明实现数字视频单像素输入输出多像素处理的方法一实施例的流程示意图；

图2为本发明实现数字视频单像素输入输出多像素处理的装置一实施例的结构示意图；

图3为本发明实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

参看图1，本实施例公开一种实现数字视频单像素输入输出多像素处理的方法，包括：

S1、将FPGA端口输入的单像素视频转换成像素时钟不变但包括数据有效位的多像素视频；

S2、对所述多像素视频进行图像预处理；

S3、将经图像预处理后的多像素视频转换为单像素视频，并将转换得到的单像素视频通过FPGA端口输出，其中，所述转换得到的单像素视频的像素时钟比经图像预处理后的多像素视频的像素时钟高。

本发明实施例提供的实现数字视频单像素输入输出多像素处理的方法，在输入端把单像素格式的视频转为多像素格式，从而在FPGA内部以统一的视频格式处理，然后在输出端再把多像素视频格式转为单像素格式输出，通过本方案，可以在FPGA内部保持同样的视频像素时钟的情况下实现更高的处理视频的带宽，从而实现对FPGA输入、输出支持混合高低分辨率视频端口。

在前述方法实施例的基础上，所述S1，可以包括：

将视频锁定信号lock，以及所述单像素视频包含的RGB数据、行同步信号hsync、场同步信号vsync和数据位de用寄存器打一拍；

将经前一步骤处理后的RGB数据、行同步信号hsync、场同步信号vsync和数据位de均用寄存器连续打四拍分别生成相应的dly0数据、dly1数据、dly2数据和dly3数据；

根据所述数据位de的dly2数据和dly3数据产生所述数据位de的上升沿脉冲de_pos信号，并利用所述上升沿脉冲de_pos信号给预设的第一周期计数器cnt_de1赋值1；

将所述第一周期计数器cnt_de1作为标识，把所述RGB数据的dly0数据、dly1数据、dly2数据和dly3数据合成为所述RGB数据的输出数据，把所述行同步信号hsync、所述场同步信号vsync和数据位de的dly3数据分别合成为各自的输出数据；

根据所述第一周期cnt_de1和所述场同步信vsync的dly3数据产生数据有效位datavalid；

将所述RGB数据、行同步信号hsync、场同步信号vsync和数据位de的输出数据，以及所述视频锁定信号lock的缓存值和所述数据有效位datavalid用寄存器统一打一拍，并利用所述视频锁定信号lock的缓存值对前一步骤得到的数据进行去噪，得到所述多像素视频。

在前述方法实施例的基础上，所述S2，可以包括：

对所述多像素视频依次进行转换、切换、缩放、缓冲和叠加处理。

在前述方法实施例的基础上，所述S3，可以包括：

将经图像预处理后的多像素视频包含的RGB数据、行同步信号hsync、场同步信号vsync和数据使能位de用寄存器打一拍；

将经前一步骤处理后的RGB数据、行同步信号hsync、场同步信号vsync和数据位de并行作为先进先出FIFO的数据输入，其中，所述先进先出FIFO的写使能置为常有效；

利用所述先进先出FIFO的读时钟产生第二周期计数器cnt_de2，利用所述先进先出FIFO读端口的数据个数最高位产生开始读FIFO的信号fifo_rd_begin；

在可以开始读FIFO后在所述第二周期cnt_de2的第一时钟周期发出一次读请求信号rdreq，根据所述读请求信号rdreq从所述先进先出FIFO中读取数据，并将所述第二周期cnt_de2作为标识在每个读时钟周期单像素顺序输出读出的多个像素，在第二时钟周期输出行同步信号hsync、场同步信号vsync和数据使能位de，其中，读FIFO时钟为所述先进先出FIFO的写FIFO时钟的N倍，N为多像素的个数，所述读FIFO时钟和写FIFO时钟由同一个时钟锁相环PLL产生。

参看图2，本实施例公开一种实现数字视频单像素输入输出多像素处理的装置，包括：

单像素转多像素模块1，用于将FPGA端口输入的单像素视频转换成像素时钟不变但包括数据有效位的多像素视频；

多像素处理模块2，用于对所述多像素视频进行图像预处理；

多像素转单像素模块3，用于将经图像预处理后的多像素视频转换为单像素视频，并将转换得到的单像素视频通过FPGA端口输出，其中，所述转换得到的单像素视频的像素时钟比经图像预处理后的多像素视频的像素时钟高。

具体地，所述单像素转多像素模块1将FPGA端口输入的单像素视频转换成像素时钟不变但包括数据有效位的多像素视频；所述多像素处理模块2对所述多像素视频进行图像预处理；所述多像素转单像素模块3将经图像预处理后的多像素视频转换为单像素视频，并将转换得到的单像素视频通过FPGA端口输出，其中，所述转换得到的单像素视频的像素时钟比经图像预处理后的多像素视频的像素时钟高。

本发明实施例提供的实现数字视频单像素输入输出多像素处理的装置，在输入端把单像素格式的视频转为多像素格式，从而在FPGA内部以统一的视频格式处理，然后在输出端再把多像素视频格式转为单像素格式输出，通过本方案，可以在FPGA内部保持同样的视频像素时钟的情况下实现更高的处理视频的带宽，从而实现对FPGA输入、输出支持混合高低分辨率视频端口。

在前述装置实施例的基础上，所述单像素转多像素模块，具体可以用于：

将视频锁定信号lock，以及所述单像素视频包含的RGB数据、行同步信号hsync、场同步信号vsync和数据位de用寄存器打一拍；

将经前一步骤处理后的RGB数据、行同步信号hsync、场同步信号vsync和数据位de均用寄存器连续打四拍分别生成相应的dly0数据、dly1数据、dly2数据和dly3数据；

根据所述数据位de的dly2数据和dly3数据产生所述数据位de的上升沿脉冲de_pos信号，并利用所述上升沿脉冲de_pos信号给预设的第一周期计数器cnt_de1赋值1；

将所述第一周期计数器cnt_de1作为标识，把所述RGB数据的dly0数据、dly1数据、dly2数据和dly3数据合成为所述RGB数据的输出数据，把所述行同步信号hsync、所述场同步信号vsync和数据位de的dly3数据分别合成为各自的输出数据；

根据所述第一周期cnt_de1和所述场同步信vsync的dly3数据产生数据有效位datavalid；

将所述RGB数据、行同步信号hsync、场同步信号vsync和数据位de的输出数据，以及所述视频锁定信号lock的缓存值和所述数据有效位datavalid用寄存器统一打一拍，并利用所述视频锁定信号lock的缓存值对前一步骤得到的数据进行去噪，得到所述多像素视频。

本实施例中，从FPGA端口输入的视频直到FPGA端口输出的视频其信号格式包括RGB数据位、行同步信号位hsync、场同步信号位vsync、数据使能位de；单像素转多像素模块输入端还有视频锁定lock信号，用于标识输入的视频信号是否正常；单像素转多像素模块输出和多像素处理模块输入除了上述信号，还包括数据有效位datavalid。

在前述装置实施例的基础上，所述多像素处理模块，具体可以用于：

对所述多像素视频依次进行转换、切换、缩放、缓冲和叠加处理。

在前述装置实施例的基础上，所述多像素转单像素模块，具体可以用于：

将经图像预处理后的多像素视频包含的RGB数据、行同步信号hsync、场同步信号vsync和数据使能位de用寄存器打一拍；

将经前一步骤处理后的RGB数据、行同步信号hsync、场同步信号vsync和数据位de并行作为先进先出FIFO的数据输入，其中，所述先进先出FIFO的写使能置为常有效；

利用所述先进先出FIFO的读时钟产生第二周期计数器cnt_de2，利用所述先进先出FIFO读端口的数据个数最高位产生开始读FIFO的信号fifo_rd_begin；

在可以开始读FIFO后在所述第二周期cnt_de2的第一时钟周期发出一次读请求信号rdreq，根据所述读请求信号rdreq从所述先进先出FIFO中读取数据，并将所述第二周期cnt_de2作为标识在每个读时钟周期单像素顺序输出读出的多个像素，在第二时钟周期输出行同步信号hsync、场同步信号vsync和数据使能位de，其中，读FIFO时钟为所述先进先出FIFO的写FIFO时钟的N倍，N为多像素的个数，所述读FIFO时钟和写FIFO时钟由同一个时钟锁相环PLL产生。

本实施例中，单像素转多像素模块、多像素处理模块输入端口、多像素转单像素输出端口的工作时钟等于FPGA端口输入的视频像素时钟，多像素处理模块输出端口、多像素转单像素输入端口的工作时钟等于FPGA端口输出视频的像素时钟除以多像素的个数；多像素处理模块输出端口、多像素转单像素输入端口的工作时钟使用FPGA内部时钟锁相环PLL产生；单像素转多像素模块内部没有使用FIFO或随机存取记忆体RAM缓冲，多像素处理模块使用FPGA外部双倍速率同步动态随机存储器DDR作为视频数据的缓冲，多像素转单像素模块内部使用FIFO作为跨时钟域的缓冲；多像素转单像素模块内部的缓冲FIFO的读请求信号rdreq要用FIFO的读端口的数据个数的最高位产生，保证读数据时FIFO中已经有了一部分数据；单像素转多像素模块和多像素转单像素模块输入的数据都要用相应的工作时钟打一拍，保证数据输入的稳定性；单像素转多像素模块和多像素转单像素模块输出的数据都要是和相应的工作时钟同步的寄存器存储，保证数据输出的稳定性。

本实施例的实现数字视频单像素输入输出多像素处理的装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

下面通过一个实施案例，进一步说明本发明实现数字视频单像素输入输出多像素处理的装置。

参照图2可知本发明一种实现数字视频单像素输入输出多像素处理的装置的模块框图。

本案例FPGA输入端口视频为1920*1080/60Hz，多像素个数为4，内部多像素处理模块处理图像分辨率为3840*2160/60Hz。

FPGA视频端口的单像素数据首先进入单像素转多像素模块，图像RGB数据位宽为24位。在单像素转多像素模块中，没有使用FIFO做缓冲，只用了D触发器作为缓冲，减少了延迟和资源使用。通过此模块后RGB数据位宽变为96位，由于工作时钟不变，下一级模块通过输出的数据有效信号datavalid来采集数据。本模块中的第一周期计数器cnt_de1务必用de满足时序的上升沿脉冲去赋值，其中de上升沿脉冲由以下代码实现：

de_pos<＝de_in_dly2and(not de_in_dly3)；

用cnt_de1计数器去输出满足时序要求的各个数据，其实现代码如下：

单像素转多像素模块输出的4像素宽度的数据经过多像素处理模块，经过了转换、切换、缩放、缓冲、叠加等图像处理功能，再从输出端口输出4像素宽度的数据，注意输出端口没有数据有效信号datavalid了，故工作时钟变为了输入端口的四分之一，此时钟与下一级的输入端口的工作时钟一致，都有时钟锁相环PLL产生。

多像素处理模块输出的4像素宽度的数据进入多像素转单像素模块，此模块由于输入端口和输出端口的工作时钟不一致(输入端口的工作时钟是输出端口的四分之一，都有同一个时钟锁相环PLL产生)，内部使用了FIFO做跨时钟域缓冲。此FIFO例化代码如下：

此模块中也有用输出端口时钟产生的第二周期计数器cnt_de2，其实现代码如下：

通过此计数器并借助FIFO读端口的数据个数来产生FIFO的读请求信号，其实现代码如下：

这样从FIFO中读出的数据就可以借助计数器cnt_de2顺序单像素输出，其实现代码如下：

至此，完成一种实现数字视频单像素输入输出多像素处理的方案。

本方案以输入分辨率1920*1080/60Hz，多像素个数4为例，FPGA内部单路处理视频分辨率就可以达到3840*2160/60Hz，从而可以实现对输入、输出支持混合高低分辨率视频端口。

图3示出了本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器11、存储器12、总线13及存储在存储器12上并可在处理器11上运行的计算机程序；

其中，所述处理器11，存储器12通过所述总线13完成相互间的通信；

所述处理器11执行所述计算机程序时实现上述各方法实施例所提供的方法，例如包括：将FPGA端口输入的单像素视频转换成像素时钟不变但包括数据有效位的多像素视频；对所述多像素视频进行图像预处理；将经图像预处理后的多像素视频转换为单像素视频，并将转换得到的单像素视频通过FPGA端口输出，其中，所述转换得到的单像素视频的像素时钟比经图像预处理后的多像素视频的像素时钟高。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例所提供的方法，例如包括：将FPGA端口输入的单像素视频转换成像素时钟不变但包括数据有效位的多像素视频；对所述多像素视频进行图像预处理；将经图像预处理后的多像素视频转换为单像素视频，并将转换得到的单像素视频通过FPGA端口输出，其中，所述转换得到的单像素视频的像素时钟比经图像预处理后的多像素视频的像素时钟高。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。