一种自适应分辨率多尺度的实时视频流超分辨率系统

摘要

本发明公开了一种自适应分辨率多尺度的实时视频流超分辨率系统，包括：视频流输入模块，输入视频流控制信号和视频数据流，参数标定模块，根据输入的视频流控制信号标定视频参数；插值放大模块，所述插值放大模块内置权重查找表模块，对标定视频参数的视频流控制信号以及视频数据流进行插值；输出转换模块，完成插值后的视频数据通过输出转换模块送入显示模块，所述显示模块根据标定好的参数计算放大后的参数并输出最终视频数据。本发明采用自主设计的硬件模块进行视频流放大与输出，可以实现自适应分辨率的视频流的多尺度放大，并且硬件资源消耗少。

说明书

技术领域

本发明涉及计算机图形学技术领域，具体为一种自适应分辨率多尺度的实时视频流超分辨率系统。

背景技术

超分辨率重建是针对现有的图像采集设备获取到的低分辨率图像，通过数字信号处理获得高分辨率图像的技术。超分辨技术可以提高图像的分辨率,在不增加内存开销的前提下使更高分辨率的显示成为可能。

实时的视频流超分辨率系统区别于其他超分辨率技术的区别是:1.对超分辨率速度敏感：由于实时的视频流超分辨率系统用于放大视频流的分辨率，需要满足视频流的，实时性要求高，因此为了不影响实际的显示，超分辨率速度必须快。2.资源消耗敏感：各种复杂的应用场景希望超分辨率系统尽可能简单。3.对精度要求一般：与学术界通常研究的超分辨率不同，对超分辨率重建出的图像精度要求不高。

专利号为CN 110458756 A的中国发明专利申请提出了一种基于深度学习的模糊视频超分辨率方法及系统，该方法对运动模糊视频帧进行预处理，利用训练好模型完成超分辨率。此方案由于使用了基于深度学习的模型，复杂度高，难以实时实现。

为此我们提出一种自适应分辨率多尺度的实时视频流超分辨率系统用于解决上述问题。

发明内容

本发明的目的在于提供一种自适应分辨率多尺度的实时视频流超分辨率系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种自适应分辨率多尺度的实时视频流超分辨率系统，包括：

视频流输入模块，输入视频流控制信号和视频数据流，

参数标定模块，根据输入的视频流控制信号标定视频参数；

插值放大模块，所述插值放大模块内置权重查找表模块，对标定视频参数的视频流控制信号以及视频数据流进行插值；

输出转换模块，完成插值后的视频数据通过输出转换模块送入显示模块，所述显示模块根据标定好的参数计算放大后的参数并输出最终视频数据。

优选的，所述参数标定模块采用计数器进行标定。

优选的，所述插值放大模块还包括两个RAM模块作为数据的行缓冲，分别储存视频有效数据的奇数行和偶数行。

优选的，所述RAM模块采用双口RAM，其中写时钟域为输入视频流时钟域，读时钟域为放大后的视频流时钟域。

优选的，所述插值放大模块进行放大时采用每个周期读取4个相邻像素数据。

与现有技术相比，本发明的有益效果是：本发明采用自主设计的硬件模块进行视频流放大与输出，可以实现自适应分辨率的视频流的多尺度放大，并且硬件资源消耗少。

附图说明

图1为本发明中系统示意图；

图2为本发明中插值放大模块架构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：一种自适应分辨率多尺度的实时视频流超分辨率系统，包括：

视频流输入模块，输入视频流控制信号和视频数据流，

参数标定模块，根据输入的视频流控制信号标定视频参数；

插值放大模块，插值放大模块内置权重查找表模块，对标定视频参数的视频流控制信号以及视频数据流进行插值；

输出转换模块，完成插值后的视频数据通过输出转换模块送入显示模块，显示模块根据标定好的参数计算放大后的参数并输出最终视频数据，输出转换根据标定出的参数和放大的像素数据输出放大后的视频流。需要满足输入视频流一帧开始后输入两行数据后才开始输出放大后的视频流。

进一步的，视频参数标定是为了能适应不同的视频流参数，本发明中参数标定模块采用计数器，标定完成后开始放大。

插值放大模块架构如图2所示。本发明中使用了两块RAM作为数据的行缓冲，分别存储视频有效数据的奇数行和偶数行。为了满足同时读写数据需求，采用了双口RAM，其中写时钟域为输入视频流时钟域，读时钟域为放大后的视频流时钟域，即(放大系数)2倍频率。放大时需要每个周期读取4个相邻像素数据，本发明采用预读取寄存的方式先读取每块RAM中低地址数据并寄存，然后再读取高地址数据与寄存低地址数据一起输出的方式实现每个周期4个数据。

在放大过程中，视频流数据也在同时输入，而放大时每行输出数据依赖于两行输入数据，通常做法是采用三行行缓冲，第三行行缓存用于缓存数据输出时仍在输入的视频流数据。本发明通过约束输出与输入的时序关系，保证在视频输入时，每个像素覆盖的旧像素不会在后续放大中被使用，实现了仅用两行行缓冲完成视频流放大。

插值系数采用查找表的形式存储在片内，以放缩系数1.5为例，权重系数如下表所示：

放大时，根据权重查找表和行缓冲输出数据，插值计算出最终输出像素。

本发明整体流程如图1所示。首先根据输入的视频流控制信号标定视频参数，然后利用两行行缓冲缓存数据，每个周期输出四个相邻数据，插值模块内置权重查找表，单周期完成插值后送入显示模块，显示模块根据标定好的参数计算放大后的参数并输出最终视频数据。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。