基于OpenCL的图像处理方法、装置、计算设备及介质

摘要

一种基于OpenCL的图像处理方法、装置、计算设备及存储介质，包括：输出通过预处理后的拉伸图像至并行处理平台；接收由所述并行处理平台处理后的增强图像；其中，并行处理平台为基于OpenCL的GPU计算设备，所述增强图像为所述并行处理平台对所述拉伸图像进行导向滤波后生成的。本申请基于OpenCL的GPU计算设备对图像进行去噪及边缘增强，并且该并行处理平台可以并行计算，其运算速度快，图像处理效果更佳。

说明书

技术领域

本申请涉及图像数据处理领域，特别涉及一种基于OpenCL的图像并行处理方法、装置、计算设备及介质。

背景技术

图像增强是数字图像处理中一个重要技术领域，由于图像采集过程中容易受外界环境的影响，例如夜晚、雾或阴雨天等，极大降低图像质量。

本申请发明人在实现本申请实施例中的技术方案的过程中，发现上述技术至少存在如下技术问题：

现阶段图像增强主要处理的问题有局部对比度增强、亮度自适应调节、有效消除光晕现象及去噪边缘处理。随着技术不断发展，采集到的图像分辨率不断提高，图像增强往往面对的是海量数据量，尤其是当图像增强处理复杂度较高时，仅依赖CPU实现任务高质量完成，存在巨大困难。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成本领域普通技术人员已知的现有技术的信息。

发明内容

鉴于以上技术问题中的至少一项，本申请提供一种基于OpenCL的图像并行处理方法、装置、计算设备及介质，基于OpenCL的GPU计算设备对图像进行去噪及边缘增强，并且该并行处理平台可以并行计算，其运算速度快，图像处理效果更佳。

根据本申请第一方面的实施例，提供一种基于OpenCL的图像处理方法，包括：

输出通过预处理后的拉伸图像至并行处理平台；

接收由所述并行处理平台处理后的增强图像；

其中，并行处理平台为基于OpenCL的GPU计算设备，所述增强图像为所述并行处理平台对所述拉伸图像进行去噪及边缘增强后生成的。

在一些实现方式中，所述预处理之前，还包括：

获取目标图像，所述目标图像中包括灰度分量、红色分量及蓝色分量，其中灰度分量、蓝色分量及红色分量的比例为2:1:1；

对目标图像进行提取转换操作，并生成灰度图像，其中，提取转换操作包括提取所述灰度分量。

在一些实现方式中，所述预处理包括：第一处理规则，该第一处理规则包括：

将所述灰度图像分成若干第一预处理图像块，其中所述第一预处理图像块中具有n*n个像素块；

获取每个所述像素块上的像素值；

当所述像素块上的像素值超过设定像素阈值时，则将该像素块上的像素值超过部分分配至另外低于所述设定像素阈值的像素块上；

当所述像素块上的像素值未超过设定像素阈值时，生成第一预处理结果图像块。

在一些实现方式中，所述预处理还包括：第二处理规则，所述第二处理规则包括：

获取所述第一预处理结果图像块的边角像素点信息，包括第一像素点信息、第二像素点信息、第三像素点信息及第四像素点信息，所述第一像素点信息包括第一像素值及第一像素点坐标值，所述第二像素点信息包括第二像素值及第二像素点坐标值，所述第三像素点信息包括第三像素值及第三像素点坐标值，所述第四像素点信息包括第四像素值及第四像素点坐标值，其中所述第一像素点坐标值的横轴坐标与所述第二像素点坐标值的横轴坐标相同，所述第一像素点坐标值的纵轴坐标与第三像素点坐标值的纵轴坐标相同，第三像素点坐标值的横轴坐标与第四像素点坐标值的横轴坐标相同；

获取参考点的参考点坐标值；

根据所述第一像素值、第二像素值、第一像素点坐标值、第二像素点坐标值、参考点坐标值，确定第一插值点的第一插值像素值；

根据第三像素值、第四像素值、第三像素点坐标值、第四像素点坐标值、参考点坐标值，确定第二插值点的第二插值像素值；

根据第一插值像素值、第二插值像素值，确定所述参考点的参考点像素值；

根据所述参考点像素值，生成第二预处理结果图像块；

根据若干所述第二预处理结果图像块，生成所述拉伸图像。

在一些实现方式中，所述并行处理平台被配置为接收所述拉伸图像及所述灰度图像，对拉伸图像、灰度图像进行导向滤波处理后输出所述增强图像。

根据本申请第二方面的实施例，提供一种基于OpenCL的图像处理装置，包括：

输出模块，用于输出通过预处理后的拉伸图像至并行处理平台；

接收模块，用于接收由所述并行处理平台处理后的增强图像；

其中，并行处理平台为基于OpenCL的GPU计算设备，所述增强图像为所述并行处理平台对所述拉伸图像进行去噪及边缘增强后生成的。

在一些实现方式中，获取模块，用于获取目标图像，所述目标图像中包括灰度分量、红色分量及蓝色分量，其中灰度分量、蓝色分量及红色分量的比例为2:1:1；

转换模块，用于对目标图像进行提取转换操作，并生成灰度图像，其中，提取转换操作包括提取所述灰度分量。

在一些实现方式中，第一处理模块，用于执行第一处理规则；

第二处理模块，用于执行第二处理规则。

根据本申请第三方面的实施例，提供一种计算设备，包括存储器和处理器；

所述储存器，用于储存计算机程序；

所述处理器，用于当执行所述计算机程序时，实现本申请第一方面的实施例中基于OpenCL的图像处理方法。

根据本申请第四方面的实施例，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现本申请第一方面的实施例中基于OpenCL的图像处理方法。

本申请具有如下技术效果：基于OpenCL的GPU计算设备对图像进行去噪及边缘增强，并且该并行处理平台可以并行计算，其运算速度快，图像处理效果更佳。

下面结合附图与实施例，对本发明进一步说明。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的基于OpenCL的图像处理方法的第一流程框图；

图2为本申请实施例的基于OpenCL的图像处理方法的第二流程框图；

图3为本申请实施例的基于OpenCL的图像处理方法的第三流程框图；

图4为本申请实施例的执行第一处理规则的流程框图；

图5为本申请实施例的第一处理规则的示例图；

图6为本申请实施例的执行第二处理规则的流程框图；

图7为本申请实施例中的基于OpenCL的图像处理装置的结构示意图；

图8为本申请实施例的计算设备的结构示意图；

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。

本申请提供的图像处理方法，可以应用于包括具有中央处理器(centralprocessing unit，CPU)和嵌入式神经网络处理器(neural-network processing unit，NPU)的电子设备，该电子设备包括但不限于相机、摄像机、智能摄像机、智能摄录机、智能移动终端(比如移动电话(mobile phone)、平板电脑、等等)、智能电视等便携式终端。

本申请提供的图像处理方法还可以应用到视频监控系统中的摄像播放设备，或者由视频监控系统中的云端服务器来实现。便携式终端的示例性实施例包括但不限于搭载I0S、Android、Microsoft或者其它操作系统的便携式终端。上述便携式终端也可以是诸如具有触敏表面(例如触控面板)的膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，上述终端也可以是具有触敏表面(例如触控面板)的台式计算机。

具体的，本申请提供的图像处理方法主要应用于手持式红外热像仪中。

现有的手持式红外热像仪一般只用CPU对图像增强算法进行处理，由于CPU的运算及处理速度有效，还要兼顾手持式红外热像仪其他模块的运算控制，会存在以下不足：一是运行时间过长导致画面帧速率低，二是算法占用了比较多的CPU资源导致分配给软件的资源不足。总而言之，采用单一CPU处理图像其运算速率慢，处理效率低，画面帧速率也会受到一定影响。

图1为本申请实施例的基于OpenCL的图像处理方法的第一流程框图，包括步骤500～600。如图1所示，根据本申请第一方面的实施例提供一种基于OpenCL的图像处理方法，包括：

在步骤500中，输出通过预处理后的拉伸图像至并行处理平台。在本申请实施例中，CPU将通过预处理后的拉伸图像输出至并行处理平台中，从而让并行处理平台对拉伸图像进行导向滤波处理，减少CPU的运算量及处理量，节省CPU的运算资源。

具体的，并行处理平台的搭建步骤为：首先，使用clGetPlatformIDs函数获取平台信息，该平台信息包括支持OpenCL平台的数量和平台的类型，一般为CPU型号或GPU型号；其次，选定一个支持OpenCL的平台，使用clGetPlatformInfo函数查询当前GPU平台支持OpenCL设备的数目，以及设备支持接口版本信息，并选定一个设备；再次，使用OpenCL接口函数clCreateContext在选定的设备上创建上下文，并使用clCreateCommandQueue函数创建用于主机端(内存和CPU)和GPU设备端交互的队列；复次，加载自己编写的运行内核并将其编译到待运行的程序中，其中包含导向滤波算法，该编译后的运行内核在上述创建好的上下文中。且该并行处理平台与CPU共同设置在手持式红外热像仪内部，当要对图像进行去噪及滤边处理时，从CPU输出图像至并行处理平台上进行导向滤波处理，处理完成后，由并行处理平台输出处理后的图像至CPU。

当拉伸图像写入OpenCL图像缓冲中时，在上下文中为运行内核分配参数，在队列中运行内核，并对拉伸图像进行滤波。在队列中运行的导向滤波算法会根据配置参数进行运算，极大加速算法的运行效率，并且在并行运算平台中仅运行导向滤波算法，即仅对拉伸图像进行去噪及边缘增强操作，进一步加速对拉伸图像的处理效率。滤波完成后生成增强图像。

其中并行处理平台可以通过参数配置GPU设备并行运算，相比于现有技术中的单一CPU的串行运算，并行处理平台的运算速度更快。且并行处理平台中OpenCL的工作组内部并行运算可以进一步加速导向滤波处理。

更进一步的，导向滤波处理具体步骤为：

接收灰度图像I及拉伸图像P。

采用积分图计算灰度图像I的第一均值参数mean

根据乘积参数IP、第一均值参数mean

其中调整参数ε为固定参数，是调整图的模糊程度与边缘检测精度的参数；

第一映射关系为：a＝(IP-mean

根据第一均值参数mean

第二映射关系为：b＝mean

根据线性相关因子a及线性相关因子b，生成第三均值参数mean

根据第三均值参数mean

第三映射关系为：Q＝mean

在步骤600中，接收由所述并行处理平台处理后的增强图像；

其中，并行处理平台为基于OpenCL的GPU计算设备，所述增强图像为所述并行处理平台对所述拉伸图像进行去噪及边缘增强后生成的。

基于OpenCL的GPU计算设备对图像进行去噪及边缘增强，并且该并行处理平台可以并行计算，其运算速度快，图像处理效果更佳。

此外，还包括步骤700，在步骤700中，对增强图像进行染色。在本实施例中，增强图像为单通道的灰度图像，通过事先定义好的伪彩色表，按照查表的方式分别对灰度值对应的RGB三个通道进行染色。

在另一些实施例中，图2为本申请实施例的基于OpenCL的图像处理方法的第二流程框图，如图2所示，所述预处理之前，还包括：步骤100～200。

在步骤100中，获取目标图像，所述目标图像中包括灰度分量、红色分量及蓝色分量，其中灰度分量、蓝色分量及红色分量的比例为2:1:1；

在步骤200中，对目标图像进行提取转换操作，并生成灰度图像，其中，提取转换操作包括提取所述灰度分量。

在本实施例中，在手持式红外热像仪中内部设置有红外探测模块，该红外探测模块中晶元阵列尺寸为384*288，也就是能获取目标图像的像素。

在另一些实施例中，图3为本申请实施例的基于OpenCL的图像处理方法的第三流程框图，图4为本申请实施例执行第一处理规则的流程框图；如图3及图4所示，包括步骤300。

所述预处理包括：第一处理规则，所述步骤300为执行第一处理规则，该第一处理规则包括：步骤310～340。

在步骤310中，将所述灰度图像分成若干第一预处理图像块，其中所述第一预处理图像块中具有n*n个像素块；

在步骤320中，获取每个所述像素块上的像素值；

在步骤330中，当所述像素块上的像素值超过设定像素阈值时，则将该像素块上的像素值超过部分分配至另外低于所述设定像素阈值的像素块上；

在步骤340中，当所述像素块上的像素值未超过设定像素阈值时，生成第一预处理结果图像块。

示例性的，图5为本申请实施例的第一处理规则的示例图，如图5所示，假设已知第一预处理图像块的像素分布为7*7。假设设定阈值为5，当图块上某一像素值的像素数为7，则该图块上的像素数的超过部分(即为2)将分配至其余低于设定阈值的像素块上。如此，第一预处理图像块执行第一处理规则后，可以使其灰度分布更为之均匀。

在另一些实施例中，图6为为本申请实施例执行第二处理规则的流程框图，如图3及图6所示，所述预处理还包括：第二处理规则，步骤400为执行第二处理规则；

所述第二处理规则包括：步骤410～460。

所述步骤410中，获取所述第一预处理结果图像块的边角像素点信息，包括第一像素点信息、第二像素点信息、第三像素点信息及第四像素点信息，所述第一像素点信息包括第一像素值及第一像素点坐标值，所述第二像素点信息包括第二像素值及第二像素点坐标值，所述第三像素点信息包括第三像素值及第三像素点坐标值，所述第四像素点信息包括第四像素值及第四像素点坐标值，其中所述第一像素点坐标值的横轴坐标与所述第二像素点坐标值的横轴坐标相同，所述第一像素点坐标值的纵轴坐标与第三像素点坐标值的纵轴坐标相同，第三像素点坐标值的横轴坐标与第四像素点坐标值的横轴坐标相同；

在本实施中，第一像素值为f(Q11)，第一像素点坐标值为(x1，y1)；第二像素值为f(Q21)，第二像素点坐标值为(x2，y1)；第三像素值为f(Q12)，第三像素点坐标值为(x1，y2)；第四像素值为f(Q22)，第四像素点坐标值为(x2，y2)。

所述步骤420中，获取参考点的参考点坐标值；

在步骤420中，参考点为在第一预处理结果图像块之中的任意一个点。参考点坐标值为(x，y)

所述步骤430中，根据所述第一像素值、第二像素值、第一像素点坐标值、第二像素点坐标值、参考点坐标值，确定第一插值点的第一插值像素值；

在本实施例中，根据公式：

其中，第一插值像素值为f(x，y1)。

所述步骤440中，根据第三像素值、第四像素值、第三像素点坐标值、第四像素点坐标值、参考点坐标值，确定第二插值点的第二插值像素值；

在本实施例中，根据公式：

其中，第二插值像素值为f(x，y2)。

所述步骤450中，根据第一插值像素值及第二插值像素值，确定所述参考点的参考点像素值；

在本实施例中，根据公式：

其中，参考点像素值为f(x，y)。

所述步骤460中，根据所述参考点像素值，生成第二预处理结果图像块；

在本实施例中，根据参考点像素值，生成第二预处理结果图像块。如此处理，能减少由图像调整大小为非整数缩放因子而导致的某些视觉失真，并降低执行第一处理规则时产生的像素割裂感。

所述步骤470中，根据若干所述第二预处理结果图像块，生成所述拉伸图像。

在另一些实施例中，所述并行处理平台被配置为接收所述拉伸图像及所述灰度图像，对拉伸图像、灰度图像进行导向滤波处理后输出所述增强图像。

图7为本申请实施例中的基于OpenCL的图像处理装置的结构示意图，如图7所示，根据本申请第二方面的实施例，提供一种基于OpenCL的图像处理装置，包括：

输出模块S5，用于输出通过预处理后的拉伸图像至并行处理平台；

接收模块S6，用于接收由所述并行处理平台处理后的增强图像；

其中，并行处理平台为基于OpenCL的GPU计算设备，所述增强图像为所述并行处理平台对所述拉伸图像进行去噪及边缘增强后生成的。

关于上述图像处理装置的具体限定可以常见本申请第一方面的实施中对于图像处理方法的限定，在此不再赘述。图像处理装置中的各个模块可以全部或部分通过软件、硬件及其组合来实现。上述各装置、各模块或者各单元可以硬件形式内嵌于或独立于计算设备中的处理器中，也可以以软件形式存储于计算设备中的存储器中，以便于处理器调用执行以上各个装置或模块对应的操作。

在另一些实施例中，获取模块S1，用于获取目标图像，所述目标图像中包括灰度分量、红色分量及蓝色分量，其中灰度分量、蓝色分量及红色分量的比例为2:1:1；

转换模块S2，用于对目标图像进行提取转换操作，并生成灰度图像，其中，提取转换操作包括提取所述灰度分量。

在另一些实施例中，第一处理模块S3，用于执行第一处理规则；

第二处理模块S4，用于执行第二处理规则。

图8为本申请实施例的计算设备的结构示意图，如图8所示，根据本申请第三方面的实施例，提供一种计算设备，包括存储器和处理器；

所述储存器，用于储存计算机程序；

所述处理器，用于当执行所述计算机程序时，实现本申请第一方面的实施例中基于OpenCL的图像处理方法。

计算设备12可以通用计算设备的形式实现。计算设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(IndustryStandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro ChannelArchitecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(VideoElectronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

计算设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性的计算机可读存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图中未显示，通常称为“硬盘驱动器”)。尽管图中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc ReadOnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc ReadOnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。

计算设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算设备12的其它模块通信。要说明的是，尽管图中未示出，可以结合计算设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

本申请的计算设备可以是服务器，也可以有限算力的终端设备。

根据本申请第四方面的实施例，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现本申请第一方面的实施例中基于OpenCL的图像处理方法。

一般来说，用于实现本申请方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM14)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。故凡是未脱离本申请技术方案的内容，依据本申请之形状、构造及原理所作的等效变化，均应涵盖于本申请的保护范围内。