一种基于光谱信息融合的泡沫图像颜色校正方法及装置

摘要

本发明公开了一种基于光谱信息融合的泡沫图像颜色校正方法，利用工业相机采集泡沫图像相机颜色数据，利用可见光光谱检测系统采集泡沫光谱信息。通过分析外界环境对图像颜色的影响，建立介质传播颜色变化模型。计算原始图像暗通道数值，求解图像的介质传播耗散量函数。融合光谱信息改进介质传播耗散函数，校正每个像素点的颜色耗散量，利用该模型还原泡沫图像的准确颜色数值。本发明对于工业现场环境光线变化频繁、空气存在水雾，造成图像模糊、颜色失真很有针对性，同时，光谱设备具有环境无依赖性，非常适用于工业现场。

说明书

技术领域

本发明属于光谱分析与计算机数字图像处理融合领域，具体涉及了一种泡沫浮选过程中 图像颜色校正方法及装置。

背景技术

常用选矿方法中，泡沫浮选是最重要的提矿方法。泡沫颜色不仅与浮选生产工况密切相 关,还反映了泡沫所含矿物种类及矿物粒子的富集程度，是浮选过程操作的重要依据。因此， 浮选泡沫颜色特征的准确提取至关重要。工业现场通过相机采集图像颜色数据，而工业相机 采集图像过程对环境依赖度过高。工业现场环境恶劣，光源易受影响，造成光线不稳定，光 照改变频繁，导致采集到的图像颜色失真。同时，现场空气中存在雾气、粉尘，影响相机成 像效果。两者共同作用，导致相机采集泡沫颜色数据不准确，影响浮选控制过程效果。因此， 研究浮选泡沫颜色特征的校正方法具有重要意义。

目前对泡沫颜色校正的方法，受限于设备和环境的影响，大多通过对比一段时间前后泡 沫颜色数据，分析变化趋势，研究环境对颜色数据的叠加影响。

包含以下两大类方法：第一类为基于空间映射的颜色校正方法，通过确定源颜色空间到 目标颜色空间的映射关系实现颜色空间转换，这类方法可以达到比较高的精度，但只有在训 练样本足够且合理的情况下才能得到较好的效果。

第二类为基于图像分析的颜色校正方法，代表性算法为直方图法等。这一类校正算法是 在研究图像本身的颜色分布基础上，依据图像色度分布特性检测图像是否偏色以及偏色的程 度，而对数字图像进行整体调整，一般使用于图像偏色检测等领域。

以上算法都旨在对大量数据分析基础上进行数据建模，没有从机理的方面分析图像颜色 变化的成因，对工业现场的偏色现象没有针对性。同时，工业相机成像过程受外界环境较大， 采集图像过程无法摆脱对现场环境的依赖，当干扰条件增多，根据颜色数据进行分析的校正 方法无法达到很好的校正效果。

分析矿物浮选工业现场环境，造成颜色不准确有两大因素：现场光源光线随时间变化， 工业相机成像受光源影响发生变化；雾气弥漫，采集图像不清晰导致颜色不准确。

发明内容

本发明提供一种不要求大量颜色数据，且校正精度高的泡沫图像颜色校正方法及装置。

为实现上述目的，本发明的技术方案如下：

一种基于光谱信息融合的泡沫图像颜色校正方法，包含步骤如下：

步骤一：光源光线固定且无雾气干扰条件下，采集色卡不同色块光谱数据和相机颜色数 据，建立基于该相机特性的光谱－相机颜色空间转换模型；

步骤二：工业现场，相机采集浮选槽内泡沫原始图像数据I(x)，上传至上位机待处理；

步骤三：利用可见光光谱系统，采集浮选槽内泡沫散点的光谱反射信息，根据步骤一中 颜色空间转换模型，将泡沫的光谱颜色信息转换相机RGB颜色空间数值表征；

步骤四：根据大气散射原理和环境光模型，建立泡沫颜色变化模型；

步骤五：取原始图像I(x)每个像素点三通道的最小值，组成最小颜色值图像，对该图像 矩阵的每个像素点进行最小滤波运算处理，得到其暗通道图像，计算介质传播耗散函数；

步骤六：利用步骤三中采集并转换到RGB空间的泡沫散点光谱颜色值，校正介质传播耗 散函数，求解图像每像素点的准确颜色耗散量；

步骤七：将准确颜色耗散量与原始泡沫图像数据代入颜色变化模型中，确定校正后的准 确图像颜色数据。

其中，步骤一中颜色空间转换模型的建立，过程包括：

步骤11：D65光源下，以标准色卡各色块中心为中点，以5*10pix为窗口大小，工业相 机采集图像RGB数据，平均后作为该色块颜色数据值rgb_n,n＝1..140。同时采集不同色块光 谱反射率k_n,其中n＝1,2...140；

步骤12：以CIE1931规定为标准，利用不同色块反射率数据，计算求得各色块的色度坐 标(x_n,y_n,z_n)，以色度坐标所在锥体颜色空间内位置，来表征泡沫的颜色分布情况。

步骤13：以色度坐标x,y,z为最小单位，建立不同色块的十项多项式模型，表达式如下：

$\mathrm{xyz}=\left(\begin{array}{c}1+x_1+y_1+z_1+x_1{y}_1+x_1{z}_1+y_1{z}_1+{x_1}^2+{y_1}^2+{z_1}^2\\ 1+x_2+y_2+z_2+x_2{y}_2+x_2{z}_2+y_2{z}_2+{x_2}^2+{y_2}^2+{z_2}^2\\ ·\\ ·\\ 1+x_n+y_n+z_n+x_n{y}_n+x_n{z}_n+y_n{z}_n+{x_n}^2+{y_n}^2+{z_n}^2\end{array}\right)---\left(1\right)$

以多项式的各项为自变量，以相机RGB颜色数据分别为因变量，表达式如下：

$r=\left(\begin{array}{c}{r}_1\\ ·\\ ·\\ r_n\end{array}\right),g=\left(\begin{array}{c}{g}_1\\ ·\\ ·\\ g_n\end{array}\right),b=\left(\begin{array}{c}{b}_1\\ ·\\ ·\\ b_n\end{array}\right)---\left(2\right)$

分别建立三个通道的多元线性回归模型，表达式如下：

$P_{\mathrm{xyz}2\mathrm{rgb}:}\left(\begin{array}{c}r=\mathrm{xyz}*e_1\\ g=\mathrm{xyz}*e_2\\ b=\mathrm{xyz}*e_3\end{array}\right),E=\{e_1,e_2,e_3\},---\left(3\right)$

E为多元回归方程的各项系数，该模型实现了色度坐标空间到相机颜色空间的转换，任 意光谱颜色信息都可以由相机颜色RGB空间表征，即rgb＝xyz*E。

其中，步骤四中建立泡沫颜色变化模型，过程包括：

步骤41：根据光线传播和颜色形成原理分析，环境对颜色的影响分为反射衰减损耗和环 境光模型两部分，结合颜色产生原理和大气散射模型，建立介质传播图像改变模型，表达式 如下：

I(x)＝S(x)e^-βd(x)+A(1-e^-βd(x))   (4)

S(x)为未受到干扰时的图像颜色，即校正后的准确图像颜色，x代表图中每个像素点，A 为现场环境大气光值，依照大气反射模型，S(x)应为大气光和场景反照率ρ的乘积，场景反 照率ρ只取决于物体对光线的物理反射性，e^-βd(x)为介质传播耗散函数；

步骤42：定义t(x)＝e^-βd(x)为介质传播耗散函数，则颜色变化模型简化为表达式：

I(x)＝S(x)t(x)+A(1-t(x))。   (5)

其中，步骤六中校正介质传播耗散函数的过程包括：

步骤61：根据暗原色先验求解原始图像的每点介质传播耗散量t₁(x)，表达式如下：

$t_1\left(x\right)=\frac{A-J^{\mathrm{dark}}}{A}---\left(6\right)$

J^dark为步骤五中得到的原始图像的暗通道图像；

步骤62：步骤三中测得的多组泡沫光谱RGB颜色数据(r_n,g_n,b_n)，作为此情况下的准确 泡沫物理颜色属性，重复步骤五，即可求各组泡沫散点处的准确耗散量，表达式如下：

$t_2\left(n\right)=\frac{J^{\mathrm{dark}}-A}{\min \left(\min (r_n,g_n,b_n)\right)-A}---\left(7\right)$

步骤63：根据介质传播函数t(x)＝e^-βd(x)，将计算得到图像所有像素点的耗散量t(x) 按升序排列，绘制一条指数曲线s1；根据此曲线，拟合求得该指数函数各项系数，表达式如 下：

$s1=e^{{\alpha }_{1}x}+{\beta }_1---\left(8\right)$

步骤64：将步骤62中求得的各组准确耗散量t₂(n)，同样按照升序排列，并拟合出准确 耗散函数，表达式如下：

$s2=e^{{\alpha }_{2}x}+{\beta }_2---\left(9\right)$

步骤65：比较两组耗散函数，将曲线s1进行扭转、移动、放大或缩小，使其无限贴近耗 散曲线s2，即将函数s1进行整体变形，将转化为函数s2的形式，校正全部s1中的耗散量， 具体过程如下：

s1、s2两边同时取对数，表达式如下：

将公式10、11变形，得到表达式如下：

使之与散点的介质传播耗散函数形式一致，则变形后公式右侧数值为校正后的全部准确 耗散量的对数，对其取指数，则新的全部耗散量qt(x)，表达式如下：

步骤66：根据步骤62中的排序顺序，将qt(x)中不同像素点耗散量值恢复原始顺序，得 到泡沫图像的所有像素点的准确耗散量矩阵t(x)。

其中，步骤七中确定校正后的准确图像颜色数据具体为：根据颜色变化模型，

I(x)＝S(x)t(x)+A(1-t(x))，已知大气光A与耗散量t(x)，可求图像的准确颜色数据,S(x)表达 式如下：

$S\left(x\right)=\frac{I\left(x\right)-A(1-t\left(x\right))}{t\left(x\right)}---\left(14\right).$

一种基于光谱信息融合的泡沫图像颜色校正装置，包括以下模块：   (17)

图像相机颜色采集模块，用于采集泡沫图像的相机RGB颜色，模块利用工业相机采集整 幅图像的RGB颜色信息，并将颜色数据传至上位机待处理；

光谱信息采集模块，用于采集图像区域范围内不同位置的散点光谱反射率信息，光谱采 集模块将待测图像分割为不同区域，利用可见光微型光谱仪，采集每个区域内的散点光谱反 射率信息；

数据处理模块，用于处理图像的相机RGB信息与光谱信息，利用建立好的模型对相机采 集的原始图像数据进行校正，输出校正后的颜色数据。

本发明将光线传播机理与光谱分析法融合，更准确的重现了颜色数据受外界影响的过程， 同时摆脱了以往对大量颜色数据的要求，提升了校正精度。

附图说明

图1为本发明装置图。

图2为本发明实施中工业相机颜色空间与光谱颜色空间的转化流程图。

图3为本发明实施中融合光谱颜色信息的颜色校正流程图。

图4为通过原图像的暗通道图像。

图5为粗糙全像素点介质耗散量曲线。

图6为散点的准确介质耗散量曲线。

具体实施方式

下面结合附图及实例，对本发明做进一步说明。

外界环境对相机采集泡沫图像颜色的影响有两点：一是受工业现场环境影响，导致光线 到泡沫表面传播过程中，光线发生散射现象，导致反射光强损失一部分，图像颜色分量受损， 传播距离越远，即景深越深，损失越大，反射光光强与景深呈反比例；二是光线传播过程中 由于环境光模型，大气粒子对自然光的散射而呈现光源性，导致图像颜色分量增加，传播距 离越长，则呈现的光源性越强。

在工业现场，光源光线不稳定，散射损失模型和环境光模型共同作用，导致相机采集到 的图像颜色数据不准确。在受影响图像中剥离这些模型的叠加作用，就可以得到泡沫本身的 准确物理颜色属性。

本发明针对外界环境造成相机采集颜色错误，融合图像的光谱信息进行建模，校正图像 颜色数据。

本实例中采用的图像颜色校正装置如图1所示，该装置包括光源1、工业相机2、直通光 纤3、可见光微型光谱仪4、色卡5和计算机6。装置安排如下：光源1选用与工业现场相同 的色温为6500K的D65光源作为标准光源；工业相机2与计算机6的usb接口连接，上传相 机采集图像数据；光纤3一端探头放置于色卡5上方，检测其光线反射情况；光纤3另一端 与光谱仪4连接，用于发送光线反射信息；光谱仪4与计算机6的usb接口连接，传输光谱 反射数据。色卡5为爱色丽公司140色色卡，作为建模和测试对象。

从功能模块角度，图像颜色校正装置包括三大部分：图像相机颜色采集模块、光谱信息 采集模块以及数据处理模块。

图像相机颜色采集模块用于采集泡沫图像的相机RGB颜色，模块利用工业相机采集整幅 图像的RGB颜色信息，并将颜色数据传至上位机待处理，主要包括工业相机。

光谱信息采集模块用于采集图像区域范围内不同位置的散点光谱反射率信息。光谱采集 模块将待测图像分割为不同区域，利用可见光微型光谱仪，采集每个区域内的散点光谱反射 率信息。主要包括光纤、可见光光谱仪。

数据处理模块用于处理图像的相机RGB信息与光谱信息，利用建立好的模型对相机采集 的原始图像数据进行校正，输出校正后的颜色数据。主要设备为计算机。

如图2、图3所示，本实施例基于光谱信息融合的图像颜色校正方法包括如下具体实施 步骤。

步骤一：.在光源稳定且无外界干扰的环境下，建立基于该相机光谱特性的光谱－相机颜 色空间转换模型P_xyz2rgb；

(1)在d65光源稳定照射情况下，利用微型可见光光谱分析仪分别测量色卡所有色块的 反射率k_n,其中n＝1,2...140；

(2)利用工业相机采集色卡图像数据，同一色块以色块中点为中心，窗口大小5*10为 范围取50个像素值，平均后作为该色卡的该色块最终颜色数据值rgb_n,n＝1..140，传输至上 位机待处理；

(3)以CIE1931规定为标准，通过140组反射率数据，计算测量点相应光谱色度坐标数 据(x_n,y_n,z_n)，该数据存在于光谱xyz颜色空间内，以色度坐标所在锥体颜色空间内位置来 表征泡沫的颜色分布情况；

(4)将相机颜色三通道分开，以色度坐标x,y,z为最小单位，分别建立十项多项式回归 模型，公式如下：

$\mathrm{xyz}=\left(\begin{array}{c}1+x_1+y_1+z_1+x_1{y}_1+x_1{z}_1+y_1{z}_1+{x_1}^2+{y_1}^2+{z_1}^2\\ 1+x_2+y_2+z_2+x_2{y}_2+x_2{z}_2+y_2{z}_2+{x_2}^2+{y_2}^2+{z_2}^2\\ ·\\ ·\\ 1+x_n+y_n+z_n+x_n{y}_n+x_n{z}_n+y_n{z}_n+{x_n}^2+{y_n}^2+{z_n}^2\end{array}\right)---\left(1\right)$

将多项式的各项作为多元线性回归的各个自变量，将对应色块相机三通道颜色数据分别 作为因变量，表达式如下：

$r=\left(\begin{array}{c}{r}_1\\ ·\\ ·\\ r_n\end{array}\right),g=\left(\begin{array}{c}{g}_1\\ ·\\ ·\\ g_n\end{array}\right),b=\left(\begin{array}{c}{b}_1\\ ·\\ ·\\ b_n\end{array}\right)---\left(2\right)$

在140组数据中，随机挑选100组，作为训练集，求解线性回归方程各项系数。表达式 如下：

$P_{\mathrm{xyz}2\mathrm{rgb}:}\left(\begin{array}{c}r=\mathrm{xyz}*e_1\\ g=\mathrm{xyz}*e_2\\ b=\mathrm{xyz}*e_3\end{array}\right),E=\{e_1,e_2,e_3\},---\left(3\right)$

用剩余40组数据，验证回归精度，完成该工业相机RGB彩色空间与光谱xyz色度坐标 颜色空间的转化过程，则任意色度坐标可以转换为相机颜色空间数值，即rgb＝xyz*E。

步骤二：工业现场环境下，工业相机采集浮选槽中泡沫图像数据，并传至上位机待处理；

步骤三：由于仪器限制，光谱仪每次只允许测量散点数据，将相机采集图像区域分为10*8 个区域，利用光谱系统的光纤探头，采集80个区域内随机某点的浮选泡沫光谱反射率信息 k_n,其中n＝1,2...80，根据说明1.3中的方法求得所有色度坐标(x_n,y_n,z_n)；

步骤四：利用步骤一中求得的转化模型P_xyz2rgb，将步骤3中求得的色度坐标转换为标准 RGB颜色数据(r_n,g_n,b_n)n＝1,2...80，表征此环境下浮选槽内80个测量散点本身的物理颜色 数值；

步骤五：建立颜色变化模型

根据分析将环境对颜色的影响分为反射衰减损耗和环境光模型两部分，结合颜色产生原 理和大气散射模型，定义介质传播图像改变模型如下：

I(x)＝S(x)e^-βd(x)+A(1-e^-βd(x))   (4)

I(x)为相机原始图像，S(x)为没受到干扰时的图像颜色，即校正后的准确图像颜色。

A为现场环境大气光。依照大气反射模型，S(x)应为大气光和场景反照率ρ的乘积。场 景反照率只取决于物体对光线的物理反射性。

e^-βd(x)为介质传播耗散函数，光线传播距离越远，则散射损耗越大，反射光强越弱，而环 境光呈现的光源特性越明显；

步骤六：求解步骤二中相机拍摄原始图像的暗通道图像及大气光A，过程包括：

(1)将原始彩色图像按R、G、B三通道分开，取每个像素点三通道中的最小值作为该 像素点的最低亮度值，组成最小亮度矩阵图像J，表达式如下：

J＝min_rgb(I^c(x,y))   (5)

其中x,y为图像中每点像素坐标，I^c为原始相机采集彩色图像；

(2)以x,y为滤波中心像素位置，对公式5中最小亮度图像J进行最小值滤波。滤波的 窗口大小选择15*15，滤波半径为7，则最小值滤波后每像素点表达式如下：

J^dark(x,y)＝min(J(x',y'))   (6)

其中x',y'是为以x,y为中心的模版区域内每一点像素。滤波后的图像J^dark即为相机 采集原始图像的暗通道图像；求解后的图像如图4所示。

(3)选出滤波后的J^dark图像数据值升序排列后，占前0.1％的像素值位置，选择原始图 像在这些位置中，RGB三通道数据中最大的一个，作为大气光值A。

步骤七：求取并校正介质传播耗散量，过程包括：

(1)定义t(x)＝e^-βd(x)为介质传播函数，则图像传播模型表达式如下：

I(x)＝S(x)t(x)+A(1-t(x))   (7)

对模型两侧进行最小滤波处理，模型变为：

min(min(I(x)))＝min(min(S(x)))t(x)+A(1-t(x))   (8)

根据暗原色先验，无雾图像的颜色三通道数值最小化处理后，其暗通道图像数值趋于0。 公式(8)左侧为原始图像的暗通道图像J^dark，右侧第一项为无干扰图像S(x)的暗通道图像， 其值趋于0，得到粗略介质传播函数t₁(x)，表达式如下：

$t_1\left(x\right)=\frac{A-J^{\mathrm{dark}}}{A}---\left(9\right)$

x表示像素的坐标，可以计算出一副图像在所有像素点上的粗略耗散量；

(2)光谱颜色信息是泡沫的固有属性，代表了准确的颜色数值。80组散点转化后光谱 颜色(r_n,g_n,b_n)即为其准确颜色数值，即(r_n,g_n,b_n)＝S_n。将散点颜色数据(r_n,g_n,b_n)代 入公式(7)，并重复步骤七(1)中操作，则可计算得到准确的80组泡沫散点的介质传播耗 散量t₂(x)，表达式如下：

$t_2\left(n\right)=\frac{J^{\mathrm{dark}}-A}{\min \left(\min (r_n,g_n,b_n)\right)-A}---\left(10\right)$

这80组耗散量代表了浮选槽不同区域内受环境影响，造成的光线损失和叠加情况；

(3)将所有像素点的耗散量t₁(x)按升序排列，绘制曲线s1，绘制出的曲线如图5所示。 根据介质传播函数t(x)＝e^-βd(x)，曲线应近似为一条与光线传播距离即景深有关的指数函数， 根据此曲线，拟合求得该指数函数各项系数，表达式如下：

$s1=e^{{\alpha }_{1}x}+{\beta }_1---\left(11\right)$

(4)将80组准确耗散量t₂(n)同样按升序排列，重复中上述过程，绘制出的曲线如图6 所示，拟合求得该函数的各项系数，表达式如下：

$s2=e^{{\alpha }_{2}x}+{\beta }_2---\left(12\right)$

(5)比较两组介质传播函数，将曲线s1进行扭转、移动、放大或缩小，变形原则为使其 无限相似于耗散曲线s2。即将函数s1进行整体变形，将其转化为函数s2的形式，具体过程如 下：

s1、s2两边同时取对数，表达式如下

$\left(\begin{array}{c}\log s1={\alpha }_{1}x+\log {\beta }_1---\left(13\right)\\ \log s2={\alpha }_{2}x+\log {\beta }_2---\left(14\right)\end{array}\right)$

将等式1两边同时变形，使其接近等式2，表达式如下：

$\frac{{\alpha }_2*(\log s1-\log {\beta }_1)}{{\alpha }_1}+\log {\beta }_2={\alpha }_{2}x+{\log \beta }_2---\left(15\right)$

使之与散点的传播耗散函数形式一致，则变形后公式右侧数值为校正后的全部准确耗散 量的对数，对其取指数，则新的全部耗散量qt(x)，表达式如下：

$\mathrm{qt}\left(x\right)=e^{\frac{{\alpha }_2*(\log s1-\log {\beta }_1)}{{\alpha }_1}+\log {\beta }_2}---\left(16\right)$

通过融合泡沫散点的光谱颜色数据，得到一副图像全部像素点的准确大气耗散量qt(x)

(6)根据步骤(3)中的排序顺序，将qt(x)中不同像素点耗散量值恢复至原始顺序，得 到泡沫图像的所有像素点的准确耗散量矩阵t(x)；

步骤八：根据图像传播影响模型，I(x)＝S(x)t(x)+A(1-t(x))，已知全像素点的介质传播 耗散量t(x),以及大气光值A，则图像所有像素点的准确颜色数据S(x)可求，表达式如下：

$S\left(x\right)=\frac{I\left(x\right)-A(1-t\left(x\right))}{t\left(x\right)}---\left(17\right)$

为了衡量模型的准确性，分别采集不同工业环境下两组图像，并分别对两组图像进行颜 色校正。将两组校正后数据分别与未受到干扰时的原图像数据相比，图像相同位置与无干扰 图像RGB数值接近。表明校正过程有效，达到了很好地效果。对比两组受到不同干扰的图像， 校正后图像相同位置RGB颜色数值相近。表示在不同干扰情况下，校正模型都可以将图像校 正至较准确水平，鲁棒性、可靠性较好。

对比以往的数据分析法推测颜色变化趋势的建模过程，本发明从光线传播方式和工厂现 场环境干扰角度，用机理建模法模拟工业现场环境因素对泡沫颜色的影响过程，建立颜色校 正方程。该方程可以求解每像素收到环境影响所发生的颜色改变，校正精度较高。同时，该 装置选用光谱设备采集图像信息，利用光谱设备对环境的无依赖性，将光线传播机理与光谱 分析法融合，更准确的求解颜色变化模型的各项参数，摆脱了以往对大量颜色数据的要求， 提升了颜色校正精度和校正效果。