变光照环境中机器视觉系统稳定亮度图像自适应获取方法

摘要

本发明提供的一种变光照环境中机器视觉系统自动获取质量稳定的标准图像方法，涉及图像处理技术领域，其目的在于解决现有的技术难以保证在大范围的变光照环境中，机器视觉系统，特别是无照明设备的机器视觉系统获取质量稳定的标准图像。获取图像质量的自动调整方法包括如下的步骤：按照预先设定的初始参数启动数字摄像机，采集一帧图像后，计算图像的象素灰度均值u；根据图像的象素灰度均值u判断是否需要进行图像质量的调整，包括过亮区调节、过暗区调节和数字摄像机指标的精确调整单元。

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及在光照变化的外界环境中，机器视觉系统，特别是没有安装照明设备的机器视觉系统，获取质量稳定的标准图像的方法。

背景技术

机器视觉系统广泛应用于半导体、机械、汽车、医药、食品等行业的工况监视、成品检验及质量控制等环节。近年来，在安全检查等其他的非工业领域，机器视觉系统也受到了日益的重视。

在大多数的工程实际应用中，机器视觉系统需要在各种复杂多变的光照环境中工作。变化的光照条件造成图像采集设备抓取的图像清晰度差、对比度偏低、质量不稳定，和图像处理部分通常要求的标准采集图像相比，有一定的质量差距。这种现象在仅依靠自然光源而缺少照明设备的无接触尺寸测量、文字识别、人脸识别等应用现场较为常见。外界环境中变化的光照给机器视觉系统带来了极大的挑战，影响了机器视觉系统的性能。有资料表明，光照变化是机器视觉系统运转时发生故障的主要原因之一。

为了确保机器视觉系统在大多数光照条件下都能正常工作，在设计过程中提高其对外界环境中变化光照的适应能力具有重要的意义。尤其对于那些缺少主动光源，单纯依靠自然光源的机器视觉系统而言，如何处理外界环境中的光照变化是一个严峻的挑战。如果忽视外界环境中变化的光照条件，由于采集到的图像质量对比度偏低，在某些情况下有的机器视觉系统将无法正常工作。

为了保证目标对象表面光照的稳定性和均匀性，设计者常常引入额外的照明设备来减弱乃至去除自然光变化对待处理对象表面光照的影响，例如LED灯等主动的照明光源。虽然采用额外的照明光源可以在一定程度上去除自然光变化的影响，但是此方法有以下的局限性。

(1)照明设备增加了机器视觉系统的整体造价。

(2)需要购置支撑装置、固定装置、供电系统，并占用一定的安装空间，增加了机器视觉系统的造价和复杂性。由于空间有限，在某些场合中无法安装照明设备。

(3)照明设备的运转增加了机器视觉系统的能量损耗。由于电池容量等储能设备的限制，在深海探测、太空开发等任务中，提供给照明设备的能量是有限的甚至无法提供给照明设备能量。此时，无法建立预先设定的对象表面的光照强度。

(4)照明设备中的某些零件是耗材，需要定期的维护和更换，例如灯泡等零件，这需要额外的维护费用。这些零件的工作状态将影响系统的工作，增加了系统发生故障的风险。其故障甚至可能导致机器视觉系统无法正常地运转。

(5)为了保证对象表面光照强度连续可调节，需要配置一定范围内发光强度连续可调和照射角度连续可调的照明设备。

(6)在一些情况下，照明设备的使用较为复杂。即使配置了发光强度和照射角度都连续可调的照明设备，为了建立对象表面符合要求的光照强度，用户必须根据外界的光照条件来手动设定照明设备的发光强度和照射角度。在某些情况下，调整过程较为繁琐。最终对象表面的光照强度受到多方面因素的影响。

由于受到造价、工作环境、能源消耗等条件的限制，某些机器视觉系统缺少照明装置，只能完全在自然光照环境中工作。大多数机器视觉系统的图像处理部分都是针对标准图像设计的。然而当光照变化较大时，图像采集装置抓取到的图像和预先设定的标准图像，在图像质量上有较大的差距。由此可能导致后继的图像处理出现较大的误差甚至出错。对于此类机器视觉系统而言，如何在变化的光照环境中(要求外界光照的强度大于一定的门限值)获取到质量稳定的标准图像，是确保机器系统正常工作的重要问题。解决这个问题的对安装有照明设备的机器视觉系统亦有积极的意义。如果在不引入照明设备的前提下，解决了变光照环境中获取标准图像的问题，就可以在某些机器视觉系统设计中去除照明装置，在保证机器视觉系统对外界光照变化的鲁棒性同时降低系统的整体造价。

目前，减弱外界光照变化对图像质量影响的主要方法是图像预处理。预处理的将采集到的图像转换为标准图像或者质量和标准图像近似的图像。图像预处理可以在一定程度上减弱外界光照的影响。大多数图像预处理方法通过调整抓取图像的对比度来改善图像的质量，例如直方图均衡化以及其他的各种改进方法。预处理有如下的缺点。

(1)相对于原始图像，增强操作带来了额外的噪声，造成了原始图像部分信息的损失。

(2)大多数情况下，图像预处理是依靠软件处理来实现的。这意味着机器视觉系统需要为预处理提供额外的处理时间和存储空间。当抓取的图像分辨率较大或者存储空间较大时，图像预处理需要的较长的处理时间和较大的存储空间。这在某些高速处理系统中是无法允许的。

(3)预处理的效果和某些参数的选取有直接关系。参数的选取和光照有直接的关系，常常需要人工干预以便获得较好的处理效果。所以当预处理自动化运行时，难以保证抓取图像增强后的效果。在抓取图像的对比度较低等情况下，预处理方法很可能失效。

除了上述的图像预处理方法，提取具有光照不变性的特征或引入一定的光照模型等方法也可减弱对象表面光照变化对采集图像质量的影响。然而这些方法仅仅局限于人脸识别、目标跟踪等某些特定的应用场所，不具有普遍意义，难以在其他的机器视觉系统中广泛地使用。

现有的技术大部分在获取图像的过程中都采取“先抓取再图像预处理”的工作模式。这种工作模式忽视了外界光照的变化，每次都以固有的参数启动采集设备抓取图像，再被动地依靠图像预处理等软件处理技术手段来改善图像的质量。在某些光照情况下，例如在较强的光照或者较暗的光照环境中，上述仅靠采集后再单纯软件处理的方法有时难以获得标准的图像。

综上所述，现有的技术难以保证在大范围的变光照环境中，机器视觉系统，特别是无照明设备的机器视觉系统获取质量稳定的标准图像。

技术内容

本发明提供一种变光照环境中机器视觉系统自动获取质量稳定的标准图像方法，其目的在于解决现有的技术难以保证在大范围的变光照环境中，机器视觉系统，特别是无照明设备的机器视觉系统获取质量稳定的标准图像，以提高机器视觉系统对光照变化的鲁棒性，特别是在不引入照明设备的情况下(要求外界光照的强度大于一定的门限值)，帮助机器视觉系统迅速地有效地获取满足质量要求(对比度等)的标准图像。

本发明的上述目的是这样实现的，结合附图说明如下：

一种变光照环境中机器视觉系统自动获取质量稳定的标准图像方法，其特征在于采用抓取图像质量的自动调整方法，具体包括如下步骤：

1)按照预先设定的初始参数启动数字摄像机，采集一帧图像后，计算图像的象素灰度均值u，计算公式为：$u=\frac{\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}f(i,j)}{\mathrm{MN}}$

其中，f(x，y)是象素点坐标(x，y)的灰度均值，u为该幅图像象素的灰度均值，M和N是表征图像尺寸大小的参数；

2)根据图像的象素灰度均值u判断是否需要进行图像质量的调整，按图像对比度等质量的要求，设定图像象素的灰度均值的期望区间为[u_min，u_max]，若采集到的图像的象素灰度均值u处于期望区间内，不需要调整机器视觉系统图像采集设备的参数，则退出图像质量的自动调整程序；

3)过亮区调节，如果图像的象素灰度均值u大于u_max，则说明图像处于过亮区，开始图像的过亮区调整，亮区调节包括按照一定的顺序选择数字摄像机的指标、指标更改、图像的象素灰度均值更新、判断是否处于过亮区。若经过数字摄像机指标的调整脱离了过亮区，则进入下一步过暗区调节；如果外界的光照太强始终无法脱离过亮区，退出整个自动调整程序；

4)过暗区调节，如果图像的象素灰度均值u小于u_min，则说明图像象素灰度均值处于过暗区，开始图像的过暗区调整，暗区调节包括按照一定的顺序选择数字摄像机的指标、指标更改、图像的象素灰度均值更新、判断是否处于过暗区，若经过调整脱离了过暗区，则进入精确调整单元；如果外界的光照太弱始终无法脱离过暗区，退出整个自动调整程序；

5)数字摄像机指标的精确调整单元，此单元包括数字摄像机的指标选择、参数求解、判断是否满足图像质量要求，首先采用在线估计的方式获取反映当前环境中光照强度的参数集合I；根据预先设定的图像质量要求，选择若干数字摄像机的指标，相应的数字摄像机参数集合U；图像的象素灰度均值u和数字摄像机的参数集合U两者间的函数关系为u＝f(U，I)。根据预先设定的图像的象素灰度均值u_d，求解数字摄像机参数集合U_d＝f^-1(u_d，I)；将求得的数字摄像机参数集合，作为最终的图像采集参数；如果以数字摄像机参数采集的图像不满足象素灰度均值的要求，则重新选择若干数字摄像机的指标，求解新的数字摄像机参数集合U_n。

本发明所提供的技术方案的积极效果是：和现有的大部分每次均抓取图像再处理的方式不同，本发明根据外界的光照情况实时地改变作为图像采集装置的数字摄像机的参数，节省了“先抓取再图像预处理”需要的软件处理时间，提高了图像增强的效率。本发明在外界环境中的光照强度近似保持不变的情况下，仅需一次调整就在可以在短时间内自动地整定机器视觉系统的相关参数，并帮助采集设备抓取到符合要求的质量稳定的标准图像。

附图说明

本发明将通过示例，参考下述附图以更进一步的阐述：

图1为本发明在变光照环境中，自动地获取质量稳定的标准图像的系统框图。

图2是本发明在变光照环境中，自动地获取质量稳定的标准图像的程序流程图。

图3是图像的象素灰度均值与数字摄像机的增益之间的函数曲线图。

图4是图像的象素灰度均值与数字摄像机的曝光时间的函数曲线图。

图5是较过亮照下，未经图像质量调整时的图像灰度直方图。

图6是较过亮照下，经图像质量自动调整时的图像灰度直方图。

图7是较暗光照下，未经图像质量调整时的图像灰度直方图。

图8是较暗光照下，经图像质量自动调整时的图像灰度直方图。

具体实施方式

本发明提供了一种变光照条件下，机器视觉系统特别是没有照明设备的机器视觉系统自动地获取质量稳定的标准图像的方法，用以解决机器视觉系统中图像整体灰度随着外界光照变化而变化的问题。以下结合附图所示实施例，进一步详细描述本发明的技术方案。

在本发明中，抓取图像质量的自动调整方法包括如下的步骤。

按照预先设定的初始参数启动数字摄像机。采集一帧图像后，计算图像的象素灰度均值u。

根据图像的象素灰度均值u判断是否需要进行图像质量的调整。倘若采集到的图像满足要求，则退出图像质量的自动调整程序。否则，开始如下的图像质量自动调整。

过亮区调节。此步骤主要是确保抓取图像的灰度值不要过大，防止图像处于过亮的状态。根据图像的象素灰度均值u判断是否需要过亮区调节。若需要过亮区调节，则根据当前光线的强度，选择相应的数字摄像机指标进行调整；否则转到过暗区调节。过亮区调整包括按照一定的顺序选择数字摄像机的指标、指标更改、图像的象素灰度均值更新、判断是否处于过亮区等步骤。若经过数字摄像机指标的调整脱离了过亮区，则进入过暗区调节。如果始终无法脱离过亮区，则说明外界的光照过强以至于图像灰度值偏大，图像的对比度不满足要求，退出整个自动调整程序。过亮区调节到此结束。

过暗区调节。由图像的象素灰度均值u判断是否需要过暗区调节。判断是否启动图像质量的过暗区调节。若需要过暗区调节，则调整数字摄像机的相应指标；否则转到精确调整单元。过暗区调整包括按照一定的顺序选择数字摄像机的指标、指标更改、图像的象素灰度均值更新、判断是否处于过暗区等步骤。若经过调整脱离了过暗区，则进入精确调整单元。如果始终无法脱离过暗区，则说明外界的光照太弱，退出整个自动调整程序。数字摄像机指标的过暗区调节到此结束。

数字摄像机指标的精确调整单元。经过此单元的操作，可以确定数字摄像机若干内部指标的精确数值。此单元包括数字摄像机的指标选择、参数求解、判断是否满足图像质量要求等步骤。首先采用在线估计的方式获取反映当前环境中光照强度的参数集合I。根据预先设定的图像质量要求，选择若干数字摄像机的指标，相应的数字摄像机参数集合U。例如增益g、曝光时间t_e等指标。图像的象素灰度均值u和数字摄像机的参数集合U两者间的函数关系为u＝f(U，I)。根据预先设定的图像的象素灰度均值u_d，求解数字摄像机参数集合U_d＝f^-1(u_d，I)。将求得的数字摄像机参数集合，作为最终的图像采集参数。如果以数字摄像机参数采集的图像不满足象素灰度均值的要求，则重新选择若干数字摄像机的指标，求解新的数字摄像机参数集合U_n。

图1为本发明在变光照环境中，自动地获取质量稳定的标准图像的系统框图。参阅附图：按照初始的参数设置启动数字摄像机采集一帧图像，计算该图像的象素灰度均值。

$u=\frac{\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}f(i,j)}{\mathrm{MN}}---\left(1\right)$

其中f(x，y)是象素点坐标(x，y)的灰度均值，u为该幅图像象素的灰度均值，M和N是表征图像尺寸大小的参数。

考虑图像对比度等质量的要求，设定图像象素的灰度均值的期望区间为[u_min，u_max]。

如果图像的象素灰度均值u处于期望区间内，说明当前图像的质量符合后继处理的要求，即采集到的图像质量和标准图像的质量相差较小。此时不需要调整机器视觉系统图像采集设备的参数，退出自动调整过程。否则进入如图2所示的过亮区调节。

过亮区调节。如果图像的象素灰度均值u大于u_max，则说明图像处于过亮区，开始图像的过亮区调整；否则转到过暗区调节。过亮区调整包括按照一定的顺序选择数字摄像机的指标、指标更改、图像的象素灰度均值更新、判断是否处于过亮区等步骤。可以调节的数字摄像机指标包括曝光时间、白平衡、黑电平、增益及Gamma校正等多个指标。

以曝光时间t_e为例，说明数字摄像机的指标调节过程。

(a)适当减少数字摄像机的曝光时间t_e

t_e＝t_e-t_d                                      (2)

其中t_d为减小曝光时间的步长。

(b)判断曝光时间是否达到预先设定的最小值t_max。若是，则说明调节曝光时间无法使图像的象素灰度均值脱离过亮区，退出曝光时间的调节，选择其他的数字摄像机指标继续调节。否则，继续下一步。

(c)计算图像的象素灰度均值。

(d)测试u是否处于期望区间[u_min，u_max]。若u处于期望区间，则说明图像的象素灰度均值脱离了过亮区，转动过暗区调节；否则转到(a)，继续调节曝光时间。

如果按照一定的顺序调节数字摄像机的指标后，仍然无法脱离过亮区，则说明外界环境中的光照过强以至于无法调整抓取图像的灰度均值到期望区间，退出整个图像质量的自动调整程序。过亮区调节到此结束。

调节数字摄像机的指标应该遵循一定的顺序。这其中要考虑数字摄像机的特性，不能没有规律地胡乱调节。合理安排数字摄像机指标的调节顺序，可以达到事半功倍的效果；否则，如果采用不恰当的顺序调节数字摄像机的指标，将延长整个图像质量的调整过程，浪费不必要的时间。在完全可以脱离过亮区的情况下，采用不恰当的指标调节顺序可能无法降低图像的象素灰度均值，导致出现断言外界光线过强无法调整图像质量的错误。

过暗区调节。由图像的象素灰度均值u判断是否需要过暗区调节。如果图像的象素灰度均值u小于u_min，则说明图像象素灰度均值处于过暗区，开始图像的过暗区调整；否则转到精确调整单元。过暗区调整包括按照一定的顺序选择数字摄像机的指标、指标更改、图像的象素灰度均值更新、判断图像的质量是否处于过暗区等步骤。待选择的数字摄像机调节指标包括曝光时间、白平衡、黑电平、增益及Gamma校正等多个指标。

如果按照一定的顺序调节数字摄像机的指标后，仍然无法使图像象素的灰度均值脱离过暗区，则说明外界环境中的光照太弱以至于无法通过调整图像采集设备的参数来抓取到满足要求的图像。退出整个图像质量的自动调整程序。过暗区调节到此结束。

和过亮区的调节类似，调节数字摄像机的指标应该遵循一定的顺序。如果采用不恰当的顺序调节数字摄像机的指标，将延长整个过暗区的调整过程，浪费不必要的时间。采用不恰当的调节顺序，甚至导致在完全可以脱离过暗区的情况下，出现断言外界光照强度太弱以至于无法调整图像质量的错误。

精确调整。经过此单元的操作，可以确定数字摄像机若干内部指标的确切数值。采用在线估计的方式求取反映当前环境中光照强度的参数集合I。根据当前环境中的光照强度和图像象素的灰度均值的期望区间[u_min，u_max]，选择若干数字摄像机的指标，构成相应的数字摄像机参数集合U。参数集合包括增益g、曝光时间t_e、白平衡w、黑电平b等指标。经过实验获知，图像的象素灰度均值u和数字摄像机的参数集合U两者满足一定的函数关系，用u＝f(U，I)来描述。图3是在不同光照情况下，图像的象素灰度均值u和数字摄像机的增益g间的函数关系，其中除增益外数字摄像机的其他指标均维持恒定。图4图像的象素灰度均值u和数字摄像机曝光时间t_e的函数关系，其中除曝光时间外，数字摄像机的其他指标均维持恒定。

由图像象素的灰度均值的期望区间求解数字摄像机参数集合U_d＝f^-1(u_d，I)。将求得的参数集合，作为最终的采集参数来设置数字摄像机。如果数字摄像机参数采集的图像仍然不满足象素灰度均值的要求，则重新选择若干数字摄像机的指标，求解新的数字摄像机参数集合U_n。

下面以数字摄像机的增益g为例说明精确调整的过程。

由图3可知，在不同光照下，两者间的曲线均分成两个区域。当增益超过一定幅度时，图像的象素灰度均值近似不变，图像的象素灰度均值和增益的曲线进入饱和区；在曲线其余的区域，图像的象素灰度均值和增益近似地满足线性关系，可以认为在这个区域内，图像的象素灰度均值u和数字摄像机的增益g两者间近似地满足如下关系

u＝kg+c    (3)

采用在线估计的方法求取当前光照强度下的未知参数k。

在一定的区间内取增益序列{g_j}(j＝1，2，...N)。采用这些增益分别启动数字摄像机，采集图像后得到图像的象素灰度均值序列{u_j}。设置如下的待优化函数T。

$T(k,g)=\underset{j=1}{\overset{N}{\Sigma }}{[({\mathrm{kg}}_j+c)-u_j]}^2---\left(4\right)$

待优化函数T取极小值的必要条件是

$\frac{\partial T}{\partial k}=\mathrm{Nc}+\underset{j=1}{\overset{N}{\Sigma }}{g}_{j}k-\underset{j=1}{\overset{N}{\Sigma }}{u}_j=0---\left(5\right)$

$\frac{\partial T}{\partial c}=\underset{j=1}{\overset{N}{\Sigma }}{g}_{j}c+\underset{j=1}{\overset{N}{\Sigma }}{g}_j^{2}k-\underset{j=1}{\overset{N}{\Sigma }}{g}_j{u}_j=0---\left(6\right)$

于是得到下列的方程组

$\left(\begin{array}{c}\mathrm{Nc}+\underset{j=1}{\overset{N}{\Sigma }}{g}_{j}k=\underset{j=1}{\overset{N}{\Sigma }}{u}_j\\ \underset{j=1}{\overset{N}{\Sigma }}{g}_{j}c+\underset{j=1}{\overset{N}{\Sigma }}{g}_j^{2}k=\underset{j=1}{\overset{N}{\Sigma }}{g}_j{u}_j\end{array}\right)---\left(7\right)$

解上述的方程组得到未知参数k、c的最小二乘估计值k_e、c_e

如果设定采集图像的象素灰度均值为u_d，则数字摄像机的增益g为

$g=\frac{u_d-c_e}{k_e}---\left(8\right)$

为了保证图像象素的灰度均值处于期望区间[u_min，u_max]，选择数字摄像机的增益g为

$g=\left(\begin{array}{ccc}\left\{g_{\min }\right\}+\left[\frac{\left[g_{\max }\right]-\left\{g_{\min }\right\}}{2}\right]& \mathrm{if}& \left[g_{\max }\right]-\left\{g_{\min }\right\}\ge 0\\ \left[g_{\max }\right]& \mathrm{if}& \left[g_{\max }\right]-\left\{g_{\min }\right\}<0\end{array}\right)---\left(9\right)$

其中[]表示向下取整运算，{}表示向上取整运算，g_min和g_max为

$g_{\max }=\frac{u_{\max }-c_e}{k_e}---\left(10\right)$

$g_{\min }=\frac{u_{\min }-c_e}{k_e}---\left(11\right)$

将求得的数字摄像机参数集合，作为最终的图像采集参数。如果以数字摄像机参数采集的图像不满足象素灰度均值的要求，则重新选择若干数字摄像机的指标，求解新的数字摄像机参数集合U_n。

在较强光照条件下，采用固定参数启动数字摄像机抓取图像的灰度直方图见图5。经过图像质量自动调整后，数字摄像机抓取图像的灰度直方图见图6。比较两个灰度直方图可知，经过图像质量的自动调整后，图像的对比度得到了改善，图像中象素的灰度分布更加均匀。

在较弱的光照条件下，采用固定参数启动数字摄像机抓取图像的灰度直方图见图7。经过图像质量的自动调整后，数字摄像机抓取图像的灰度直方图见图8。比较两幅图像的灰度直方图可知，未经图像质量自动调整而抓取的图像象素的灰度大部分集中于[0，100]的区间，灰度分布及其不均匀，对比度偏低，不利于后继处理的进行。经过图像质量的自动调整后，数字摄像机抓取图像的灰度分布均匀多了，有效的改变了图像的对比度。

上述实验结果表明，本发明在变光照条件下，可以帮助机器视觉系统特别是没有照明设备的机器视觉系统自动地获取质量稳定的标准图像，提高了机器视觉系统对光照的适应能力。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。