一种采用分时互用识别红外图像和可见光图像的系统

摘要

本发明提供了一种采用分时互用识别红外图像和可见光图像的系统，所述系统至少包括：CPU、ISP以及一个普通摄像头、一个红外摄像头，其中两颗摄像头中的传感器经过分时互用接到CPU内置的ISP，CPU与DRAM连接，在分时互用过程中，ISP接收到传感器传来的图像数据以后，通过比较图像的波长信息，识别出是可见光的图像还是红外的图像，所述的ISP通过比较图像的波长信息,识别出是可见光的图像还是红外的图像，进一步包括：获取模块，获取图像数据并遍历每个像素；计算模块，计算图像的特征值；比较模块，对比两幅图像的红外特征值，识别红外图像和可见光图像。

说明书

技术领域

本发明涉及图像处理技术领域，特别涉及一种采用分时互用识别红外图像和可见光图像的系统。

背景技术

随着科技的不断发展，特别是计算机视觉技术的发展，图像处理得到了广泛的应用，举例来说，人脸识别技术中，图像处理是非常重要的，目前人脸识别技术需要用到双摄像头的硬件方案，也就是需要一颗处理器连接两个摄像头，这两颗摄像头一颗为可见光摄像头，一颗为红外摄像头。

常用的现有技术术语包括：

红外图片：指通过红外摄像头拍摄到的图像数据；

可见光图片：指通过可见光摄像头拍摄到的图像数据；

ISP：图像信号处理器(ISP)模块是一个完整的摄像机子系统，包括多种先进的图像处理技术，满足高性能摄像机的要求设计。

为了达到高质量的成像效果，我们需要用到图像信号处理器(ISP)来对原始的图像数据进行处理。目前接双摄像头的方案有：

方案1，采用带ISP的摄像头；

方案2，用一个ISP分时处理两个摄像头；

采用方案1成本会提高很多，因为目前我们的CPU已经内置了一个ISP。但采用方案2会遇到一个问题，就是ISP输出数据后无法分辨是哪个摄像头的数据。这样在应用层我们可能会把红外的数据当做可见光的数据进行处理，造成混乱。

下面将用图详细说明，如图1所示，以北京君正集成电路股份有限公司生产的x1830芯片为例，图1中是该芯片跟图像传感器(摄像头)连接的示意图，在x1830芯片(Chip)上内置了ISP，它接了一个图像传感器(CMOS Image Sensor)，这是通常的情况。

如图2所示，当采用方案1的时候，需要采用两颗带ISP的非常昂贵的摄像头，CPU中内置的ISP被浪费了。

如图3所示，当采用方案2的时候，两颗普通的摄像头经过分时互用接到CPU内置的ISP中，再输出到DRAM(内存中)。

如图4所示，采用分时互用，比如可能会第一帧输出第一个摄像头的数据，第二帧输出第二个摄像头的数据，第三帧又输出第一个摄像头的数据，第四帧输出第二帧数据，如此循环。

由于在这个过程中ISP接收到的数据并没进行区分，也就是说不管来的是什么数据都进行了同样的处理，而且在处理过程中某一帧数据可能会被丢弃，这样就导致输出的图像数据排列就不是严格的两个摄像头交替的了，这样应用层处理起来就会出现错乱。

发明内容

为了解决上述现有技术中存在的问题，本发明的目的在于：使用较低的成本实现在收到图像数据以后，能够分辨出它是可见光摄像头拍摄的数据还是红外摄像头拍摄的数据。

本方法是结合图像传感器原理，判断可见光和红外光波长的差值，单纯从图像数据就能判断出是红外或者可见光的数据，方法简单。

具体地，本发明提供一种采用分时互用识别红外图像和可见光图像的系统，所述系统至少包括：CPU、ISP以及一个普通摄像头、一个红外摄像头，其中两颗摄像头中的传感器经过分时互用接到CPU内置的ISP，CPU与DRAM连接，在分时互用过程中，ISP接收到传感器传来的图像数据以后，通过比较图像的波长信息，识别出是可见光的图像还是红外的图像。

所述的ISP通过比较图像的波长信息,识别出是可见光的图像还是红外的图像，进一步包括：

获取模块，获取图像数据并遍历每个像素；

计算模块，计算图像的特征值；

比较模块，对比两幅图像的红外特征值，识别红外图像和可见光图像。

所述计算模块，计算图像的特征值，可以采用公式1计算：首先图像中像素的集合m1：m1＝{n1,n2,....}，每个像素n，其中包含红色，绿色，蓝色三种颜色值，分别用r，g，b表示，n＝{r,g,b}，在m1中计算绿色g的平均值：

所述计算模块，计算图像的特征值，还可以按照公式2计算：设x＝r–b，因为红色r为红外图像中最大值，这个差值反映了绿色g的相对损失程度，然后再计算x的平均值：

所述的识别红外图像和可见光图像，包括：对比由两个摄像头所获取的两幅图像，第一幅图像和第二幅图像作比较，当第一幅图像的特征值大于第二幅图像的特征值时，则第一幅图像为红外图像；当第一幅图像的特征值小于第二幅图像的特征时，则第二幅图像为红外图像。

所述计算模块，计算图像的特征值还可以采用公式3计算：图片中像素的集合m1：

m1＝{n1,n2,....}，每个像素n，其中包含r，g，b三种颜色值，n＝

{r,g,b}，然后计算x，

当r>＝b>＝g成立xi＝1,

当r>＝b>＝g不成立xi＝0,其中i为正整数，

然后求xi的平均值:

所述的比较模块，对比两幅图像的红外特征值，识别红外图像和可见光图像，具体包括：

1)，在普通光照场景下，红外特征值的数值在0.9和1.0之间，图像是红外图片；

2)，在普通光照场景下，红外特征值的数值在0.4-0.6，图像是可见光图像；

3)，在其他场景下，红外特征值的数值都满足红外图像的大于可见光的图像。

所述的在普通光照场景下，红外特征值的数值优选为0.5，图像是可见光图像。

所述的分时互用是指第一帧输出普通摄像头的数据，第二帧输出红外摄像头的数据，第三帧又输出普通摄像头的数据，第四帧输出红外摄像头的数据，如此循环。

所述的图像中任一个像素的红绿蓝的三色值满足：r>b>g。

本申请的优势在于：采用本系统不用更改现有技术中过多的硬件设置，成本低廉，方法简单。使用本发明可以简单地区分出红外图像数据和可见光图像数据，不会导致应用层处理图像时出现错乱，相比现有技术成本更低。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。

图1是现有技术涉及的芯片跟图像传感器连接的示意图。

图2是现有技术采用带ISP的摄像头的方案示意图。

图3是现有技术用一个ISP分时处理两个摄像头的方案示意图。

图4是采用两颗普通摄像头经过分时互用接到CPU内置的ISP中，再输出到DRAM的示意图。

图5是本发明系统所涉及的方法的示意框图。

图6是本发明涉及的图像传感器的原理示意图。

图7是本发明涉及的一个传感器单元对某波长范围的光线敏感，多个传感器单元组成阵列，形成了图像传感器的示意图。

图8是本发明涉及的彩色光经过传感器阵列后，采集到某个点位的颜色信息的示意图。

图9是本发明可见光的摄像头和红外摄像头的区别示意图。

图10是本发明涉及的实施例中红外图像的范例。

图11是本发明涉及的实施例中可见光图像的范例。

图12是图10对应的红绿蓝图像数据的示意图。

图13是图11对应的红绿蓝图像数据的示意图。

图14是本发明系统的示意图。

具体实施方式

本申请涉及的具体实施方案包括：

如图5所示，本申请的方法的示意图，为了解决现有技术中的问题，在收到图像数据以后，通过计算，分辨出它是可见光摄像头拍摄的数据还是红外摄像头拍摄的数据。

首先，来看图像传感器的原理。如图6所示，一个传感器单元会对某波长范围的光线敏感，而多个传感器单元组成阵列，形成了图像传感器。

然后，如图7所示，阵列中的每个点经过ADC转换成数字信号，最后变成了图像数据。

可见光中包含红绿蓝三原色，像素阵列排列不同波长的敏感单元，达到检测到三原色的目的。如图8所示，彩色光经过传感器阵列后，我们就能采集到某个点位的颜色信息。

知道了可见光成像的原理以后，需要了解接的两个摄像头有什么区别。一颗是可见光的摄像头，一颗是红外摄像头，如图9所示：可见红外图像传感器和可见光传感器的主要区别就是镜头前面的那个透光膜。对于可见光摄像头镜头前有一层泛紫色的增透膜，这个膜能保证可见光大部分通过，而紫色或者红色外的不可见光区域的光线会被反射出去；而对于红外摄像头，它前面有一层红外滤光片，这个滤光片的作用于增透膜几乎正好相反，它保证了红外的不可见光大部分通过，而绿色等人眼敏感的可见光被反射出去。

从以上原理可以看出，取到的图像数据里就包含了不同波长的图像数据。

下面来比较两副真实的图像的红绿蓝信息，如图10,11所示。然后通过工具打开这两幅图，查看他们的红绿蓝图像数据，如图12,13所示。如图12所示，从00偏移量开始，第一个字节是蓝色，第二个字节是绿色，第三个字节是红色，第四个字节无用，每四个字节表示一个像素，后面再按此顺序循环组成一张图片。从图中可以看出，绿色的值普遍都是00，说明绿色光已经大部分被过滤掉了。

然后再比较图13中可见光的数据时可以发现，红绿蓝三色基本上是平衡的。

本系统采用的方法主要基本原理就是识别两幅图中绿色被过滤的程度来判断两幅图哪张是红外的，哪张是可见光的。另外根据滤光片的原理，在红绿蓝三色当中，被过滤得最多的是绿色，其次是蓝色，最少的是红色，所以图一中莫个像素的红绿蓝的三色值必须大部分都满足：

r>b>g

这个数据是经过大量测试得出的。

具体地，本发明的具体实施例的示意图，如图14所示。一种采用分时互用识别红外图像和可见光图像的系统，所述系统至少包括：CPU、ISP以及一个普通摄像头、一个红外摄像头，其中两颗摄像头中的传感器经过分时互用接到CPU内置的ISP，CPU与DRAM连接，在分时互用过程中，ISP接收到传感器传来的图像数据以后，通过比较图像的波长信息，识别出是可见光的图像还是红外的图像。

所述的ISP通过比较图像的波长信息,识别出是可见光的图像还是红外的图像，进一步包括：

获取模块，获取图像数据并遍历每个像素；

计算模块，计算图像的特征值；

比较模块，对比两幅图像的红外特征值，识别红外图像和可见光图像。

以下是计算模块中，从图像中提取特征值的计算方法：

特征值1

图片中像素的集合m1：

m1＝{n1,n2,....}

每个像素n，中包含r，g，b三种颜色值

n＝{r,g,b}

在m1中计算绿色的平均值

这个值为特征值0，记作f0

这个特征值反映了绿色的相对强弱。

经过测试发现，这个值鲁棒性不够好，因为图像数据受到环境光的影响，绝对值代表的意义不如相对值准确，所以进一步修改了计算方法：

x＝r-b

因为红色为红外图像中最大值，这个差值反映了绿色的相对损失程度，然后再计算x的平均值

这个值为特征值1，记作f1

在比较模块中，对图像p1和图像p2作比较，首先，分别计算p1和p2的特征值：p1f1,p2f1,经过大量数据测试发现，只使用特征值1就已经能很好的区分出两张图片了。也就是：

当p1f1>p2f1的时候p1图为红外图像。反之亦然。

另外，计算模块中，还可以计算红外特征值2，具体方法如下：

图片中像素的集合m1：

m1＝{n1,n2,....}

每个像素n，中包含r，g，b三种颜色值

n＝{r,g,b}

然后计算x

当r>＝b>＝g成立x＝1

当r>＝b>＝g不成立x＝0

然后求x的平均值

这个值为特征值2，记作f2

比较模块中，红外特征值：

1)测试发现在普通光照场景下，f2的值在0.9和1.0之间，这时候可以认为是红外图片；

2)测试发现在普通光照场景下，f2的值在0.5左右，这时可以认为图片是可见光图片；

3)在其他场景下，f2的值都满足红外图的大于可见光的图片。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。