首页> 中国专利> 鲁棒的刮擦式图像序列还原装置

鲁棒的刮擦式图像序列还原装置

摘要

本发明提供的鲁棒的刮擦式图像序列还原装置,包括图像传感器采集阵列时序控制模块,图像传感器采集阵列,直方图阈值统计模块,数字量化模块,图像相关性计算模块,图像改变检测模块,传感器物理参数调整模块,RAM读写控制模以及RAM阵列。本发明能够使得对于不同性质的图像采集物体均能得到对比度统一性较好的帧图像,能够在采集图像的同时计算出图像重构所需要的信息,降低对后继图像重构所需求的通用处理器或者DSP的功能需求,降低系统成本,通过流水线处理方简化后继图像重构所需求的通用处理器或者DSP的处理复杂度,提高系统的处理速度。

著录项

  • 公开/公告号CN103679765A

    专利类型发明专利

  • 公开/公告日2014-03-26

    原文格式PDF

  • 申请/专利权人 成都方程式电子有限公司;

    申请/专利号CN201210345150.7

  • 发明设计人 程旭;

    申请日2012-09-18

  • 分类号G06T11/00(20060101);

  • 代理机构

  • 代理人

  • 地址 610041 四川省成都市高新天府大道南延线高新孵化园1号楼A-E-3

  • 入库时间 2023-12-17 01:10:06

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-08-26

    未缴年费专利权终止 IPC(主分类):G06T11/00 专利号:ZL2012103451507 申请日:20120918 授权公告日:20160608

    专利权的终止

  • 2020-05-29

    专利权的转移 IPC(主分类):G06T11/00 登记生效日:20200511 变更前: 变更后: 申请日:20120918

    专利申请权、专利权的转移

  • 2017-11-24

    专利权的转移 IPC(主分类):G06T11/00 登记生效日:20171106 变更前: 变更后: 申请日:20120918

    专利申请权、专利权的转移

  • 2016-06-08

    授权

    授权

  • 2014-04-23

    实质审查的生效 IPC(主分类):G06T11/00 申请日:20120918

    实质审查的生效

  • 2014-03-26

    公开

    公开

查看全部

说明书

技术领域

本发明涉及图像处理领域,尤其涉及一种鲁棒的刮擦式图像序列还原装置。

背景技术

随着电子自动化设计的高速发展,活体生物特征认证和身份识别越来越多的运用到人们的生活中,指纹认证作为在生物特征认证中具有最高可靠性和性价比,已经成为了当前生物认证的主流。与此同时,指纹采集技术也同时高速发展,一个更低成本,更小体积的传感器将会占领巨大的市场,因此具有上述优点的刮擦式指纹传感器成为当前研究的重点。刮擦式图像传感器的采集面较小,采集到的图像的分辨率较小。其采集方式为通过将大于采集面的物体在刮擦式图像传感器上按某一方向刮擦过去,刮擦式图像传感器每隔一定时间对采集面接触的物体进行图像采集,生成若干帧分辨率相同的帧图像。刮擦式指纹传感器图像采集后的指纹数据是由若干个有一定偏移量的固定大小的指纹片顺序前后连接组成,能正确的估计相邻指纹片的偏移量,就可以将刮擦式指纹传感器采集到的指纹数据拼接成一个完整的指纹。

近年来,随着公众的逐步接受和认可,刮擦式指纹传感器得到了更广泛的应用。刮擦指纹传感器因其体积小、功耗低、价格便宜的优势使其适用于手机、智能电话、PDA、PC机、或移动存储设备等场合。除了用于身份验证,它还可以替代鼠标或触摸屏,实现导航和对系统进行操作等功能。

同样,在其他领域,例如航拍和区域图像扫描等,获取的帧图像也只是原始图像的一部分,其图像获取装置也属于刮擦式图像传感器的特例,只不过不需要接触就能获取图像。

现有的大部分刮擦式图像传感器的功能局限于只输出帧图像,将帧图像重构成完整的图像的计算工作需要用通用处理器或者DSP来完成,而这种方式对于使用刮擦式图像传感器来获取整体图像而言,计算能力较好的通用处理器或者DSP的成本较高;且由于通用处理器的串行指令架构使得其处理速度要求刮擦速度较慢,这对于刮擦速度的使用方式有较大的限制。

并且现有的刮擦式图像传感器对于不同性质的图像采集物体,例如干、湿、纹理深、纹理浅等获取的帧图像对比度差异较大,这使得利用通用处理器或者DSP来完成图像重构的计算量进一步增大,更限制了整体系统的处理速度。

因此,现有的利用刮擦式图像传感器进行图像重构的系统存在速度慢、重构图像效果差,重构后的图像由于重构算法的局限性有时会有明显的图像错位、图像形变、图像信息缺失、图像信息冗余等现象。

发明内容

为了解决上述技术问题,本发明提供的鲁棒的刮擦式图像序列还原装置,包括

图像传感器采集阵列时序控制模块,提供图像传感器采集阵列所需要的时序激励,用于使图像传感器采集阵列工作;

图像传感器采集阵列,由多个电容采集单元组成,用于将每个电容采集单元的电压变化量转换成二值电容放电数字量化曲线;

直方图阈值统计模块,包括直方图积分模块和直方图阈值计算模块,所述直方图积分模块用于统计图像传感器采集阵列得到的所有二值电容放电数字量化曲线在每个像素原始数据灰度等级时进行跳变的个数,生成统计直方图;直方图阈值计算模块,用于根据直方图积分模块得到的统计直方图依据预先设定的规则得到直方图阈值参数;

数字量化模块,由直方图阈值参数矫正模块和图像灰度值计算模块构成,所述直方图阈值参数矫正模块利用直方图阈值统计模块得到的上一帧直方图阈值参数对当前帧的直方图阈值参数进行矫正得到当前帧矫正后的直方图阈值参数;所述图像灰度值计算模块用于根据当前帧矫正后的直方图阈值参数得到当前帧的数字量化后的图像灰度值以及数字量化后的图像;

图像相关性计算模块,利用数字量化模块得到的数字量化后的图像通过相关性计算及参加运算的两帧图像的偏移量计算,输出帧图像相关性矩阵、帧图像偏移量,并要求RAM读写控制模块传输和存储对应的数据;

图像改变检测模块,根据直方图阈值参数统计模块得到的直方图阈值参数和图像相关性计算模块得到的帧图像相关性矩阵及帧图像偏移量判断图像是否为有效图像以及图像是否有相对移动;

传感器物理参数调整模块,根据直方图阈值统计模块得到的直方图及直方图阈值参数实时调整图像传感器采集阵列的参考电压;

RAM读写控制模块将数字量化模块数字量化后的图像以及图像相关性计算模块得到的帧图像相关性矩阵在RAM阵列中缓存,并根据内部工作流程读取或者存储RAM阵列中的数据用于图像相关性计算和有效数据输出。

所述像素原始数据灰度等级为电容采集单元的电容放电曲线的电压达到参考电压时刻对应的放电次数;

所述直方图阈值参数包括直方图下限阈值参数LTH,直方图中限阈值参数MTH和直方图上限阈值参数HTH;

预先设定的规则为,

当yi-1≤VH×CLR且yi>VH×CLR时i的值就是C_LTH;

当yi-1≤VH×CMR且yi>VH×CMR时i的值就是C_MTH;

当yi-1≤VH×CHR且yi>VH×CHR时i的值就是C_HTH;

当yi-1≤CA1且yi>CA1时i的值就是CH;

当yi-1≤CA2且yi>CA2时i的值就是CL;

其中,N是电容采集单元总放电次数;直方图下限比例CLR、直方图中限比例CMR、直方图上限比例CHR的取值范围为0到1的小数,且CLR<CMR<CHR;直方图有效统计阈值CB小于或者等于N,CB与N均为大于0的整数,其上限值为2bitn-1,bitn为放电次数的位宽;选取直方图区域1统计阈值CA1>直方图区域1统计阈值CA2,且CA1与CA2均为大于0且不大于参与直方图统计的像素点总个数的整数;令hist(x)为一帧图像的所有二值电容放电数字量化曲线在像素原始数据灰度等级x时进行跳变的个数;i为大于0且小于或等于N的整数,且令

所述直方图阈值参数矫正模块对当前帧的直方图阈值参数进行矫正的依据为,

当上一帧矫正后的直方图下限阈值参数PF_LTH减去上一帧直方图下限阈值参数C_LTH得到的数值小于DEC,并且上一帧直方图下限阈值参数C_LTH减去上一帧矫正后的直方图下限阈值参数PF_LTH得到的数值大于INC时,当前帧矫正后的直方图下限阈值参数F_LTH为上一帧矫正后的直方图下限阈值参数PF_LTH加上INC得到的数值;

当上一帧矫正后的直方图下限阈值参数PF_LTH减去上一帧直方图下限阈值参数C_LTH得到的数值大于或者等于DEC时,当前帧矫正后的直方图下限阈值参数F_LTH为上一帧直方图下限阈值参数C_LTH的数值;

当上一帧矫正后的直方图下限阈值参数PF_LTH减去上一帧直方图下限阈值参数C_LTH得到的数值小于DEC,并且上一帧直方图下限阈值参数C_LTH减去上一帧矫正后的直方图下限阈值参数PF_LTH得到的数值小于或者等于INC时,当前帧矫正后的直方图下限阈值参数F_LTH为上一帧直方图下限阈值参数C_LTH的数值;

当上一帧矫正后的直方图下限阈值参数PF_LTH减去上一帧直方图下限阈值参数C_LTH得到的数值大于或者等于DEC时,当前帧矫正后的直方图中限阈值参数F_MTH为上一帧直方图中限阈值参数C_MTH的数值,当前帧矫正后的直方图上限阈值参数F_HTH为上一帧直方图上限阈值参数C_HTH的数值;

当上一帧矫正后的直方图下限阈值参数PF_LTH减去上一帧直方图下限阈值参数C_LTH得到的数值小于DEC时,令M1的数值为当前帧矫正后的直方图下限阈值参数F_LTH减去上一帧矫正后的直方图下限阈值参数PF_LTH再加上上一帧矫正后的直方图中限阈值参数PF_MTH的数值,M2的数值为M1加上MR的数值,M3的数值为M1减去MR的数值;H1的数值为当前帧矫正后的直方图下限阈值参数F_LTH减去上一帧矫正后的直方图下限阈值参数PF_LTH再加上上一帧矫正后的直方图上限阈值参数PF_HTH的数值,H2的数值为H1加上HR的数值,H3的数值为H1减去HR的数值;当前帧矫正后的直方图中限阈值参数F_MTH的数值为上一帧直方图中限阈值参数C_MTH与M3之中的最大值再与M2之中的最小值;当前帧矫正后的直方图上限阈值参数F_HTH的数值为上一帧直方图上限阈值参数C_HTH与H3之中的最大值再与H2之中的最小值;

其中INC为阈值增量参数,DEC为阈值减量参数,MR为中限阈值范围参数,HR为上限阈值范围参数;且四个参数根据相邻两帧图像原始直方图分布的差异情况进行设定,其范围在0~N之间。

所述图像灰度值计算模块根据当前帧矫正后的直方图阈值参数得到当前帧的图像灰度值的具体方法为:

步骤41、每一帧图像采集之前,将电容放电次数CN、量化序列QS设为0,放电等级LVL设为当前帧矫正后的直方图下限阈值参数值F_LTH,此时等值步长ST为阈值权重为WGT,量化极限数值BD根据数字量化后的图像灰度值位宽bitm确定,其值为2bitm-1,所述阈值权重WGT为大于0小于BD的整数;

步骤42、电容采集单元每次放电时,电容采集单元放电次数CN自加1;

步骤43、每次放电时,比较电容放电次数CN与放电等级LVL:

当CN小于或者等于LVL时,量化序列QS保持不变;

当CN大于LVL时,若QS大于或者等于BD,QS保持不变;

当CN大于LVL时,若QS小于BD,LVL的数值改变为其当前的数值加上ST,若改变前的LVL小于改变后的LVL或者QS等于BD减1,ST改变为其当前的数值加上QS改变为其当前的数值加上1;

当CN大于LVL时,若QS小于BD,LVL的数值改变为其当前的数字加上ST,若改变前的LVL大于或者等于改变后的LVL,LVL的数值继续改变为其当前的数值加上而ST改变为其当前的数值加上QS改变为其当前的数值加上2;

步骤44、若放电次数为n时,电容采集单元产生的电容放电曲线达到设定的翻转点电压,此时的图像灰度值GREY就是量化序列QS在电容放电次数CN=n时的数值。

所述相关性的计算对当前的相关性矩阵做横向域或纵向域的线性处理,求得新的相关性矩阵,其具体的工作方式如下:

当当前的相关性矩阵值越小相关性越大时,线性处理在横向域的计算公式为:

cor_new(i,j)=cor(i,j)+(cor_old_max×crag)×|i-old_offset_w|

在纵向域的计算公式为:

cor_new(i,j)=cor(i,j)+(cor_old_max×crag)×|j-old_offset_h|

当当前的相关性矩阵值越大相关性越大时,线性处理在横向域的计算公式为:

cor_new(i,j)=cor(i,j)-(cor_old_max×crag)×|i-old_offset_w|

在纵向域的计算公式为:

cor_new(i,j)=cor(i,j)-(cor_old_max×crag)×|j-old_offset_h|

其中cor_new为线性处理后新的相关性矩阵,cor为当前的相关性矩阵,cor_old_max为上一帧的相关性矩阵的最大值,i为当前对应的横坐标,j为当前对应的纵坐标,old_offset_w表示上一帧水平方向的偏移量,old_offset_h表示上一帧垂直方向的偏移量,Crag为线性变化因子,其值为0到1的任意数。

所述参加运算的两帧图像的偏移量计算的具体操作流程为:

S61:根据新的相关性矩阵,获取初步偏移量:新相关性矩阵的极大值或极小值对应坐标为初步偏移量,当新的相关性矩阵值越小相关性越大时,其极小值对应坐标为初步偏移量;当新的相关性矩阵值越大相关性越大时,其极大值对应坐标为初步偏移量;所述新的相关性矩阵的极大值或极小值和其中心坐标对应的值相等时,以中心坐标值代替相应极大值或极小值的坐标;

S62:速度跟踪,求取最终偏移量,其具体的工作方式如下:

S621:根据初步偏移量和上一帧的偏移量,求取初步速度,所述初步速度为初步偏移量与上一帧的偏移量之差;

S622:根据初步速度与上一帧速度的差值和上一帧的速度权重,求取当前的速度权重,所述当前的速度权重weight是在上一帧的速度权重weight_old基础上,根据初步速度new_velocity与上一帧速度old_velocity的差值反比增长,其计算公式为:weight=weight_old-|new_velocity-old_velocity|;所述速度权重的初始值包括水平方向速度权重的初始值或垂直方向速度权重的初始值;所述水平方向速度权重的初始值为0到图像宽度范围内的数,当水平方向当前的速度权重小于0时,用水平方向速度权重的初始值替换水平方向当前的速度权重;所述垂直方向速度权重的初始值为0到图像高度范围内的数,当垂直方向当前的速度权重小于0时,用垂直方向速度权重的初始值替换垂直方向当前的速度权重;

S623:由初步速度、初步速度与上一帧速度的差值和当前的速度权重,获取当前的最终跟踪速度,所述当前的最终跟踪速度velocity是根据当前的速度权重、初步速度以及上一帧的偏移量数据求得的,其计算公式为:velocity=new_velocity+(old_velocity-new_velocity)×weight;

S624:根据当前的最终跟踪速度和上一帧的偏移量,求取经速度跟踪后当前的最终偏移量,所述经速度跟踪后当前的最终偏移量为上一帧的偏移量与当前的最终跟踪速度之和;所述当前的最终偏移量的范围在上一帧求得的开窗范围内;

S63:根据当前的偏移量数据,求取下一帧相关性计算的开窗大小,所述下一帧相关性计算的开窗大小上下左右分别对应:up、down、left、right,并遵循up、down、left、right组成的区域不能超过相关性矩阵的边界的规定;

up、down满足以下计算公式:

up=offset_h+velocity_h+weight_h

down=offset_h+velocity_h-weight_h

其中velocity_h为垂直方向的最终跟踪速度,offset_h为经速度跟踪后垂直方向的最终偏移量,weight_h为垂直方向的速度权重;

left、right满足以下计算公式:

left=offset_w+velocity_w-weight_w

right=offset_w+velocity_w+weight_w

其中velocity_w为水平方向的最终跟踪速度,offset_w为经速度跟踪后水平方向的最终偏移量,weight_w为水平方向的速度权重;

所述速度为水平方向速度或垂直方向速度;所述偏移量为水平方向偏移量或垂直方向偏移量;所述速度权重为水平方向速度权重或垂直方向速度权重;所述偏移量数据求得时,如果当前帧检测到有效采集对象,并且当前相关性矩阵的最大值大于一个阈值时,执行上述操作,否则所有的偏移量数据清零;若执行上述操作过程中,当物体相对于采集窗口未发生移动时,速度权重始终为0;所述阈值的范围为0到选定的覆盖区域数据的个数乘以图像像素最大值的积的平方内的任意数。

所述图像改变检测模块对图像是否有效的判定方法如下:

S71当CH不大于C_LTH时,认为图像有效,否则进入步骤S71,

S72当CL大于C_HTH时,认为图像无效,否则进入步骤S73,

S73当条件1满足时进入步骤S74,当条件2满足时进入步骤S75,

S74当CH不大于C_MTH时,且difmax大于c_conthre1时,认为图像有效,否则进入步骤S76,

S75当CH不大于C_MTH时,且difmax小于c_conthre1时,认为图像有效,否则进入步骤S77,

S76当CL大于C_MTH时,且difmax小于c_conthre2时,认为图像无效,否则进入步骤S78,

S77当CL大于C_MTH时,且difmax大于c_conthre2时,认为图像无效,否则进入步骤S78,

S78认为图像无效;

图像是否有相对移动的判定方法如下:

当图像判定为有效图像后,判断offset若大于0,则认为图像存在相对移动;

所述difmax为图像改变参数,

条件1为当参与计算的两帧图像相关性的值越大表示相似度越小时,此时difmax为相关性矩阵cor中的最大值,

条件2为当参与计算的两帧图像相关性的值越小表示相似度越小时,此时difmax为相关性矩阵cor中的最小值,

设c_conthre1为图像改变相关性阈值一,c_conthre2为图像改变相关性阈值二,

若干组两帧参与相关性计算的有相对位移的有效图像得到的若干个difmax,在条件1满足时,若干个difmax的最小值为c_conthre1;在条件2满足时,若干个difmax最大值为c_conthre1,

若干组两帧参与相关性计算的无相对位移的有效图像得到的若干个difmax,在条件1满足时,若干个difmax最大值为c_conthre2;在条件2满足时,若干个difmax最小值为c_conthre2。

所述传感器物理参数调整模块的具体工作方式如下:

当有效图像被确定时,判断采集对象的类型,所述采集对象类型包括采集对象与图像传感器间的介质使得电容放电过快、采集对象与图像传感器间的介质使得电容放电过慢和采集对象与图像传感器间的介质使得电容放电正常三种情况;

若C_LTH小于G1,表示当前图像的采集对象与图像传感器间的介质使得电容放电过快,表示需要对传感器进行参考电压阈值调整,参考电压阈值的选取规则为:

若0≤HL_DIF<HL(1),则选择参考电压阈值Z(1);

若HL(q1-1)≤HL_DIF<HL(q1),则选择参考电压阈值Z(q1);

其中HL(1)为HL_DIF的第一级参考值,HL(q1)为HL_DIF的第q1级参考值,Z(1)为C_LTH小于G1时第一个可选择的参考电压阈值,Z(q1)为C_LTH小于G1时第q1个可选择的参考电压阈值,m为序号,1<q1≤m,1<m<NUM,NUM为时参考电压阈值可选择的总个数;所述Z与HL取值均为统计值,且HL(1)<HL(2)<…<HL(NUM-1)Z(1)<Z(2)<Z(3)<……<Z(NUM-1)<Z(NUM);

若C_LTH大于G2,表示当前图像的采集对象与图像传感器间的介质使得电容放电过慢,表示需要对传感器进行参考电压阈值调整,参考电压阈值的选取规则为:

若0≤hist_num<sum(1),选择参考电压阈值V(1);

若sum(q2-1)≤hist_num<sum(q2),则选择参考电压阈值V(q2);

其中sum(1)为hist_num的第一级参考值,sum(q2)为hist_num的第q2级参考值,V(1)为C_LTH大于G2时第一个可选择的参考电压阈值,V(q2)为C_LTH大于G2时第q2个可选择的参考电压阈值,1<q2≤VAL,VAL为C_LTH大于G2时参考电压阈值可选择的总个数,所述V与sum取值均为统计值;且sum(1)<sum(2)<…<sum(VAL-1),V(1)>V(2)>…>V(VAL);

所述n1为若干帧采集对象与图像传感器间的介质使得电容放电过慢情况下图像统计的非背景图像灰度最小值;所述n2为若干帧采集对象与图像传感器间的介质使得电容放电过慢情况下图像统计的非背景图像灰度最大值;

若C_LTH大于G1且小于G2,表示当前图像的采集对象与图像传感器间的介质使得电容放电正常;

其中G1,G2为可调整的灰度比较值,其获取方法为:

若干帧采集对象与图像传感器间的介质使得电容放电过快情况下图像统计的C_LTH的最大值为G1;

若干帧采集对象与图像传感器间的介质使得电容放电过慢情况下图像统计的C_LTH的最小值为G2。

RAM阵列,包括

COR RAM,用于存放帧图像相关性矩阵;

模板帧RAM,用于存放当前参与相关性计算的模板帧图像;

当前帧RAM,用于存放当前参与相关性计算的当前帧采集到的数字量化后的图像;

输入帧RAM,用于存放下当前帧的下一帧数字量化后的图像;

输出帧RAM,用于存放可以输出的参与重构的图像。

本发明能够自动调整刮擦式图像传感器对于不同性质的图像采集对象,例如干、湿、纹理深、纹理浅等获取的帧图像对比度差异较大的缺陷,使得对于不同性质的图像采集物体均能得到对比度统一性较好的帧图像。

能够在采集图像的同时计算出图像重构所需要的信息,大大降低对后继图像重构所需求的通用处理器或者DSP的功能需求,降低系统成本。

通过流水线处理方式在采集图像的同时高速计算出图像重构所需要的信息,极大简化后继图像重构所需求的通用处理器或者DSP的处理复杂度,使得其处理时间变短,提高系统的处理速度,从而使得对于刮擦速度的限制大大降低。

能够提供更准确的图像重构所需要的信息,使得图像重构后更接近与真实的图像。

附图说明

图1为本发明的结构示意图;

图2为图像传感器采集阵列时序控制模块产生实现示意图;

图3为图像传感器采集阵列上每一个电容采集单元每次放电产生的电容放电曲线图;

图4为初始值为0时的二值电容放电数字量化曲线图;

图5为一帧图像像素原始数据灰度等级对应的像素点个数统计直方图;

图6为直方图阈值统计模块的架构图;

图7为数字量化模块的架构图;

图8为基于流水线架构的每一帧数字量化后的图像灰度值计算顺序示意图;

图9为当前帧矫正后的直方图下限阈值参数的计算方法示意图;

图10为当前帧矫正后的直方图上、中限阈值参数的计算方法示意图;

图11为图像相关性计算模块的工作流程图;

图12为图像相关性计算模块的图像拼接关系图;

图13为图像相关性计算模块的两帧图像覆盖情况对应坐标示意图;

图14为传感器表面干净且无手指放在传感器上进行采集时的采集图像及其直方图;

图15为传感器表面存在介质残留且没有手指放在传感器上进行采集时的采集图像及其直方图;

图16为传感器物理参数配置使得参考电压过高时,手指放在传感器上进行采集时的采集图像及其直方图;

图17为传感器物理参数配置使得参考电压过低时,手指放在传感器上进行采集时的采集图像及其直方图;

图18为同一放电曲线不同参考电压对二值化电容放电曲线图及其采集到的图像;

图19为本发明的帧图像采集序列示意图;

图20为当前次相关性计算完成后没有更新锁帧时RAM阵列的变更方法示意图;

图21为当前次相关性计算完成后更新锁帧时RAM阵列的变更方法示意图;

具体实施方式

下面结合附图来说明本发明的优选实施例,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

如图1所示,本发明提供的鲁棒的刮擦式图像序列还原装置,包括图像传感器采集阵列时序控制模块1,图像传感器采集阵列2,直方图阈值统计模块3,数字量化模块4,RAM读写控制模块5,RAM阵列6,图像相关性计算模块7,图像改变检查模块8,传感器物理参数调整模块9。

图像传感器采集阵列时序控制模块1提供图像传感器采集阵列所需要的时序激励,用于使图像传感器采集阵列工作。

图像传感器采集阵列时序控制模块1产生实现如图2所示,在N次采集脉冲时序产生前,先产生一次复位脉冲。图像传感器采集阵列2根据时序激励提供原始图像信号。

图像传感器采集阵列2由多个电容采集单元组成,其工作方式如下:

当对应的每一个电容采集单元接收到一次采集脉冲时,该电容采集单元产生一次电容放电,电容两极间电荷中和一部分,电容两极间电压降低,通过比较器比较该电容两极间的电压是否小于预先设定的一固定电压的参考电压,当小于参考电压时,比较器输出端电平发生逻辑翻转,例如从0变为1。

当接收到N次采集脉冲后,通过复位脉冲使采集单元信号参数重置。例如电容采集单元电容放电N次后,通过复位脉冲将电容进行充电,使两极间的电压又回到初始值。

图像传感器采集阵列2上每一个电容采集单元每次放电产生的电容放电曲线图如图3所示,N为放电的总次数,当放电次数为n时电压达到预先设定的参考电压,其对应的二值电容放电数字量化曲线如图4所示(电容放电数字量化初始值为0)。

设图像传感器采集阵列2上有m个电容采集单元,则一帧图像采集完毕时一共会产生m个二值电容放电数字量化曲线。而电容采集阵列上有k个电容采集单元同时放电,则同时有k个二值电容放电数字量化曲线在此时刻有效。

直方图阈值统计模块3工作方式如下:

直方图阈值统计模块3的架构如图6,由直方图积分模块31和直方图阈值计算模块32构成

图像传感器采集阵列2上的每一个电容采集单元对应采集的图像的一个像素点,每一个电容采集单元对应一个二值电容放电数字量化曲线。如图4所示,图像传感器采集阵列2上单个电容采集单元的原始采集图像数据为n,也就是电容放电曲线的电压达到预先设定的参考电压时刻对应的放电次数。将这个值认为是单个电容采集单元对应的像素点的原始数据灰度等级,作为直方图统计的数据源。而N是电容采集单元总放电次数,对应像素点原始数据灰度等级的最大值。

直方图积分模块31将所有二值电容放电数字量化曲线在每次采集脉冲时进行二值电容放电曲线数值加权,参考图5,直方图统计一帧图像的所有二值电容放电数字量化曲线在像素原始数据灰度等级x时进行跳变的个数hist(x)。

每次采集脉冲时得到的二值电容放电曲线数值加权值为直方图从0到采集脉冲对应的放电次数n的累加值

直方图阈值计算模块32根据直方图积分模块31对直方图的数值加权结果求出直方图阈值参数。

首先对直方图阈值参数命名说明如下:

直方图下限比例为CLR、直方图中限比例为CMR、直方图上限比例为CHR、直方图下限阈值为C_LTH、直方图中限阈值为C_MTH、直方图上限阈值为C_HTH、直方图有效统计阈值为CB、直方图区域1统计阈值为CA1、直方图区域1统计阈值为CA2、直方图区域1判断阈值为CH、直方图区域2判断阈值为CL。

则直方图阈值计算模块32对一帧图像的直方图阈值参数求解方法如下:

选定CLR、CMR、CHR的取值范围为0到1的小数,CLR<CMR<CHR;CB小于或者等于N,CB与N均为大于0的整数,其上限范围根据数据放电次数的位宽bitn确定,其上限值为2bitn-1;CA1>CA2,且CA1与CA2均为大于0的整数,且不大于参与直方图统计的像素点总个数。例如可以选取CLR=0.1,CMR=0.5,CHR=0.9;数据位宽为8时,CB=127;参与直方图统计的像素点总个数为1024时,CA1为100,CA2为64;令有效直方图累加值有效直方图统计值其中i为大于0且小于或者等于N的整数;

当yi-1≤VH×CLR且yi>VH×CLR时i的值就是C_LTH;

当yi-1≤VH×CMR且yi>VH×CMR时i的值就是C_MTH;

当yi-1≤VH×CHR且yi>VH×CHR时i的值就是C_HTH;

当yi-1≤CA1且yi>CA1时i的值就是CH;

当yi-1≤CA2且yi>CA2时i的值就是CL。

下一帧图像直方图阈值统计时,重复以上步骤。

数字量化模块4由直方图阈值参数矫正模块41和图像灰度值计算模块42构成,如图7所示,其中采集脉冲用于统计电容放电次数,二值化电容放电数字量化曲线用于数字量化后的图像灰度值采样。

基于流水线架构的每一帧数字量化后的图像灰度值计算顺序如图8,也就是利用矫正后的上一帧直方图统计的阈值参数来计算当前帧的数字量化后的图像灰度值,即得到数字量化后的图像。

1、直方图阈值参数矫正模块41

对阈值参数命名如下:上一帧矫正后的直方图下限阈值参数为PF_LTH、上一帧矫正后的直方图下限阈值参数为PF_MTH、上一帧矫正后的直方图下限阈值参数为PF_HTH、上一帧直方图下限阈值参数为C_LTH、上一帧直方图中限阈值参数为C_MTH、上一帧直方图上限阈值参数为C_HTH、当前帧矫正后的直方图下限阈值参数为F_LTH、当前帧矫正后的直方图中限阈值参数为F_MTH、当前帧矫正后的直方图上限阈值参数为F_HTH、阈值增量参数为INC、阈值减量参数为DEC、中限阈值范围参数为MR、上限阈值范围参数为HR。

其中阈值增量参数INC、阈值减量参数DEC、中限阈值范围参数MR、上限阈值范围参数HR这四个参数根据相邻两帧图像原始直方图分布的差异情况进行设定,当相邻两帧图像原始直方图差异大时,四个参数偏大;当相邻两帧图像直方图差异小时,四个参数偏小。其范围在0~N之间。

(1)直方图阈值参数矫正模块41对当前帧矫正后的直方图下限阈值参数(F_LTH)的计算方法如下(参照图9):

如果PF_LTH减去C_LTH得到的数值小于DEC,同时C_LTH减去PF_LTH得到的数值大于INC,F_LTH为PF_LTH加上INC得到的数值。

如果PF_LTH减去C_LTH得到的数值大于或者等于DEC,F_LTH为C_LTH的数值。如果PF_LTH减去C_LTH得到的数值小于DEC,同时C_LTH减去PF_LTH得到的数值小于或者等于INC,F_LTH为C_LTH的数值。

(2)直方图阈值参数矫正模块41对当前帧矫正后的直方图上、中限阈值参数(F_MTH、F_HTH)的计算方法下(参照图10):

如果PF_LTH减去C_LTH得到的数值大于或者等于DEC时,F_MTH为C_MTH的数值,F_HTH为C_HTH的数值。

当PF_LTH减去C_LTH得到的数值小于DEC时,令

M1的数值为F_LTH减去PF_LTH再加上PF_MTH的数值,M2的数值为M1加上MR的数值,M3的数值为M1减去MR的数值;H1的数值为F_LTH减去PF_LTH再加上PF_HTH的数值,H2的数值为H1加上HR的数值,H3的数值为H1减去HR的数值;

则F_MTH的数值为C_MTH与M3之中的最大值再与M2之中的最小值;F_HTH的数值为C_HTH与H3之中的最大值再与H2之中的最小值。

2、图像灰度值计算模块42

对图像灰度计算参数命名如下:电容放电次数为CN、电容放电总次数为N、放电等级为LVL、数字量化后的图像灰度值为GREY、等值步长为ST、阈值权重为WGT、量化序列为QS、量化极限数值为BD。

数字量化后的图像灰度值计算方法和步骤如下:

步骤1、每一帧图像采集之前,电容放电次数CN、量化序列QS初始化为0,放电等级LVL初始化为F_LTH,等值步长ST初始化为,阈值权重为WGT,阈值权重为WGT为大于0和小于BD的整数,量化极限数值BD根据数字量化后的图像灰度值位宽bitm确定,其值为2bitm-1,例如8位灰度图时为255,4位灰度图时为15等等。

步骤2、当一帧图像开始由图像传感器采集阵列2采集时,每一个电容采集单元采集脉冲为1bit数字信号,每次采集脉冲由无效变为有效时(例:假设0为无效,则1为有效),认为电容采集单元的电容进行了一次放电,电容放电次数CN加1。

步骤3、每次放电时,比较电容放电次数CN与放电等级LVL:

当CN小于或者等于LVL时,量化序列QS保持不变;

当CN大于LVL时,若QS大于或者等于BD,QS保持不变;

当CN大于LVL时,若QS小于BD,LVL的数值改变为其当前的数值加上ST,若改变前的LVL小于改变后的LVL或者QS等于BD减1,ST改变为其当前的数值加上QS改变为其当前的数值加上1;

当CN大于LVL时,若QS小于BD,LVL的数值改变为其当前的数字加上ST,若改变前的LVL大于或者等于改变后的LVL,LVL的数值继续改变为其当前的数值加上而ST改变为其当前的数值加上QS改变为其当前的数值加上2;

步骤4、当图像传感器采集阵列2上某一个电容采集单元的电容在第n次放电后电压达到预先设定的参考电压时,也就是二值化电容放电数字量化曲线发生改变时(参考图4),此时的数字量化后的图像灰度值GREY就是量化序列QS在电容放电次数CN=n时的数值,也就是通过二值化电容放电数字量化曲线的跳变沿采样QS而得到数字量化后的图像灰度值,当二值化电容放电数字量化曲线没有出现逻辑翻转时,数字量化后的图像灰度值为量化极限数值BD。

当此帧图像采集完毕后再开始下一帧图像采集时,重复以上步骤。

图像传感器采集阵列2的每一个电容采集单元与图像的物理像素分布一一对应。图像采集时,当电容采集阵列同时有k个电容采集单元在放电时,产生k个二值电容放电数字量化曲线,每个二值电容放电数字量化曲线在数值改变时,由上述方法产生其对应的采集阵列的图像像素点的灰度值,这种ASIC结构可以同时产生若干个像素点的灰度值,具有高效的处理效果。

图像相关性计算模块7利用数字量化后的图像进行实时图像相关性计算,并输出帧图像相关性矩阵、帧图像偏移量,并根据其计算流程要求RAM读写控制模块传输和存储对应的数据。

图像相关性计算的方法很多,例如用两帧参与计算的数字量化后图像的选定覆盖区域的均方差或者数学期望等判断两帧图像选定覆盖区域相似度的方法(见教科书)。两帧参与计算的数字量化后图像的不同覆盖方式对于其所有覆盖方式产生的相关性矩阵中对应的坐标点如图13所示,而其对应的坐标点的数值为在这种覆盖方式下的两帧参与计算的数字量化后图像的相关性,两帧图像偏移量,由垂直方向偏移量和水平方向偏移量共同确定。

图像相关性计算模块7的功能包括相关性的计算及参加运算的两帧图像的偏移量计算,如图11所示,在原有的速度跟踪机制上,引入了速度权重和线性处理相关性矩阵。此方法得到的两帧间的相关性可靠性高,且因为搜索范围小,大大的提高了计算速度,在采集的原始图像效果不好的时候,可以根据此速度跟踪,更真实的还原图像。

相关性计算为对当前的相关性矩阵做线性处理,求得新的相关性矩阵。

新的相关性矩阵是根据当前的相关性矩阵、上一帧的偏移量和上一帧的相关性矩阵的最大值,对当前的相关性矩阵在横向域或纵向域上做线性处理:

当当前的相关性矩阵值越小相关性越大时,其线性处理在横向域的计算公式为:

cor_new(i,j)=cor(i,j)+(cor_old_max×crag)×|i-old_offset_w|

当当前的相关性矩阵值越大相关性越大时,其线性处理在横向域的计算公式为:

cor_new(i,j)=cor(i,j)-(cor_old_max×crag)×|i-old_offset_w|

其中cor_new为线性处理后新的相关性矩阵,cor为当前的相关性矩阵,cor_old_max为上一帧的相关性矩阵的最大值,i为当前对应的横坐标,j为当前对应的纵坐标,old_offset_w表示上一帧水平方向的偏移量,Crag为线性变化因子,其值为0到1的任意数,当Crag为0时,线性处理后新的相关性矩阵等于当前的相关性矩阵;Crag取值越大,线性处理后新的相关性矩阵值以上一帧水平方向的偏移量为中心往水平方向两边向相关性越小的数值域方向变化得越剧烈。

当相关性矩阵值越小相关性越大时,其线性处理在纵向域的计算公式为:

cor_new(i,j)=cor(i,j)+(cor_old_max×crag)×|j-old_offset_h|

当相关性矩阵值越大相关性越大时,其线性处理在纵向域的计算公式为:

cor_new(i,j)=cor(i,j)-(cor_old_max×crag)×|j-old_offset_h|

其中cor_new为线性处理后新的相关性矩阵,cor为当前的相关性矩阵,cor_old_max为上一帧的相关性矩阵的最大值,i为当前对应的横坐标,j为当前对应的纵坐标,old_offset_h表示上一帧垂直方向的偏移量,Crag为线性变化因子,其值为0到1的任意数,当Crag为0时,线性处理后新的相关性矩阵等于当前的相关性矩阵;Crag取值越大,线性处理后新的相关性矩阵值以上一帧垂直方向的偏移量为中心往垂直方向两边向相关性越小的数值域方向变化得越剧烈。

以上一帧的偏移量对应的坐标为中心,根据上一帧的相关性矩阵的最大值设定一个步长,向横向域或纵向域两侧递增。该功能为一个可选性功能,在横向域或纵向域上做了微调跟踪,使拼接效果更佳。

参加运算的两帧图像的偏移量计算的具体操作流程为:

S61:根据新的相关性矩阵,获取初步偏移量。

搜索新的相关性矩阵的极大值或极小值,找出的极大值或极小值对应坐标为初步偏移量,当新的相关性矩阵值越小相关性越大时,其极小值对应坐标为初步偏移量;当新的相关性矩阵值越大相关性越大时,其极大值对应坐标为初步偏移量,本实施例中初步偏移量包括水平方向偏移量和垂直方向偏移量。根据求相关性算法不同,两帧的偏移对应其极大值或其极小值的坐标。

新的相关性矩阵的极大值或极小值和其中心坐标对应的值相等时,以中心坐标值代替相应极大值或极小值的坐标,即中心偏移,此时中心坐标即为初步偏移量,中心偏移优先考虑。

S62:速度跟踪,求取最终偏移量。其具体工作方式如下:

S621:根据初步偏移量和上一帧的偏移量,求取初步速度:

初步速度为初步偏移量与上一帧的偏移量之差,其计算公式为:

new_velocity=new_offset-old_offset

其中new_velocity表示初步速度,new_offset表示初步偏移量,old_offset表示上一帧的偏移量;上述公式中初速度为水平方向初速度或垂直方向初速度,初步偏移量为水平方向初步偏移量或垂直方向初步偏移量,上一帧的偏移量为上一帧水平方向的偏移量或上一帧垂直方向的偏移量。

S622:根据初步速度与上一帧速度的差值和上一帧的速度权重,求取当前的速度权重;

速度权重表示在计算当前两帧偏移量数据的过程中,基于速度的重要程度的定量分配,即在拼接过程中,当前速度在整体速度的重要程度。

当前的速度权重是在上一帧的速度权重基础上,根据初步速度与上一帧速度的差值反比增长,即速度变化剧烈时,速度权重减小,其计算公式为:

weight=weight_old-|new_velocity-old_velocity|

其中weight为当前的速度权重,weight_old为上一帧的速度权重,old_velocity为上一帧速度;速度权重分为水平方向的速度权重和垂直方向的速度权重,水平方向速度权重的初始值为0到图像宽度范围内的数,当水平方向当前的速度权重小于0时,用水平方向速度权重的初始值替换水平方向当前的速度权重;垂直方向速度权重的初始值为0到图像高度范围内的数,当垂直方向当前的速度权重小于0时,用垂直方向速度权重的初始值替换垂直方向当前的速度权重。

上述公式如为水平方向的速度权重时,上一帧的速度权重为上一帧水平方向的速度权重,初步速度为水平方向初步速度,上一帧速度为上一帧水平方向的速度;如为垂直方向速度权重时,上一帧的速度权重为上一帧垂直方向的速度权重,初步速度为垂直方向初步速度,上一帧速度为上一帧垂直方向的速度。引入速度权重后,当速度权重减小到一定阈值后,开窗面积相应的增大。并且在速度跟踪计算中,也引入速度权重,速度权重大小影响到速度和偏移量的定位。

S623:根据当前的速度权重、初步速度以及上一帧的偏移量数据求得当前的最终跟踪速度:由初步速度、初步速度与上一帧速度的差值和当前的速度权重,获取当前的最终跟踪速度,其计算公式为:

velocity=new_velocity+(old_velocity-new_velocity)×weight

其中velocity为当前的最终跟踪速度;

上述公式中当前的最终跟踪速度为水平方向当前的最终跟踪速度或垂直方向当前的最终跟踪速度,

S624:根据当前的最终跟踪速度和上一帧的偏移量,求取经速度跟踪后当前的最终偏移量,其计算公式为:

offset=old_offset+velocity

其中offset为经速度跟踪后当前的最终偏移量。

上述公式中,当前的最终偏移量为水平方向当前的最终偏移量或垂直方向当前的最终偏移量,当前的最终偏移量的范围在上一帧求得的开窗范围内。

S63:根据当前的偏移量数据,求取下一帧相关性计算的开窗大小。

下一帧开窗范围下的覆盖区域数据不能大于一帧图像,且不得小于选定的覆盖区域数据。开窗大小和上一帧的偏移量数据、相关性数据相关。开窗的位置较当前覆盖区域的中心坐标往位移跟踪移动方向上偏移。在跟踪速度大于一定阈值时,相应的调大物体相对于采集窗口的主要跟踪移动方向一侧的窗口大小。在此窗口中搜索两帧的最大相关性。

如图12所示,图12a所示为前N帧图像的拼接关系,由图12a中可见采集到的图像顺序方向为右下方(水平方向向左,垂直方向向右,整体方向即为右下方)。图12b所示在没有速度跟踪的情况下,开窗始终为以相关性矩阵的中心为中心上下左右一定范围开窗(A1),在有速度跟踪的情况下,开窗根据物体移动的跟踪速度和方向,开窗位置较A1往右下方移动到A2。

下一帧相关性计算的开窗大小上下左右对应:up、down、left、right,并遵循up、down、left、right组成的区域不能超过相关性矩阵的边界。

up、down满足以下计算公式:

up=offset_h+velocity_h+weight_h

down=offset_h+velocity_h-weight_h

其中velocity_h为垂直方向的最终跟踪速度,offset_h为经速度跟踪后垂直方向的最终偏移量,weight_h为垂直方向的速度权重;

left、right满足以下计算公式:

left=offset_w+velocity_w-weight_w

right=offset_w+velocity_w+weight_w

其中velocity_w为水平方向的最终跟踪速度,offset_w为经速度跟踪后水平方向的最终偏移量,weight_w为水平方向的速度权重。

如图13所示,当前帧C以模板帧T为参照上下左右移动,每一次移动对应一个坐标,其坐标值为两帧图像之间的水平和垂直方向的位移,即两帧图像以此坐标偏移的覆盖情况。所述坐标为直角坐标系,已两帧图像完全覆盖对应的坐标为原点。每一次移动以像素级为最小单位。规定当前帧和模板帧是在帧图像长宽范围内的一定区域有规律的上下左右移动,此规定使坐标在上下左右四个方向有一个极值,其极值一一对应up、down、left、right的极值。

此处计算的开窗用于下一帧相关性数据的选取,实时跟踪调整开窗在覆盖区域的位置能减小数据量的传输,精确搜索范围,以此循环。

偏移量数据求得时,如果当前帧检测到有效采集对象,即采集窗口背景发生改变时,并且当前相关性矩阵的最大值大于一个阈值(阈值的范围为0到选定的覆盖区域数据的个数乘以图像像素最大值的积的平方内的任意数)时,执行上述操作,否则所有的偏移量数据清零。若执行上述操作过程中,当物体相对于采集窗口未发生移动时,速度权重始终为0。

图像改变检测模块8提供图像是否为有效图像的判断及是否图像是否有相对移动的判定。

图像改变检测模块8根据直方图阈值参数统计模块3得到的直方图阈值参数和图像相关性计算模块7得到的帧图像相关性矩阵及帧图像偏移量判断图像是否为有效图像以及图像是否有相对移动。

当电容式图像传感器理想空采集,即传感器表面干净且无手指放在传感器上进行采集时,二值化电容放电曲线没有逻辑翻转,图像的数字量化后的值为2bitm-1,此时传感器上进行采集的图像及其直方图如图14所示。

当电容式图像传感器表面存在介质残留且没有手指放在传感器上进行采集时,二值化电容放电曲线受干扰有逻辑翻转,此时传感器上进行采集的图像及其直方图如图15所示。

当电容式图像传感器物理参数配置使得参考电压过高时,二值化电容放电曲线几乎都逻辑翻转,此时传感器上进行采集的图像及其直方图如图16所示。

当电容式图像传感器物理参数配置使得参考电压过低时,二值化电容放电曲线几乎都不逻辑翻转,此时传感器上进行采集的图像及其直方图如图17所示。

可以看出,直方图阈值分布情况可以对电容式图像传感器采集到图像的情况下进行图像有效性的判定,但是当传感器表面出现介质残留的时候会影响到其判定的正确性。而当有效图像出现时,必然会出现连续采集的帧图像的相对位移,而此时相关性矩阵会有明显的变化。

设difmax为图像改变参数。

条件1、当参与计算的两帧图像相关性的值越大表示相似度越小时,此时difmax为相关性矩阵cor中的最大值。

条件2、当参与计算的两帧图像相关性的值越小表示相似度越小时,此时difmax为相关性矩阵cor中的最小值。

设c_conthre1为图像改变相关性阈值一,c_conthre2为图像改变相关性阈值二。

其获取方法为:

若干组两帧参与相关性计算的有相对位移的有效图像得到的若干个difmax,在条件1满足时,若干个difmax的最小值为c_conthre1;在条件2满足时,若干个difmax最大值为c_conthre1。

若干组两帧参与相关性计算的无相对位移的有效图像得到的若干个difmax,在条件1满足时,若干个difmax最大值为c_conthre2;在条件2满足时,若干个difmax最小值为c_conthre2。

有效图像的判定方法如下:

S71当CH不大于C_LTH时,认为图像有效,否则进入步骤S71;

S72当CL大于C_HTH时,认为图像无效,否则进入步骤S73;

S73当条件1满足时进入步骤S74,当条件2满足时进入步骤S75;

S74当CH不大于C_MTH时,且difmax大于c_conthre1时,认为图像有效,否则进入步骤S76;

S75当CH不大于C_MTH时,且difmax小于c_conthre1时,认为图像有效,否则进入步骤S77;

S76当CL大于C_MTH时,且difmax小于c_conthre2时,认为图像无效,否则进入步骤S78;

S77当CL大于C_MTH时,且difmax大于c_conthre2时,认为图像无效,否则进入步骤S78;

S78认为图像无效。

图像相对移动的判定方法如下:

当图像判定为有效图像后,判断offset若大于0,则认为图像存在相对移动。

传感器物理参数调整模块9根据直方图阈值统计模块3得到的直方图及直方图阈值参数实时调整图像传感器采集阵列的物理工作参数,即参考电压,从而改变其采集的原始图像信号。

电容式图像传感器采集阵列的参考电压影响二值化电容放电曲线,如图18所示,选定三个不同的参考电压阈值(参考电压阈值一、参考电压阈值二、参考电压阈值三),得到同一放电曲线不同参考电压下的二值化电容放电曲线及其采集到的图像,由图可知,适当的参考电压的调整可以直观的影响到采集到的图像的质量。

传感器物理参数调整模块9的工作方式如下:

当有效图像被确定时,判断采集对象的类型,采集对象的类型包括采集对象与图像传感器间的介质使得电容放电过快、采集对象与图像传感器间的介质使得电容放电过慢和采集对象与图像传感器间的介质使得电容放电正常三种情况,其判定方法为:

若C_LTH小于G1,表示当前采集的图像非背景信息主要分布在G1以下的区间范围内,当前图像的采集对象与图像传感器间的介质使得电容放电过快;

若C_LTH大于G2,表示当前采集的图像非背景信息主要分布在G2以上的区间范围内,当前图像的采集对象与图像传感器间的介质使得电容放电过慢;

若C_LTH大于G1且小于G2,表示当前采集的图像非背景信息主要分布在G1到G2之间的区间范围内,当前图像的采集对象与图像传感器间的介质使得电容放电正常;

其中G1,G2为可调整的灰度比较值,其获取方法为:

若干帧采集对象与图像传感器间的介质使得电容放电过快情况下图像统计的C_LTH的最大值为G1。

若干帧采集对象与图像传感器间的介质使得电容放电过慢情况下图像统计的C_LTH的最小值为G2。

当采集对象与图像传感器间的介质使得电容放电过快或者过慢时,表示当前采集的图像灰度信息分布在很小的一个区间范围内,图像出现一块模糊不清的现象或者图像包含的有效信息非常少。

当C_LTH小于G1时,C_LTH与C_HTH的间距越小,表示当前的图像质量越差,需要对传感器进行参考电压阈值调整,参考电压阈值的选取规则为:

若0≤HL_DIF<HL(1),则选择参考电压阈值Z(1);

若HL(1)≤HL_DIF<HL(2),则选择参考电压阈值Z(2);

同理,若HL(m-1)≤HL_DIF<HL(m),,则选择参考电压阈值Z(m);

若HL(NUM-1)≤HL_DIF,则选择参考电压阈值Z(NUM);

其中HL_DIF为C_HTH与C_LTH的差值,m为序号,1<m<NUM。

HL(1)为HL_DIF的第一级参考值;

HL(2)为HL_DIF的第二级参考值;

同理,HL(m)为HL_DIF的第m级参考值;且HL(1)<HL(2)<…<HL(NUM-1)。

其中NUM为时参考电压阈值可选择的总个数;

Z(1)为C_LTH小于G1时第一个可选择的参考电压阈值;

Z(2)为C_LTH小于G1时第二个可选择的参考电压阈值;

同理,Z(NUM)为C_LTH小于G1时第NUM个可选择的参考电压阈值;

且Z(1)<Z(2)<Z(3)<……<Z(NUM-1)<Z(NUM)。

上述Z与HL取值均为统计值。

当C_LTH大于G2时:采集到的图像非背景信息比较少,主要为图像背景值,如图18中采集到的图像白色区域为背景值,灰色和黑色区域为非背景信息。根据直方图统计灰度值为n1到n2之间的像素点总个数hist_num,来选择不同的参考电压阈值。其中n1为若干帧采集对象与图像传感器间的介质使得电容放电过慢情况下图像统计的非背景图像灰度最小值;n2为若干帧采集对象与图像传感器间的介质使得电容放电过慢情况下图像统计的非背景图像灰度最大值。参考电压阈值的选取规则为:

若hist_num<sum(1),选择参考电压阈值V(1);

若sum(1)≤hist_num<sum(2),,选择参考电压阈值V(2);

同理,若sum(k-1)≤hist_num<sum(k),则选择参考电压阈值V(k);

若sum(VAL-1)≤hist_num,则选择参考电压阈值V(VAL);

其中sum(1)为hist_num的第一级参考值;

sum(2),为hist_num的第二级参考值;

同理,sum(k)为hist_num的第k级参考值;且sum(1)<sum(2)<…<sum(VAL-1)。

VAL为C_LTH大于G2时参考电压阈值可选择的总个数;

V(1)为C_LTH大于G2时第一个可选择的参考电压阈值;

V(2)为C_LTH大于G2时第二个可选择的参考电压阈值;

同理,

V(VAL)为C_LTH大于G2时第VAL个可选择的参考电压阈值;且V(1)>V(2)>…>V(VAL)。

上述V与sum取值均为统计值。

电压阈值参数配置规则为:利用上一帧计算得到的电压阈值参数用于当前帧的图像传感器阵列的配置。

RAM读写控制模块5与RAM阵列6

其中RAM阵列6包括,COR RAM 61、模板帧RAM 62、当前帧RAM 63、输入帧RAM 64、输出帧RAM 65,RAM读写控制模块5根据内部工作流程将数字量化模块4数字量化后的图像以及图像相关性计算模块7得到的帧图像相关性矩阵在RAM阵列6中缓存,并根据内部工作流程读取或者存储RAM阵列6中的数据用于图像相关性计算和有效数据输出。

帧图像采集序列如图19所示:其中模板帧和当前帧为参与相关性计算的两帧图像。当前帧为当前时刻采集的数字量化后的帧图像,模板帧为以前采集的数字量化后的帧图像。模板帧和当前帧之间间隔的帧数取决于锁帧判断。

RAM阵列根据采集到的帧图像及参与计算的帧图像的存放规则为:

COR RAM 61存放帧图像相关性矩阵;

模板帧RAM 62存放当前参与相关性计算的模板帧图像;

当前帧RAM 63存放当前参与相关性计算的当前帧采集到的数字量化后的图像;

输入帧RAM 64存放下当前帧的下一帧数字量化后的图像;

输出帧RAM 65存放可以输出的参与重构的图像。

通过相关性计算得到的参与计算的两帧图像的相对位移及输出帧的图像就可以实现图像重构。

根据图像改变检测模块8提供的图像是否为有效图像信息、直方图阈值统计模块3提供的直方图阈值参数信息以及图像相关性计算模块7提供的帧图像偏移量更新锁帧的方法如下:

步骤一、当采集到的图像不是有效图像时,则此时每一帧就更新锁帧,并清零锁帧计数。

步骤二、当采集到的图像是有效图像时,参与相关性计算的两帧并没有相对位移时,若直方图统计的前后两帧的C_LTH的差值达到阈值;或两帧数据在采集对象相对于采集窗口的主要移动方向上有偏移量,即相关性模块计算出水平或垂直偏移量不为零;或当锁帧计数达到规定的阈值时,判定当前帧强制更新锁帧,并清零锁帧计数。

所述阈值为统计经验值,当没有更新锁帧时,每采集一帧,锁帧计数自加1。

RAM读写控制模块5对RAM阵列6的变更方法如下:

(1)当前次相关性计算完成后没有更新锁帧时,如图20所示:

当前帧RAM 63用于存放下一帧数字量化后的图像,即当前帧RAM变为输入帧RAM;

输入帧RAM 64中存放的图像参与下一次相关性计算,即输入帧RAM变为当前帧RAM。

(2)当前次相关性计算完成后更新锁帧时,如图21所示:

模板帧RAM 62中存放的图像作为可输出参与重构的图像,即模板帧RAM变为输出帧RAM;

当前帧RAM 63中存放的图像作为下一次相关性计算的模板帧图像,即当前帧RAM变为模板帧RAM;

输入帧RAM 64中存放的图像作为下一次相关性计算的当前帧图像,即输入帧RAM变为当前帧RAM;

输出帧RAM 65用于存放下一帧即将采集到图像,即输出帧RAM变为输入帧RAM。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下,还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明,而是由权利要求书的范围来确定的。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号