一种扫描电子显微镜的图像畸变校正方法

摘要

本发明公开一种针对扫描电子显微镜的图像畸变校正方法，属于计算机视觉领域，其包括S1:在预设的时间序列上连续采集图像，建立时间漂移畸变D

说明书

技术领域

本发明属于计算机视觉领域，具体涉及一种针对扫描电子显微镜(SEM)的图像畸变校正方法。

背景技术

随着微纳技术的不断发展，微纳器件在芯片制造、电子封装、生物医药等高新技术领域得到越来越广泛的应用。微纳器件通常由多种不同的纳米材料组成，材料的弹性模量和热膨胀系数不同，在不同的负载、湿度和温度条件下，材料连接处易产生裂纹导致微纳器件失效。因此，微纳米尺度下材料和结构的变形分析具有重要的意义。

扫描电子显微镜(SEM)在图像获取和采集方面有着其公认的优势，例如：具有较大的景深、纳米尺度级别的分辨率、易用性高并且放大倍率可由低倍(10×)到高倍(高达50000倍)调节。因此，SEM与部分宏观尺度下应变测量方法(例如：显微云纹及云纹干涉技术、数字图像相关技术等)的结合为微纳米尺度下材料和结构的变形分析提供了一种可实施路径。而上述方法均对精准的图像定位有极高的要求，成像对象及其变形的尺度也极其微小，因此尽可能需要扫描电子显微镜(SEM)的无畸变成像。然而，SEM图像的拍摄过程与光学成像系统中所有像素并行成像不同，SEM成像过程中需要控制电子束对被观测对象进行顺序扫描，即使在目前最先进的SEM系统中，其电子束的控制仍然是一个开环系统，扫描过程受电磁场波动、样品表面的热量变化和机械振动等因素的综合影响，拍摄得到的SEM图像具有明显的时间漂移畸变(与时间相关的畸变)和空间固有畸变(与时间无关的畸变)，且畸变规律与光学图像完全不同【Sutton M A,Li N,Joy D C,Reynolds A P&Li X.Scanningelectron microscopy for quantitative small and large deformation measurementspart I:SEM imaging at magnifications from 200to 10,000.Experimentalmechanics,2007,47(6):775-787.】，因此无法借鉴光学图像中成熟的参数化畸变模型进行建模和矫正。

M.A.Sutton等【Sutton M A,Li N,Garcia D,Cornille N,Orteu J J,McNeill SR,Schreier H W&Li X.Metrology in a scanning electron microscope:theoreticaldevelopments and experimental validation.Measurement Science and Technology,2006,17(10):2613.】使用FEI Quanta-200型SEM拍摄了大量的SEM图像，并对其畸变规律进行了统计分析，分析结果表明：当放大倍数小于2000×时，空间固有畸变占主导地位；当放大倍数大于10000×时，时间漂移畸变占主导地位；在2000×～10000×中间时，两种畸变的比重相当。

此外，M.A.Sutton等的实验还发现当放大倍数为10000×时，SEM图像中所有像素的时间漂移的平均值约为0.8像素，最大的偏差可达6个像素，在微纳米尺度下材料和结构的变形分析技术框架下，此偏差将会对系统参数标定、位移计算和应变计算的精度产生严重影响，必须对其进行矫正。

SEM图像畸变产生的原因复杂、畸变无明显规律，对其进行建模和矫正非常困难，因此现有研究成果很少，仅有几个研究单位对此问题进行了初步研究。Lockwood等【Lockwood WD,Reynolds AP.Use and verification of digital image correlationfor automated 3-d surface characterization in the scanning electronmicroscope.Mater Charact,1999,42(23):123-134.】在验证将SEM与DIC方法进行结合的可行性时，直接忽略图像畸变对测量精度的影响。Sinram等【Sinram O,Ritter M,Kleindick S,Schertel A,Hohenberg H&Albertz J.Calibration of an SEM,using anano positioning tilting table and a microscopic calibrationpyramid.2002ISPRS Commission V Symp.(Corfu,Greece):210-214.】在较低的放大倍数下，忽略时间漂移畸变，借鉴光学图像中的参数化空间畸变模型，对SEM图像畸变进行了矫正，但矫正精度较低。Sutton等【Sutton M A,Li N,Joy D C,Reynolds A P&Li X.Scanningelectron microscopy for quantitative small and large deformation measurementspart I:SEM imaging at magnifications from 200to 10,000.Experimentalmechanics,2007,47(6):775-787.】与Li等【Jin P,Li X.Correction of image drift anddistortion in a scanning electron microscopy.Journal of Microscopy,2015,260(3):268-280.】从SEM成像原理出发，将时间漂移畸变和空间固有畸变分为独立的两个部分，并提出了基于时间的局部时间漂移模型(Time-based local model)和非参数化的空间畸变模型，分别对两种畸变进行了矫正，这种方法为探索SEM图像畸变规律、减小SEM图像畸变提供了一种可行的思路。

但是，上述方法均未考虑时间序列上和空间(像素)之间的连续性约束，即对于时间漂移畸变，邻近时间的图像具有相近的时间漂移畸变；对于空间固有畸变，邻近像素具有相似的空间固有畸变。如果可以参数化表征这种连续性约束，将有望形成一套全新且更为有效的SEM图像畸变校正算法。

综上所述，现有扫描电子显微镜(SEM)图像畸变校正方法在实际应用中仍存在着许多壁垒。因此，需要开发一种确实可行的针对扫描电子显微镜(SEM)的图像畸变校正方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种针对扫描电子显微镜(SEM)的图像畸变校正方法。针对于SEM的两种主要畸变：漂移畸变与固有空间畸变，该方法基于SEM畸变场在时间序列和空间序列上的连续性原理，分别建立了时间漂移畸变与图像采集时间之间的映射关系，针对空间固有畸变与图像像素位置之间的映射关系，在此基础上建立了SEM畸变模型以及提供对畸变图像进行校正的方法。

为实现上述目的，按照本发明的一个方面，提供了一种针对扫描电子显微镜(SEM)图像畸变的校正方法，其包括如下步骤：

S1：在预设的时间序列上连续采集图像，建立时间漂移畸变D_d与图像采集时间t的关系D_d(t)，以用于后续步骤的时间漂移畸变去除，所述时间漂移畸变模型如下：

D_d(t)＝[d_x(t),d_y(t)]；

d_x(t)＝v_xt；

d_y(t)＝v_yy；

其中，d_x(t),d_y(t)为在图像采集时刻图像t所对应的在图像x方向和y方向对应的时间漂移畸变值，v_x,v_y为利用预设的时间序列上连续采集图像求解获得的在图像x方向和y方向对应的时间漂移畸变速度场。

S2:根据S1中获得的D_d(t)，预先去除漂移畸变，利用拍摄标准标靶获得稀疏图像像素位置样本C＝{c_i,i＝1,...,N}及对应的固有空间畸变向量样本集L＝{l_i,i＝1,...,N}。

S3:建立图像平面的任意一个像素点的像素坐标u＝(x,y)与该像素点对应的固有畸变向量l间的关系，进而推算获得成像的空间固有畸变模型D_f；

S4：利用S2得到的稀疏位置信息及对应的固有空间畸变向量样本集，解算空间固有畸变模型矩阵D_f，获得扫描电子显微镜全场固有畸变模型D_f(u)，接着，结合S1中获得的漂移畸变模型D_d(t)对图像进行畸变校正。

进一步的，步骤S1中，利用预设的时间序列上连续采集图像求解获得的在图像x方向和y方向对应的时间漂移畸变速度场v_x,v_y的具体过程如下:

设定连续采集图像的第一张图像为参考图像，且拍摄的总数量为K,利用数字图像相关、尺度不变算子特征点提取算法对后续(K-1)张图像与参考图像进行特征匹配，获得匹配集合Φ＝{Φ_i,i＝2,...,K}，进而获得图像x方向和y方向位移向量集合U＝{U_i,i＝2,...K}，V＝{V_i,i＝2,...K}以及对应的图像拍摄时刻集合T＝{T_i,i＝1,...,K}，T_i表示参考图像拍摄时间，

则在图像x方向和y方向对应的时间漂移畸变速度场v_x,v_y可通过如下方法获得：

其中，num(Φ)表示特征匹配集合的点数量。

进一步的，步骤S3中，建立图像平面的任意一个像素点的像素坐标u＝(x,y)与该像素点对应的固有畸变向量l间的关系，进而推算获得成像的固有畸变模型D_f的具体过程如下：

采用了径向基算子来表达固有畸变向量l和像素坐标u的关系，具体的，将固有畸变向量l在图像坐标系下的两个参数分别用像素坐标u作为变元的径向基算子表示如下：

l＝(l₁,l₂)＝(s₁(u),s₂(u))

其中，(l₁,l₂)表示固有畸变向量l在图像坐标系下的两个参数，(s₁(u),s₂(u))表示利用径向基算子表达的所述的两个参数，其中，对于(s₁(u),s₂(u))中的一个算子s(u)，其表达如下：

其中，C＝{c_i,i＝1,...,N}为步骤S2中选取的稀疏图像像素位置样本，c_i表示已知的稀疏图像像素位置，N表示样品点个数，||.||向量的2范数，φ为径向基算子的核函数，a₀,a_u与w₁,w₂,…,w_N均为径向基算子待求系数，对于(s₁(u),s₂(u))中的一个算子表达s(u)的矩阵形式为:

其中，径向基算子待求系数a＝(a₀,a_u)与w＝(w₁,w₂,…,w_N)合并表示为h_wa，称之为合并系数，M_φ(u)＝[φ(||u-c₁||),φ(||u-c₂||),...,φ(||u-c_N||)]表示核函数矩阵，p(u)＝(1>1>2),其中，u₁,u₂为像素坐标u的两个向量坐标值，

则，对于图像平面上一个像素点的坐标u所对应的固有畸变向量l的两个参数可表示为：

接着进行推算，可表示为：

其中，为本发明空间提供的固有畸变的待求解矩阵，称之为空间固有畸变矩阵，

则，对于一个给定的稀疏图像像素位置样本C＝{c_i,i＝1,...,N}，矩阵D_f以及预设的核函数矩阵M_φ(u)，图像平面上一个像素点的坐标u对应的固有畸变向量l可表示为：

l＝(s₁(u),s₂(u))＝(M_φ(u)p(u))D_f。

进一步的，步骤S4中解算空间固有畸变矩阵D_f的具体过程如下：

根据步骤S2中通过拍摄微尺度标靶选取的稀疏图像像素位置样本C＝{c_i,i＝1,...,N}，利用图像中心畸变较小这一成像特点，计算出对应的固有空间畸变向量样本集L＝{l_i,i＝1,...,N}。

则，对于已知的稀疏图像像素位置c_i及其对应的固有空间畸变l_i＝(l_ix,l_iy)可得：

对于整个采集的数据样本，共有N组对应点，则可将上式子写成：

其中，由径向基因子的自身属性可有如下约束：

其中，c_i(col),c_i(row)分别表示稀疏图像像素位置c_i的横坐标和纵坐标索引值。

将上两式结合可得：

其中，P＝[p(c₁)>N)],L_x＝[l_1x>Nx]^T,L_y＝[l_1y>Ny]^T，

对上式进行最小二乘求解即可解算空间固有畸变矩阵D_f。

本发明提供一种针对扫描电子显微镜图像畸变校正方法，该方法基于SEM畸变场在时间序列和空间序列上的连续性原理，分别建立了时间漂移畸变与图像采集时间之间的映射关系；针对空间固有畸变与图像像素位置之间的映射关系。在此基础上建立了SEM畸变模型并对畸变图像进行校正。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

此方法与传统参数化畸变模型(桶形畸变、枕形畸变等)相比，具有更强的普适性，尤其是针对SEM的非规则化畸变更加有效；同时兼顾了时间漂移畸变和空间固有畸变对SEM图像畸变的影响，分别建立了时间漂移畸变与图像采集时间之间的映射关系；针对空间固有畸变与图像像素位置之间的映射关系，解决了SEM畸变校正难、测量失准等不利于应用的问题，令SEM与部分宏观尺度下应变测量方法(例如：显微云纹及云纹干涉技术、数字图像相关技术等)的结合成为现实，为微纳米尺度下材料和结构的变形分析提供了一种可实施路径。

附图说明

图1为本发明实施例提供的扫描电子显微镜(SEM)的图像畸变校正流程图；

图2为本发明实施例提供的用于时间漂移畸变建模的人工制备散斑平面标靶；

图3为本发明实施例提供的用于空间固有畸变建模的标准平面标靶。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1为本发明实施例提供的针对扫描电子显微镜(SEM)的图像畸变校正流程图，其具体步骤如下：

第一步，在预设的时间序列(T＝{T_i,i＝1,...,K})上连续采集图像，数量为K，设一张图像为参考图像。此图像序列通常为具有较多特征的图像，例如具有天然或者人工制造的斑点平面标靶样品。如图2所示，为本发明采用的一种人工制备的散斑平面标靶。

第二步，采用数字图像相关(DIC)、尺度不变算子(SIFT)等特征点提取算法对后续K-1张图像与参考图像进行特征匹配，本发明采用数字图像相关算法进行特征提取及匹配，获得较为稠密的匹配集合Φ＝{Φ_i,i＝2,...,K}，由匹配关系可得图像X方向和Y方向位移向量集合U＝{U_i,i＝2,...K}，V＝{V_i,i＝2,...K}以及它们对应的图像拍摄时刻集合T＝{T_i,i＝1,...,K}。

则在图像X方向和Y方向对应的时间漂移畸变速度场v_x,v_y可通过如下方法获得：

其中，num(Φ)表示特征匹配集合的点数量。

第三步，根据第二步中获得的时间漂移畸变速度场v_x,v_y，建立时间漂移畸变模型D_d(t)，其中模型D_d(t)如下：

D_d(t)＝[d_x(t),d_y(t)]；

d_x(t)＝v_xt；

d_y(t)＝v_yy；

其中，d_x(t),d_y(t)为在图像采集时刻图像t所对应的在图像X方向和Y方向对应的时间漂移畸变值，v_x,v_y为利用预设的时间序列上连续采集图像求解获得的在图像X方向和Y方向对应的时间漂移畸变速度场。

第四步，拍摄如图3所示的标准标靶，并利用第三步中的时间漂移畸变模型对时间漂移畸变进行建模与校正，通过提取标靶中圆心获得稀疏图像像素位置样本C＝{c_i,i＝1,...,N}，利用图像中心畸变较小这一成像特点，计算出对应的固有空间畸变向量样本集L＝{l_i,i＝1,...,N}。

第五步，建立图像平面的任意一个像素点的像素坐标u＝(x,y)与该像素点对应的固有畸变向量l间的关系，进而推算获得成像的空间固有畸变模型D_f。

本发明提供的空间固有畸变D_f建模方法如下：

采用了径向基算子来表达固有畸变向量l和像素坐标u的关系，具体的，将固有畸变向量l在图像坐标系下的两个参数分别用像素坐标u作为变元的径向基算子表示如下：

l＝(l₁,l₂)＝(s₁(u),s₂(u))

其中，(l₁,l₂)表示固有畸变向量l在图像坐标系下的两个参数，(s₁(u),s₂(u))表示利用径向基算子表达的所述的两个参数，其中对于(s₁(u),s₂(u))中的一个算子s(u)，其表达如下：

其中，C＝{c_i,i＝1,...,N}为步骤S2中选取的稀疏图像像素位置样本，N表示样品点个数。||.||向量的2范数，φ为径向基算子的核函数，a₀,a_u与w₁,w₂,…,w_N均为径向基算子待求系数，对于(s₁(u),s₂(u))中的一个算子表达s(u)的矩阵形式为:

其中，径向基算子待求系数a＝(a₀,a_u)与w＝(w₁,w₂,…,w_N)合并表示为h_wa，称之为合并系数，M_φ(u)＝[φ(||u-c₁||),φ(||u-c₂||),...,φ(||u-c_N||)]表示核函数矩阵，p(u)＝(1>1>2)中,u₁,u₂为像素坐标u的两个向量坐标值，

则，对于图像平面上一个像素点的坐标u所对应的固有畸变向量l的两个参数可表示为：

接着进行推算，可表示为：

其中，为本发明提供的空间固有畸变的待求解矩阵，称之为空间固有畸变矩阵。

解算空间固有畸变矩阵D_f的具体过程如下：

根据第四步中通过拍摄微尺度标靶选取的稀疏图像像素位置样本C＝{c_i,i＝1,...,N}和对应的固有空间畸变向量样本集L＝{l_i,i＝1,...,N}。

则，对于已知的稀疏图像像素位置c_i及其对应的固有空间畸变l_i＝(l_ix,l_iy)可得：

对于整个采集的数据样本，共有N组对应点，则可将上式子写成：

其中，由径向基因子的特点可有如下约束：

其中，c_i(col),c_i(row)分别表示稀疏图像像素位置c_i的横坐标和纵坐标索引值。

将上两式结合可得：

其中，P＝[p(c₁)>N)],L_x＝[l_1x>Nx]^T,L_y＝[l_1y>Ny]^T。对本式进行最小二乘求解即可解算空间固有畸变矩阵D_f。

本发明提供一种针对扫描电子显微镜图像畸变校正方法，该方法基于SEM畸变场在时间序列和空间序列上的连续性原理，分别建立了时间漂移畸变与图像采集时间之间的映射关系；针对空间固有畸变与图像像素位置之间的映射关系。在此基础上建立了SEM畸变模型以及对畸变图像进行校正。

本发明基于扫描电子显微镜漂移畸变与采集时间之间连续性变化原理，以及及固有畸变与图像像素位置之间的连续性变化原理，分别对扫描电子显微镜图像的两种主要畸变场进行畸变建模及校正，该方法可在实际工程中应用。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。