基于4D STEM图像序列的三维重构方法和装置

摘要

本发明公开了基于4D STEM图像序列的三维重构方法和装置，涉及电镜三维重构技术领域。该方法具体实施方式包括：在扫描透射成像模式，对包含样品的实空间进行会聚电子束扫描；收集设定范围内的不同散焦深度的多组CBED图像数据，N1：利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和不同探针位置收集到的属于同一散焦深度的CBED图像数据，获取不同散焦的图层图像；N2：利用不同散焦的图层图像构建样品的当前三维结构，并对当前三维结构进行评估，在评估结果指示满足预设收敛条件的情况下，确定当前三维结构为样品三维结构；否则，调整散焦深度的层间距，并执行步骤N1。该实施方式有效地提高重构的三维结构的准确性。

说明书

技术领域

本发明涉及电镜三维重构技术领域，尤其涉及一种基于4D STEM图像序列的三维重构方法和装置。

背景技术

透射电子显微镜(TEM)三维重构技术(下述简称电镜三维重构)是电子显微术、电子衍射与计算机图像处理相结合而形成的具有重要应用前景的一门新技术。其已成为器件比如电池、芯片等电组件和材料的三维结构表征的重要手段之一。

目前，电镜三维重构主要是样品在样品杆上绕旋转轴旋转过程中，在样品杆的不同倾角下，对样品进行拍照得到一系列电镜图片，然后基于中心截面定理，对电镜图片进行图像处理，得到三维结构的电子密度图。

目前所使用的电镜三维重构方式，由于样品杆厚度的影响，需要控制样品杆的旋转角度在±70°范围内，以保证拍摄电镜图片过程中样品杆不会遮挡样品，可引起丢失楔形边缘的缺陷，导致三维结构重构误差较大。

发明内容

有鉴于此，本发明实施例提供一种基于4D STEM图像序列的三维重构方法和装置，能够通过样品的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，为样品构建出三维结构，能够避免楔形边缘丢失，以有效的降低重构的三维结构的误差，并提高重构的三维结构的准确性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种基于4D STEM图像序列的三维重构方法，包括：

在扫描透射成像模式下，对包含样品的实空间在多个探针位置进行会聚电子束扫描；

针对每一个所述探针位置，同步收集设定范围内的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，其中，所述样品至少部分区域位于所述设定范围内；

循环执行下述步骤N1和N2，直至得到满足预设收敛条件的三维结构：

N1：利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据，获取不同散焦的图层图像；

N2：利用不同散焦的图层图像构建所述样品的当前三维结构，并对所述当前三维结构进行评估，在评估结果指示所述当前三维结构满足预设的收敛条件的情况下，确定所述当前三维结构为所述样品的三维结构；否则，调整不同散焦深度的层间距，并执行步骤N1。

可选地，通过电子显微镜像素阵列探测器执行收取设定范围内的不同散焦深度的多组逐点CBED图像数据的步骤。

可选地，上述三维重构方法，还包括：

按照电子束扫描坐标，将在不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据组成衍射盘图像；

所述获取不同散焦的图层图像，包括：

针对每一个所述散焦深度的衍射盘图像，确定所述衍射盘图像包括的像素图像；

利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和多个所述衍射盘图像包括的像素图像，计算所述衍射盘图像所包含的像素图像相对中心的位移量；

根据所述位移量，位移所述像素图像；

通过处理位移后的像素图像，得到不同散焦的图层图像。

可选地，所述处理位移后的像素图像，包括：

对位移后的像素图像上的像素点进行加和及投影处理，以得到由多个所述衍射盘图像所对应的散焦图像构成的散焦图像序列；

将所述散焦图像序列中每相邻两个散焦图像进行像素点差值处理；

按照预设的图像阈值，对像素点差值处理后的散焦图像序列进行分割，得到不同散焦的当前图层图像。

可选地，所述对所述当前三维结构进行评估，包括：

利用构建的所述当前三维结构的各个方向投影图以及所述三维结构的各个图层图像的像素强度，判断所述三维结构是否满足收敛条件。

可选地，三维重构方法，还包括：

将所述逐点CBED图像数据包括的负数像素值置零，并对所述逐点CBED图像数据进行归一化处理；

所述将在不同探针位置收取到的属于同一散焦深度的逐点CBED图像数据组成衍射盘图像，包括：

将属于同一散焦深度的归一化处理后的不同探针位置的逐点CBED图像数据组成衍射盘图像。

可选地，所述将在不同探针位置收取到的属于同一散焦深度的逐点CBED图像数据组成衍射盘图像，包括：

针对每一个散焦深度的逐点CBED图像数据，按照所述逐点CBED图像数据中各个像素点的像素强度，将所述逐点CBED图像数据转化为图像域积分图像；

将不同散焦深度的逐点CBED图像数据转化出的图像域积分图像组成衍射盘图像。

可选地，在所述组成衍射盘图像之后，还包括：

对所述衍射盘图像进行边沿提取，得到样品轮廓，将所述样品轮廓添加到所述收敛条件。

可选地，所述对所述衍射盘图像进行边沿提取，包括：

对所述衍射盘图像进行降噪处理；

通过预设的边界判据模型，提取所述衍射盘图像中不同相对信号强度的边界位置，以得到包括样品在三维空间内几何边缘形貌轮廓信息以及样品关键位置的边缘特征的样品轮廓。

可选地，上述三维重构方法，还包括：

以所述衍射盘图像的中心为圆心，从所述衍射盘图像选择一个或多个环形结构，其中，每一个所述环形结构包括的多个像素点构成一个所述像素图像。

可选地，所述计算所述衍射盘图像所包含的像素图像相对中心的位移量，包括：

针对所述像素图像包括的每一个像素点，利用调整后的散焦深度的层间距或者初设的散焦深度的层间距、电子束夹角以及所述像素点在电子束入射方向上的像素点阵平面内的投影与构建的二维坐标系中x轴的夹角，分别计算所述像素点在所述像素点阵平面内向x坐标轴方向移动的像素距离以及向y坐标轴方向移动的像素距离；

根据所述像素图像包括的每一个所述像素点在所述像素点阵平面内向x坐标轴方向移动的像素距离以及向y坐标轴方向移动的像素距离，计算所述像素图像的偏移量。

可选地，所述位移所述像素图像，包括：

根据所述环形结构的偏移量，向中心位移所述像素图像所包括的多个像素点。

第二方面，本发明实施例提供一种基于4D STEM图像序列的三维重构装置，包括：数据收集模块和数据处理模块，其中，

所述数据收集模块，用于在扫描透射成像模式下，对包含样品的实空间在多个探针位置进行会聚电子束扫描的情况下，针对每一个所述探针位置，同步收取设定范围内的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，其中，所述样品的部分区域位于所述设定范围内；

所述数据处理模块，用于循环执行下述步骤N1和N2，直至得到满足预设收敛条件的三维结构：

N1：利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据，获取不同散焦的图层图像；

N2：利用不同散焦的图层图像构建所述样品的当前三维结构，并对所述当前三维结构进行评估，在评估结果指示所述当前三维结构满足预设的收敛条件的情况下，确定所述当前三维结构为所述样品的三维结构；否则，调整不同散焦深度的层间距，并执行步骤N1。

上述发明中的一个实施例具有如下优点或有益效果：通过在扫描透射成像模式下，对包含样品的实空间在多个探针位置进行会聚电子束扫描，并针对每一个所述探针位置，同步收集设定范围内的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，实现在不同的角度均能够扫描到样品的扫描区域的全貌，并通过采集样品在设定范围内的区域的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，能够比较真实且全面的反映样品的扫描区域在厚度方向上的结构特征，而不会造成扫描区域的一部分的图像数据未被收集到的情况的发生，使得后续利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据，获取到的不同散焦的图层图像能够比较全面的包含样品的扫描区域的某一厚度的结构特征，使构建出的三维结构不会发生丢失楔形边缘的缺陷，并进一步通过对三维结构评估以及优化不同散焦的图层图像，使构建出的三维结构能够更真实的反映扫描区域的三维结构，有效的降低重构的三维结构的误差，并提高重构的三维结构的准确性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是现有技术中通过旋转样品杆拍摄样品一系列电镜图片过程的样品与电子束相对位置变化示意图；

图2是根据本发明实施例的三维重构方法的主要流程的示意图；

图3是根据本发明实施例的探针位置与样品的相对位置变化的示意图；

图4是根据本发明实施例的不同散焦深度与样品关系的示意图；

图5是根据本发明实施例的获取不同散焦的图层图像的主要流程的示意图；

图6是根据本发明实施例的衍射盘图像与像素图像关系的示意图；

图7是根据本发明实施例的电子束的中心线与形成像素图像上的像素点的光线之间的夹角的示意图；

图8是根据本发明实施例的像素图像的立体结构示意图；

图9是根据图8所示的像素图像的俯视图；

图10是根据本发明实施例的处理位移后的像素图像的主要流程的示意图；

图11是根据本发明另一实施例的三维重构方法的主要流程的示意图；

图12A是根据本发明实施例的包含电路的样品的STEM系列图像的示意图；

图12B是根据本发明实施例的基于图12A所示的STEM系列图像重构出的三维结构的示意图；

图13是根据本发明实施例的三维重构装置的主要模块的示意图；

图14是根据本发明实施例所依赖的系统结构示意图；

图15是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示例性的给出通过旋转样品杆使样品旋转，以固定的电子束照射样品，以得到样品的一系列图片。如图1所示，样品13固定于样品承载片12上，样品承载片12固定于样品杆11设置的样品放置区域，电子束EB从样品放置区域的上方向下照射，然后基于中心截面定理(中心截面定理：任何实空间的三维物体沿电子束方向投影的傅立叶变换是该物体所对应的傅立叶空间中通过中心且垂直于投影方向的一个截面)，通过收集同一样品在不同角度的投影，对每张投影图进行傅立叶变换，按照投影方向填充到三维傅里叶空间对应的切面，再进行反傅立叶变换，就可得到实空间的三维结构。即现有透射电子显微镜(TEM)三维重构技术，通过图1所示的样品杆带动样品旋转一系列的不同倾斜角获得样品的二维成像信息，并对其进行处理转化为三维信息(处理转化过程主要包括图像位置中心校正，每张投影图进行傅立叶变换，得到一系列不同取向的截面，按照旋转角度填充到三维傅里叶空间对应的角度切面，当截面足够多时，会得到傅立叶空间的三维信息，再进行反傅立叶变换便能得到样品的三维结构)，倾斜角度变化范围(即样品杆11的最大旋转角度)越大，样品旋转角度间隔越小，能够更多的采集到样品的不同信息，以更好地重构出样品的三维结构。

但是，样品13在样品杆11上绕旋转轴旋转过程中，受样品杆11厚度限制，透射电子显微镜(TEM)为了收集样品的有效数据，保证样品在大角度的倾转过程中不被遮挡，需要控制样品倾转角度一般在-70°到+70°之间，导致样品的部分边缘区域的图像信息采集不完善，引起严重的丢失楔形边缘的缺陷。另外，楔形边缘数据缺失会引入了样品三维重构误差，造成三维结构重构不完整。

另外，样品杆11带着样品13旋转过程中会发生机械扰动、漂移等设备误差，使得样品杆11的倾转角度并不是很精确，会进一步降低重构的三维结构的准确性以及可靠性。

另外，如上面所提及的现有TEM三维重构技术，为了采集到样品的三维空间各个角度方向的投影图，需要倾转样品角度越大越好。但是高角度倾转样品，使电子束入射样品方向厚度成倍增加(如图1所示，样品的倾斜角从0°到70°顺序增长过程中，电子束入射样品方向厚度一直在增加)，极大的阻碍了电子穿透样品的能力，使得在高倾转角度的重构信息模糊，分辨率低。比如，样品杆倾转60°时样品的厚度是将近两倍，倾转到70°时几乎就达到未倾转时样品的厚度的三倍。因此，为了得到尽可能高的三维空间分辨率，样品不能太厚，尺寸不能太大，导致样品的厚度和尺寸受到制约。

为了解决现有TEM三维重构技术存在的上述问题，本发明实施例提供一种基于4DSTEM图像序列的三维重构方法和装置，其是基于样品的4D STEM图像序列重构样品的三维结构。

图2示出了本发明实施例提供的一种基于4D STEM图像序列的三维重构方法的主要流程示意图。如图2所示，该基于4D STEM图像序列的三维重构方法可包括如下步骤：

步骤S201：在扫描透射成像模式下，对包含样品的实空间在多个探针位置进行会聚电子束扫描；

其中，扫描透射(Scanning Transmission Electron Microscopy，STEM)成像模式是目前透射电镜已经存在的模式。该STEM实现过程主要是，电子束与样品相互作用时，会有一部分电子穿过样品逸出下表面，电子束的强度发生了变化，从而投影到荧光屏上的强度是不均匀的，其形成的像就是扫描透射像。其中，每一个探针位置扫描得到的扫描透射像为二维(2D)图像。

其中，探针位置31一般是指电子束中心位置在样品上的投影位置。探针位置31与样品32的相对位置可如图3所示。如图3所示，探针位置31在样品的各排的各个像素点上顺次变化(即图3中(A1)→(A2)→(A3)→(A4)→(A5)→(A6)→(A7)→…→(An))，最终变化的探针位置31(图3中的(An))对应于样品上的不同位置。通过在不同探针位置对包含样品的实空间进行会聚电子束扫描，可以实现在保持样品不同的前提下，对样品多角度扫描，以使扫描得到的图像能够比较完整的反映样品的特征。

步骤S202：针对每一个探针位置，同步收集设定范围内的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，其中，样品至少部分区域位于设定范围内；

其中，针对每一个探针位置，同步收集设定范围内的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据是收集到二维(2D)图像的动量空间的数据(即不同探针位置在不同散焦深度的二维图像)的组合，即4D STEM图像序列。

其中，不同散焦深度可以基于设置的固定散焦(Defocus)步长确定出，比如，固定散焦步长为5nm(该固定散焦步长可以根据实际需求进行相应的设置)，涵盖设定深度(比如400nm、500nm、600nm等)范围的不同散焦深度处数据，该涵盖设定深度一般是指距离样品上表面之上的设定距离和距离样品下表面之下的设定距离，比如，涵盖400nm深度是指距离样品之上的200nm和距离样品之下的200nm。如图4所示，以样品32之上△h1位置为起始位置K1，样品32之下△h2位置为终止位置Kp，开始收集该K1对应区域的逐点会聚束电子衍射(CBED)图像数据，然后向下移动固定散焦步长S(比如5nm)，第二个收集位置K2收集该K2对应区域的逐点会聚束电子衍射(CBED)图像数据，收集位置依次向下移动，比如第m个收集位置Km在K1之下(m-1)S的位置，即在涵盖设定深度中每相邻两个收集位置之间的间距为固定散焦步长S。

比如探针位置为128*128上的各个像素点的位置，涵盖设定深度400nm，则在每一个探针位置采集到80组不同散焦深度的128*128逐点会聚束电子衍射(CBED)图像数据。

值得说明的是，各个探针位置在同一散焦深度的逐点会聚束电子衍射(CBED)图像数据存在比较大的重叠，以实现从不同探针位置采集不同角度的样品的特征。

步骤S203：利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据，获取不同散焦的图层图像；

该步骤确定出的不同散焦深度的层间距，一般在第一个循环周期根据预先设置的固定散焦步长确定出，从第二个循环周期开始，则是由上一个循环周期调整后的不同散焦深度的层间距确定出。

其中，会聚电子束的会聚角一般是指会聚电子束中经过某一像素点的光线与中心光线之间的夹角，该会聚电子束的会聚角可以根据需求调整，比如，会聚角可以为3°等。

步骤S204：利用不同散焦的图层图像构建样品的当前三维结构，并对当前三维结构进行评估，在评估结果指示当前三维结构满足预设的收敛条件的情况下，执行步骤S205；在评估结果指示当前三维结构不满足预设的收敛条件的情况下，执行步骤S206；

其中，收敛条件可包括：三维结构分别向xy、xz、yz平面做投影，获得三个方向的三张投影图，分别利用三个方向的投影图与前一次迭代获得的对应三个方向的投影图做均方差，三个投影方向的均方差和最小为收敛判断条件。

步骤S205：确定当前三维结构为样品的三维结构，并结束当前流程；

步骤S206：调整不同散焦深度的层间距，并执行步骤S203。

该调整不同散焦深度的层间距可以通过在上一周期所用的层间距基础上增加或者减少固定值实现。具体调整方式或调整方向可根据实际需求进行相应的设置。

在图2所示的实施例中，通过在扫描透射成像模式下，对包含样品的实空间在多个探针位置进行会聚电子束扫描，并针对每一个所述探针位置，同步收集设定范围内的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，实现在不同的角度均能够扫描到样品的扫描区域的全貌，并通过采集样品在设定范围内的区域的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，能够比较真实且全面的反映样品的扫描区域在厚度方向上的结构特征，而不会造成扫描区域的一部分的图像数据未被收集到的情况的发生，使得后续利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据，获取到的不同散焦的图层图像能够比较全面的包含样品的扫描区域的某一厚度的结构特征，使构建出的三维结构不会发生丢失楔形边缘的缺陷，并进一步通过对三维结构评估以及优化不同散焦的图层图像，使构建出的三维结构能够更真实的反映扫描区域的三维结构，有效的降低重构的三维结构的误差，并提高重构的三维结构的准确性。

其中，上述步骤S202的具体实现可包括：通过电子显微镜像素阵列探测器收取设定范围内的不同散焦深度的多组逐点CBED图像数据。

该电子显微镜像素阵列探测器在现有技术中主要是一种用来收集电子显微镜的固定散焦深度下的投影图像的数据的组件。本申请通过调控电子显微镜像素阵列探测器采集数据的多个散焦深度，实现在不同散焦深度的多组逐点CBED图像数据。通过该过程能够有效地提高收集数据的速度，减少数据漂移，以有效地提高不同散焦深度的多组逐点CBED图像数据的准确性。

其中，上述步骤S204的评估过程主要是：利用构建的当前三维结构的各个方向投影图以及三维结构的各个图层图像的像素强度，判断三维结构是否满足收敛条件。具体判断过程可包括下述计算公式(1)、(2)、(3)以及(4)：

其中，

在本发明实施例中，为了减少计算资源消耗，同时能够保证并提高针对不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据处理的一致性，上述三维重构方法还可进一步包括：按照电子束扫描坐标，将在不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据组成衍射盘图像。其中，电子束扫描坐标一般是指在一个预设的坐标系中，上述不同探针位置在该坐标系中的坐标，比如上述图3所示的A1、A2、A3、A4、A5、A6、A7、……等对应的探针位置在一个坐标系中的坐标。另外，上述将在不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据组成衍射盘图像是指将在不同探针位置收集到的属于同一散焦深度的逐点CBED图像的像素点按照像素点的坐标位置放置到同一衍射盘图像中，比如，将在图3中的A1所对应的探针位置采集到的图4所示的散焦深度K2的逐点CBED图像的像素点，在图3中的A2所对应的探针位置采集到的图4所示的散焦深度K2的逐点CBED图像的像素点，在图3中的A3所对应的探针位置采集到的图4所示的散焦深度K2的逐点CBED图像的像素点等组成同一衍射盘图像。将在图3中的A1所对应的探针位置采集到的图4所示的散焦深度Km的逐点CBED图像的像素点，在图3中的A2所对应的探针位置采集到的图4所示的散焦深度Km的逐点CBED图像的像素点，在图3中的A3所对应的探针位置采集到的图4所示的散焦深度Km的逐点CBED图像的像素点等组成同一衍射盘图像。相应地，如图5所示，上述步骤S203的具体实施方式可包括如下步骤：

步骤S501：针对每一个散焦深度的衍射盘图像，确定衍射盘图像包括的像素图像；

其中，像素图像一般是电子束在通过一个平面后，该平面在散焦深度上的各个投影像素点所组成的图像。

值得说明的是，电子束的剖面一般为多个共圆心的环形结构，其中，环形结构是由多条光线构成，同一环形结构上的光线所经过的平面在同一散焦深度上的投影的位移量一般相同，因此，像素图像包括的各个投影像素点一般是由电子束中构成同一环形结构的光线经过特定平面后在同一散焦深度上形成的。

步骤S502：利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和多个衍射盘图像包括的像素图像，计算衍射盘图像所包含的像素图像相对中心的位移量；

该步骤计算衍射盘图像所包含的像素图像相对中心的位移量可以根据下述计算组(5)计算得到。

其中，x

步骤S503：根据位移量，位移像素图像；

步骤S504：通过处理位移后的像素图像，得到不同散焦的图层图像。

通过上述过程，可对各个像素点进行校正，然后对校正后的像素点进行处理，以得到比较准确的图层图像。

其中，确定衍射盘图像包括的像素图像的具体实现可包括：以衍射盘图像的中心为圆心，从衍射盘图像选择一个或多个环形结构，其中，每一个环形结构包括的多个像素点构成一个像素图像。如图6所示的一个衍射盘图像60中环形结构a、b、c、d等上的像素点分别对应一个像素图像(比如，环形结构a上的像素点组成一个像素图像，环形结构b上的像素点组成另一个像素图像等)。如上面所述，通过从土6所示的衍射盘图像60选择一个或多个环形结构a、b、c、d等，得到的像素图像所包括的多个像素点是由电子束中构成同一环形结构的光线经过特定平面后在同一散焦深度上形成的。通过综合考虑像素图像的各个像素点相对中心的位移量，能够更好地反映出各个像素点的位移量，同时能够简化计算量，降低位移量对计算资源的消耗。

值得说明的是，上述计算衍射盘图像所包含的像素图像相对中心的位移量主要是从第二个衍射深度的衍射盘图像开始，计算各个衍射盘图像上的像素图像相对第一个衍射深度的衍射盘图像中的像素图像的位移量，或者从第二个衍射深度的衍射盘图像开始，计算各个衍射盘图像上的像素图像相对其对应的上一个衍射深度的衍射盘图像中的像素图像的位移量，以实现对齐各个衍射深度的衍射盘图像中的像素图像。

具体地，上述计算衍射盘图像所包含的像素图像相对中心的位移量的具体实施方式可包括：针对像素图像包括的每一个像素点，利用调整后的散焦深度的层间距或者初设的散焦深度的层间距、电子束夹角以及像素点在电子束入射方向上的像素点阵平面内的投影与构建的二维坐标系中x轴的夹角，分别计算像素点在像素点阵平面内向x坐标轴方向移动的像素距离以及向y坐标轴方向移动的像素距离；根据像素图像包括的每一个像素点在像素点阵平面内向x坐标轴方向移动的像素距离以及向y坐标轴方向移动的像素距离，计算像素图像的偏移量。

下面以图6所示的衍射盘图像60中的一个环形结构所对应的像素图像为例，详细说明上述电子束夹角以及像素点在电子束入射方向上的像素点阵平面内的投影与构建的二维坐标系中x轴的夹角。如图7所示，电子束的中心线l经过二维坐标系xOy的原点(该二维坐标系xOy的原点经过像素图像的中心)，其中，电子束的中心线l与形成像素图像上的像素点的光线l'之间的夹角θ

其中，计算像素点在像素点阵平面内向x坐标轴方向移动的像素距离以及向y坐标轴方向移动的像素距离可以通过下述计算公式组(6)计算得到。

其中，x

其中，计算像素图像的偏移量主要是计算像素图像包括的各个像素点在像素点阵平面内向x坐标轴方向移动的像素距离的均值以及各个像素点在像素点阵平面内向y坐标轴方向移动的像素距离的均值。

更具体地，上述将在不同探针位置收取到的属于同一散焦深度的逐点CBED图像数据组成衍射盘图像的具体实施方式可包括：针对每一个散焦深度的逐点CBED图像数据，按照逐点CBED图像数据中各个像素点的像素强度，将逐点CBED图像数据转化为图像域积分图像；将不同散焦深度的逐点CBED图像数据转化出的图像域积分图像组成衍射盘图像。其中，逐点CBED图像数据转化为图像域积分图像可通过现有的图像域积分方式处理逐点CBED图像数据中的每一个像素点实现，主要是利用逐点CBED图像数据中由同一方向的光线辐射得到的像素点构成一张图像域积分图像，其中，逐点CBED图像数据中由某一方向的光线辐射扫描位置K得到的像素点对应于图像域积分图像的位置K，详细转换过程在此不再赘述。

进一步地，如图10所示，上述步骤S504的处理位移后的像素图像的具体实施方式可包括如下步骤：

步骤S1001：对位移后的像素图像上的像素点进行加和及投影处理，以得到由多个衍射盘图像所对应的散焦图像构成的散焦图像序列；

其中，同一个衍射盘图像包括的多个像素图像中的像素点在位移后，通过加和(即具有重叠的像素点相加和)，并将该加和后的像素点在一个方向上进行投影得到该衍射盘图像的散焦图像。

散焦图像序列中每相邻两个散焦图像分别对应于散焦深度相邻的两个衍射盘图像。比如，从散焦深度的起始位置开始，随着散焦深度增加，顺次得到的衍射盘图像为T1、T2、T3、T4、…，其中，衍射盘图像T1中的各个像素图像上的像素点在位移后通过加和及投影处理得到散焦图像T1'，衍射盘图像T2得到散焦图像T2'，衍射盘图像T3得到散焦图像T3'，衍射盘图像T4得到散焦图像T4'等，则散焦图像序列{T1'，T2'，T3'，T4'，……}。

步骤S1002：将散焦图像序列中每相邻两个散焦图像进行像素点差值处理；

即T2'与T1'进行差值处理得到T2'-T1'的散焦图像，T3'与T2'进行差值处理得到T3'-T2'的散焦图像，T4'与T3'进行差值处理得到T4'-T3'的散焦图像等，如果散焦图像序列中有80个散焦图像，则通过插值处理后变成79个像素点差值处理后的散焦图像。

步骤S1003：按照预设的图像阈值，对像素点差值处理后的散焦图像序列进行分割，得到不同散焦的当前图层图像。

该预设的图像阈值可以是根据经验确定出的，比如可以为1000，2000，10000等数值。比如，通过该步骤分别对上述T2'-T1'的散焦图像，T3'-T2'的散焦图像以及T4'-T3'的散焦图像等进行分割，以分割出不同散焦深度的图层图像，即进一步将各个差值处理后的散焦图像划分到不同的散焦深度，以实现进一步拆分出不同图层的图像数据。

进一步地，为了提高三维重构的效率，减少不必要的因素对计算资源的消耗，上述三维重构方法还可进一步包括：将逐点CBED图像数据包括的负数像素值置零，并对逐点CBED图像数据进行归一化处理。相应地，上述将在不同探针位置收取到的属于同一散焦深度的逐点CBED图像数据组成衍射盘图像的具体实施方式可包括：将属于同一散焦深度的归一化处理后的不同探针位置的逐点CBED图像数据组成衍射盘图像。

进一步地，为了提高三维重构的准确性，减少背景等不必要因素对图像的干扰，在上述组成衍射盘图像之后，还可进一步包括：对衍射盘图像进行边沿提取，得到样品轮廓，将样品轮廓添加到收敛条件。

其中，对衍射盘图像进行边沿提取的具体实施方式可包括：对衍射盘图像进行降噪处理；通过预设的边界判据模型，提取衍射盘图像中不同相对信号强度的边界位置，以得到包括样品在三维空间内几何边缘形貌轮廓信息以及样品关键位置的边缘特征的样品轮廓。其中，预设的边界判据模型可以是根据现有的样品比如颗粒样品或者包含电路的样品等通过模型训练得到或者预设的边界像素点强度差值得到(即在像素点的像素强度与其相邻的外部的像素点的像素强度之间的差值达到预设阈值的情况下，确定该像素点为边界像素点，或者从图像外周向内查找像素值发生突变的像素点位边界像素点)。

下面以采集某一包含微型电路的样品为例，详细说明该样品的微型电路的三维重构过程，如图11所示，该三维重构方法可包括如下步骤：

步骤S1101：在扫描透射成像模式下，对包含微型电路的样品所在的实空间在多个探针位置进行会聚电子束扫描；

步骤S1102：针对每一个探针位置，通过电子显微镜像素阵列探测器执行收取设定范围内的不同散焦深度的多组逐点CBED图像数据；

其中，图12A所示为包含微型电路的样品在不同散焦深度的多组逐点CBED图像数据所对应的图像。

步骤S1103：将逐点CBED图像数据包括的负数像素值置零，并对逐点CBED图像数据进行归一化处理；

步骤S1104：按照电子束扫描坐标，针对每一个散焦深度的归一化处理后的逐点CBED图像数据，按照逐点CBED图像数据中各个像素点的像素强度，将逐点CBED图像数据转化为图像域积分图像；

步骤S1105：将不同散焦深度的逐点CBED图像数据转化出的图像域积分图像组成衍射盘图像；

步骤S1106：对衍射盘图像进行降噪处理；

步骤S1107：通过预设的边界判据模型，提取衍射盘图像中不同相对信号强度的边界位置，以得到包括样品在三维空间内几何边缘形貌轮廓信息以及样品关键位置的边缘特征的样品轮廓，将样品轮廓添加到收敛条件；

该步骤S1106和步骤S1107是为了得到样品轮廓，其与后续步骤S1108之间没有严格的执行顺序。

步骤S1108：针对每一个散焦深度的衍射盘图像，确定衍射盘图像包括的像素图像；

该步骤主要是以衍射盘图像的中心为圆心，从衍射盘图像选择一个或多个环形结构，其中，每一个环形结构包括的多个像素点构成一个像素图像。

步骤S1109：针对像素图像包括的每一个像素点，分别计算像素点在像素点阵平面内向x坐标轴方向移动的像素距离以及向y坐标轴方向移动的像素距离；

该步骤主要是利用调整后的散焦深度的层间距或者初设的散焦深度的层间距、电子束夹角以及像素点在电子束入射方向上的像素点阵平面内的投影与构建的二维坐标系中x轴的夹角，分别计算像素点在像素点阵平面内向x坐标轴方向移动的像素距离以及向y坐标轴方向移动的像素距离；

步骤S1110：根据像素图像包括的每一个像素点在像素点阵平面内向x坐标轴方向移动的像素距离以及向y坐标轴方向移动的像素距离，计算像素图像的偏移量；

步骤S1111：根据像素图像的偏移量，向中心位移像素图像所包括的多个像素点；

步骤S1112：对位移后的像素图像上的像素点进行加和及投影处理，以得到由多个衍射盘图像所对应的散焦图像构成的散焦图像序列；

步骤S1113：将散焦图像序列中每相邻两个散焦图像进行像素点差值处理；

步骤S1114：按照预设的图像阈值，对像素点差值处理后的散焦图像序列进行分割，得到不同散焦的图层图像；

步骤S1115：利用不同散焦的图层图像构建样品的当前三维结构，并利用构建的当前三维结构的各个方向投影图以及三维结构的各个图层图像的像素强度，判断三维结构是否满足收敛条件，如果满足，则执行步骤S1116；否则，执行步骤S1117；

步骤S1116：确定当前三维结构为样品的三维结构，并结束当前流程；

步骤S1117：调整不同散焦深度的层间距，并执行步骤S1109。

通过上述过程，基于图12A所示的包含微型电路的样品在不同散焦深度的多组逐点CBED图像数据所对应的图像，对包含微型电路的样品进行三维重构得到图12B所示的三维结构图。

图13是本发明实施例提供的一种基于4D STEM图像序列的三维重构装置的结构示意图。如图13所示，该三维重构装置1300可包括：数据收集模块1301和数据处理模块1302，其中，

数据收集模块1301，用于在扫描透射成像模式下，对包含样品的实空间在多个探针位置进行会聚电子束扫描的情况下，针对每一个所述探针位置，同步收取设定范围内的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，其中，所述样品的部分区域位于所述设定范围内；

数据处理模块1302，用于循环执行下述步骤N1和N2，直至得到满足预设收敛条件的三维结构：

N1：利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据，获取不同散焦的图层图像；

N2：利用不同散焦的图层图像构建样品的当前三维结构，并对当前三维结构进行评估，在评估结果指示当前三维结构满足预设的收敛条件的情况下，确定当前三维结构为样品的三维结构；否则，调整不同散焦深度的层间距，并执行步骤N1。

在本发明实施例中，数据收集模块1301，用于通过电子显微镜像素阵列探测器执行收取设定范围内的不同散焦深度的多组逐点CBED图像数据。

在本发明实施例中，数据处理模块1302，进一步用于按照电子束扫描坐标，将在不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据组成衍射盘图像；针对每一个散焦深度的衍射盘图像，确定衍射盘图像包括的像素图像；利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和多个衍射盘图像包括的像素图像，计算衍射盘图像所包含的像素图像相对中心的位移量；根据位移量，位移像素图像；通过处理位移后的像素图像，得到不同散焦的图层图像。

在本发明实施例中，数据处理模块1302，进一步用于对位移后的像素图像上的像素点进行加和及投影处理，以得到由多个衍射盘图像所对应的散焦图像构成的散焦图像序列；将散焦图像序列中每相邻两个散焦图像进行像素点差值处理；按照预设的图像阈值，对像素点差值处理后的散焦图像序列进行分割，得到不同散焦的当前图层图像。

在本发明实施例中，数据处理模块1302，进一步用于利用构建的当前三维结构的各个方向投影图以及三维结构的各个图层图像的像素强度，判断三维结构是否满足收敛条件。

在本发明实施例中，数据处理模块1302，进一步用于将逐点CBED图像数据包括的负数像素值置零，并对逐点CBED图像数据进行归一化处理；将属于同一散焦深度的归一化处理后的不同探针位置的逐点CBED图像数据组成衍射盘图像。

在本发明实施例中，数据处理模块1302，进一步用于针对每一个散焦深度的逐点CBED图像数据，按照逐点CBED图像数据中各个像素点的像素强度，将逐点CBED图像数据转化为图像域积分图像；将不同散焦深度的逐点CBED图像数据转化出的图像域积分图像组成衍射盘图像。

在本发明实施例中，数据处理模块1302，进一步用于对衍射盘图像进行边沿提取，得到样品轮廓，将样品轮廓添加到收敛条件。

在本发明实施例中，数据处理模块1302，进一步用于对衍射盘图像进行降噪处理；通过预设的边界判据模型，提取衍射盘图像中不同相对信号强度的边界位置，以得到包括样品在三维空间内几何边缘形貌轮廓信息以及样品关键位置的边缘特征的样品轮廓。

在本发明实施例中，数据处理模块1302，进一步用于以衍射盘图像的中心为圆心，从衍射盘图像选择一个或多个环形结构，其中，每一个环形结构包括的多个像素点构成一个像素图像。

在本发明实施例中，数据处理模块1302，进一步用于针对像素图像包括的每一个像素点，利用调整后的散焦深度的层间距或者初设的散焦深度的层间距、电子束夹角以及像素点在电子束入射方向上的像素点阵平面内的投影与构建的二维坐标系中x轴的夹角，分别计算像素点在像素点阵平面内向x坐标轴方向移动的像素距离以及向y坐标轴方向移动的像素距离；根据像素图像包括的每一个像素点在像素点阵平面内向x坐标轴方向移动的像素距离以及向y坐标轴方向移动的像素距离，计算像素图像的偏移量。

在本发明实施例中，数据处理模块1302，进一步用于根据环形结构的偏移量，向中心位移像素图像所包括的多个像素点。

值得说明的是，该基于4D STEM图像序列的三维重构装置可以以插件的形式安装于现有的TEM软件中，也可以作为应用安装于终端设备或者服务器。

图14示出了一种可以应用本发明实施例的基于4D STEM图像序列的三维重构方法或基于4D STEM图像序列的三维重构装置的示例性系统架构1400。

如图14所示，系统架构1400可以包括与TEM设备直接连接的第一终端设备1401，TEM设备1402，网络1403以及用于三维重构的第二终端设备1404或者服务器1405。网络1403用以在第一终端设备1401和TEM设备1402之间，TEM设备1402和第二终端设备1403之间，第一终端设备1401和第二终端设备1404之间或者第一终端设备1401和服务器1405之间提供通信链路的介质。网络1403可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用第一终端设备1401通过网络1403与TEM设备1402交互，以获取TEM设备1402的扫描信息或发送TEM设备1402的调控信息等。第一终端设备1401上可以安装有用于调控TEM设备或者用于展示TEM扫描结果的软件等(仅为示例)。

第二终端设备1404或者服务器1405用于从第一终端设备1401和TEM设备1402分别获取与三维重构相关的数据，并对与三维重构相关的数据进行三维重构，将重构出的样品的三维结构存储并提供给用户。

第一终端设备1401和第二终端设备1404可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于膝上型便携计算机和台式计算机等等。

需要说明的是，本发明实施例所提供的基于4D STEM图像序列的三维重构方法一般由第二终端设备1404或者服务器1405执行，相应地，基于4D STEM图像序列的三维重构装置一般设置于第二终端设备1404或者服务器1405中。

应该理解，图14中的第二终端设备或者服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的第二终端设备或者服务器。

下面参考图15，其示出了适于用来实现本发明实施例的终端设备或者服务器的计算机系统1500的结构示意图。图15示出的终端设备或者服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图15所示，计算机系统1500包括中央处理单元(CPU)1501，其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。在RAM 1503中，还存储有系统1500操作所需的各种程序和数据。CPU 1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。

以下部件连接至I/O接口1505：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507；包括硬盘等的存储部分1508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入存储部分1508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1509从网络上被下载和安装，和/或从可拆卸介质1511被安装。在该计算机程序被中央处理单元(CPU)1501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据收集模块和数据处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据收集模块还可以被描述为“收取设定范围内的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：在扫描透射成像模式下，对包含样品的实空间在多个探针位置进行会聚电子束扫描；针对每一个探针位置，同步收集设定范围内的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，其中，样品至少部分区域位于设定范围内；循环执行下述步骤N1和N2，直至得到满足预设收敛条件的三维结构：N1：利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据，获取不同散焦的图层图像；N2：利用不同散焦的图层图像构建样品的当前三维结构，并对当前三维结构进行评估，在评估结果指示当前三维结构满足预设的收敛条件的情况下，确定当前三维结构为样品的三维结构；否则，调整不同散焦深度的层间距，并执行步骤N1。

根据本发明实施例的技术方案，通过在扫描透射成像模式下，对包含样品的实空间在多个探针位置进行会聚电子束扫描，并针对每一个所述探针位置，同步收集设定范围内的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，实现在不同的角度均能够扫描到样品的扫描区域的全貌，并通过采集样品在设定范围内的区域的不同散焦深度的多组逐点会聚束电子衍射(CBED)图像数据，能够比较真实且全面的反映样品的扫描区域在厚度方向上的结构特征，而不会造成扫描区域的一部分的图像数据未被收集到的情况的发生，使得后续利用确定出的不同散焦深度的层间距、会聚电子束的会聚角和不同探针位置收集到的属于同一散焦深度的逐点CBED图像数据，获取到的不同散焦的图层图像能够比较全面的包含样品的扫描区域的某一厚度的结构特征，使构建出的三维结构不会发生丢失楔形边缘的缺陷，并进一步通过对三维结构评估以及优化不同散焦的图层图像，使构建出的三维结构能够更真实的反映扫描区域的三维结构，有效的降低重构的三维结构的误差，并提高重构的三维结构的准确性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。