多波长同时照明的非相干叠层衍射成像系统及成像方法

摘要

本发明提供一种波长同时照明的非相干叠层衍射成像方法，成像过程包括以下过程：采用至少一种以上的不同激光器照明；出射的激光经过双全反射镜将光线调整至水平射出后通过双宽带分光棱镜合束；再经过空间滤波器扩束，再经过复消色差透镜准直后打到探针上；探针对待测样品进行叠层扫描；使用成像探测器记录各探针扫描位置的衍射图像的强度信息；将记录的衍射图像强度信息代入基于叠层扫描的多路复用迭代算法，恢复待测样品的复振幅分布、探针的复振幅分布和光谱权重。本发明的成像方案与相对应的算法，不仅能够恢复不同波段下对应的复振幅待测样品，同时也能恢复不同波段的光谱权重和不同波段下对应的照明探针的复振幅分布。

说明书

技术领域

本发明属于叠层衍射成像技术(Ptychography)领域，具体涉及一种将待测待测样 品用多波长同时照明的非相干叠层衍射成像方案，提出多路复用的叠层衍射成像算法。

背景技术

生物和材料科学等领域中，传统的使用透镜的光学成像技术无法满足如今日益增 长的高分辨率成像的需求。这些成像技术的分辨率主要受限于透镜的数值孔径大小，尤其 在X射线领域中，大数值孔径的透镜是极其难以制造的。因此，叠层成像术作为一种新兴的 无透镜的成像技术正受到越来越多的关注。

叠层成像技术是一种无透镜的扫描相干衍射成像技术，通过控制照明光束或者待 测样品，照明待测样品上的不同位置，进而用获得的一系列衍射图样进行迭代恢复出待测 样品图像。参见(Ultramicroscopy10(3):187～198，1987)。叠层迭代算法本质上属于一种 相位恢复算法，但是它又与传统的相位恢复算法不一样，在对每个位置的衍射分布进行相 位恢复时都进行了约束，消除了解的二义性，因此相对于传统的相位恢复算法，收敛速度有 了一定的提高，可以较快的恢复出样本图像信息。

传统的叠层成像技术往往采用单波长照明，即使使用多波长照明来提升恢复质量 也是采用依次照明的方式，参见(ActaPhys.Sin.Vol.65，No.1(2016)014204)，操作繁琐， 处理周期较长；同时对光的相干性要求很高，非相干光照明一直被认为不利于衍射成像，参 见(DongSY，ShiradkarR，NandaP，ZhengGA2014Biomed.Opt.Express51757)

发明内容

本发明的目的是提供一种多波长同时照明的菲涅尔域非相干叠层衍射成像技术， 可以恢复不同波段下对应的待测样品的复振幅信息，同时也能恢复不同波段的光谱权重和 不同波段下对应的不同照明探针的复振幅分布。

本发明的技术解决方案是：

一种多波长同时照明的非相干叠层衍射成像系统，其特别之处在于：包括沿光路 依次设置的双宽带分光棱镜、空间滤波器、复消色差透镜、探针及成像探测器；还包括激光 器，所述激光器的出射光通过双全反射镜垂直射入双宽带分光棱镜；待测样品位于探针和 成像探测器之间。

上述激光器为三个，分别为红光激光器、绿光激光器和蓝光激光器。

为了方便使用，采用孔径光阑作为探针。

上述成像探测器为面阵CCD，型号为CoolsnapEZ型，单像素尺寸为6.45um× 6.45um，窗口大小为1392pixels×1040pixels。

上述探针距离待测样品d＝28mm，待测样品衍射至成像探测器的距离D＝100mm。

本发明还提供一种多波长同时照明的非相干叠层衍射成像方法，其特别之处在 于：成像过程包括以下过程：

1)采用至少一种以上的不同激光器照明；

2)出射的激光分别经过相应的双全反射镜将光线调整至水平射出后通过双宽带 分光棱镜合束；

3)合束后的光线经过空间滤波器扩束，再经过复消色差透镜准直后打到探针上；

4)探针通过精密机械平移台实现固定步长的扫描，对待测样品进行叠层扫描；相 邻两次扫描时照射部分有交叠；使用成像探测器记录各探针扫描位置的衍射图像的强度信 息；

5)将步骤4)记录的衍射图像强度信息代入基于叠层扫描的多路复用迭代算法，恢 复待测样品的复振幅分布、探针的复振幅分布和光谱权重。

上述基于叠层扫描的多路复用迭代算法详细步骤如下：

步骤5.1设待测样品的复振幅分布为O_m[r(x，y)]，探针的复振幅分布为P_m[r(x， y)]，光谱权重为S_c，m，其中r(x，y)为物平面笛卡尔坐标系所对应的坐标；探针扫描步长为R_c＝(R_x，c，R_y，c)，c＝1，2，…，n，其中c为探针个数，m为波长个数；像平面笛卡尔坐标系所对应 的坐标为u(x，y)；

采用全1矩阵的评估方式分别随机评估不同波长下对应的待测样品复振幅分布O_m[r(x，y)]、探针的复振幅分布P_m[r(x，y)]和光谱权重S_c，m；；

步骤5.2结合步骤5.1评估的光谱权重S_c，m、待测样品复振幅分布O_m[r(x，y)]及探 针的复振幅分布P_m[r(x，y)]，根据公式(1)计算多波长同时照明待测样品后所得到的出射 波的复振幅分布：

$E_{c,m}\left[r(x,y)\right]=\frac{\sqrt{S_{c,m}}}{\sqrt{{\Sigma }_{x,y}{\left|P_m\right[r(x,y)\left]\right|}^2}}·P_m\left[r(x,y)\right]·O_m\left[r(x,y)\right]---\left(1\right)$

步骤5.3根据公式(2)使步骤5.2的出射波衍射至像面，得到待测样品的衍射图样 的复振幅分布：

E_c，m[u(x，y)]＝ofrt[E_c，m[r(x，y)]](2)

步骤5.4保留步骤5.3中待测样品的衍射图样相位信息，利用更新待测样品的衍射 图样的振幅信息，得到更新后的衍射图样的复振幅分布：

$E_{c,m}^{\prime }\left[u(x,y)\right]=\frac{\sqrt{I_c\left[u(x,y)\right]}·E_{c,m}\left[u(x,y)\right]}{\sqrt{{\Sigma }_m{\left|E_{c,m}\right[u(x,y)\left]\right|}^2}}---\left(3\right)$

式中I_c[u(x，y)]为成像探测器所接收到的各个探针照明下所对应的待测样品的 强度值；

步骤5.5根据公式(4)对步骤5.4得到的更新的衍射图样做逆菲涅尔衍射至物面； 得到更新后的多波长同时照明待测样品后的出射波的复振幅分布：

E_c，m[r′(x，y)]＝iofrt[E′_c，m[u(x，y)]](4)

其中，ofrt和iofrt分别定义为菲涅尔衍射和逆菲涅尔衍射；

步骤5.6根据步骤5.2得到的E_c，m[r(x，y)]和步骤5.5得到的E_c，m[r′(x，y)]利用公 式(5)和公式(6)，并采用ePIE算法的更新式，参见(MaidenAM，RodenburgJM2009 Ultramicroscopy1091256)，更新出不同波长下对应的待测样品的复振幅分布和探针的复 振幅分布：

式中α，β分别对应于算法的搜索步长，令α，β均为1，*代表复共轭计算，且

步骤5.7根据步骤5.6得到的探针的复振幅分布更新不同波长对应的光谱权重：

S_c，m＝∑_x，y|P_m[r(x，y)]|²(8)

重复步骤5.2-5.7直到各个探针照明下成像探测器所接收的衍射图样的强度信息 即I_c[u(x，y)]都被使用完后，视为完成了一次迭代；经过多次迭代后，当相应的步骤5.4得 到的E′_c，m[u(x，y)]与步骤5.3得到的E_c，m[u(x，y)]的均方误差小于0.01时，该算法达到收 敛；收敛的条件即均方误差的大小视具体需求而定，这里的0.03是经过多次尝试选择的经 验值。均方误差的计算公式为：

$SSE=\frac{{\Sigma }_{c,u}{|{\Sigma }_m{\left|E_{c,m}\right[u(x,y)\left]\right|}^2-I_c[u(x,y)\left]\right|}^2}{{\Sigma }_{c,u}{I}_c\left[u(x,y)\right]}---\left(9\right)$

当算法达到收敛后，提取多波长照明下所得到的待测样品所对应的各个波段的复 振幅分布，进行彩色编码即可实现待测样品的真彩色恢复，同时也可以提高成像质量；采用 NTSC制的编码方式，相应的编码公式为

$\left(\begin{array}{c}Y\\ I\\ Q\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(10\right)$

实验中，使用均方误差MSE评价复原的质量；MSE值越小，表示复原的质量越好；计 算两张图片f(x，y)和g(x，y)的均方误差计算公式如下：

$MSE=\frac{1}{M\times N}{\Sigma }_{x=1}^N{\Sigma }_{y=1}^M{[f(x,y)-g(x,y)]}^2---\left(11\right)$

其中，M，N分别是x，y方向的像素个数。

上述探针直径为3.0mm，探针移动距离为0.5mm，交叠率为83.3％。

本发明的有益效果是：

1、本发明的成像方案与相对应的算法，不仅能够恢复不同波段下对应的复振幅待 测样品，同时也能恢复不同波段的光谱权重和不同波段下对应的照明探针的复振幅分布；

2、本发明能够通过获得多波段同时照明下的衍射图样，恢复不同波段下对应的待 测样品，即待测样品的光谱响应，具有传统叠层衍射成像不具有的多通道和多光谱的优势；

3、本发明通过彩色图像编码的方式，实现待测样品的真彩色恢复和图像质量的增 强。

附图说明

图1为本发明的成像方法以三波长同时照明的菲涅尔域非相干叠层衍射成像的成 像光路图。

图2为本发明的叠层衍射成像的多路复用算法流程图。

图3a是本发明实验过程中所用的待测样品即成像透镜拍摄的植物径横切组织。

图3b是本发明实验过程中CCD接收的非相干衍射图样。

图3c是本发明实验过程中仅用红光照明时对应的衍射图样。

图3d是本发明实验过程中仅用绿光照明时对应的衍射图样。

图3e是本发明实验过程中仅用蓝光照明时对应的衍射图样。

图4a是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的红色 波长对应的振幅图样。

图4b是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的红色 波长对应的相位图样。

图4c是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的绿色 波长对应的振幅图样。

图4d是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的绿色 波长对应的相位图样。

图4e是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的蓝色 波长对应的振幅图样。

图4f是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的蓝色 波长对应的振幅图样。

图4g是本发明实验过程中三波长同时照明后经彩色编码后的真彩色振幅图样。

图4h是本发明实验过程中三波长同时照明后经彩色编码后的真彩色相位图样。

图5a是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的红色 波长对应的探针的振幅图样。

图5b是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的红色 波长对应的探针的相位图样。

图5c是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的绿色 波长对应的探针的振幅图样。

图5d是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的绿色 波长对应的探针的相位图样。

图5e是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的蓝色 波长对应的探针的振幅图样。

图5f是本发明实验过程中三波长同时照明后经本发明所提出算法恢复出的蓝色 波长对应的探针的相位图样。

图6a是本发明仿真过程中所使用的待测样品的真彩色振幅图样。

图6b是本发明仿真过程中所使用的待测样品的真彩色相位图样。

图6c是本发明仿真过程中所使用的待测样品在红色波长照明下对应的振幅图样。

图6d是本发明仿真过程中所使用的待测样品在红色波长照明下对应的相位图样。

图6e是本发明仿真过程中所使用的待测样品在绿色波长照明下对应的振幅图样。

图6f是本发明仿真过程中所使用的待测样品在绿色波长照明下对应的相

位图样。

图6g是本发明仿真过程中所使用的待测样品在蓝色波长照明下对应的振

幅图样。

图6h是本发明仿真过程中所使用的待测样品在蓝色波长照明下对应的相位图样。

图7a是本发明仿真过程中三波长同时照明后经彩色编码后的真彩色振幅图样。

图7b是本发明仿真过程中三波长同时照明后经彩色编码后的真彩色相位图样。

图7c是本发明仿真过程中三波长同时照明后经本发明所提出算法恢复出的红色 波长对应的振幅图样。

图7d是本发明仿真过程中三波长同时照明后经本发明所提出算法恢复出的红色 波长对应的相位图样。

图7e是本发明仿真过程中三波长同时照明后经本发明所提出算法恢复出的绿色 波长对应的振幅图样。

图7f是本发明仿真过程中三波长同时照明后经本发明所提出算法恢复出的绿色 波长对应的相位图样。

图7g是本发明仿真过程中三波长同时照明后经本发明所提出算法恢复出的蓝色 波长对应的振幅图样。

图7h是本发明仿真过程中三波长同时照明后经本发明所提出算法恢复出的蓝色 波长对应的相位图样。

图中附图标记：1-红光激光器；2-绿光激光器；3-蓝光激光器；4-双全反射镜I；5- 双全反射镜II；6-双全反射镜III；7-双宽带分光棱镜I；8-空间滤波器；9-复消色差透镜； 10-CCD；11-双宽带分光棱镜II。

具体实施方式

下面结合附图对本发明做进一步的描述，在本实施例中采用三种不同的激光器照 明，分别为红光He-Ne激光器1、绿光半导体激光器2和蓝光半导体激光器3。

如图1所示，本发明的成像过程为：

首先采用以上三种激光器照明；出射的三束激光分别经过相应的三个双全反射镜 将光线调整至水平射出后通过双宽带分光棱镜I7和双宽带分光棱镜II11合束；合束后的光 线经过空间滤波器8扩束，再经过复消色差透镜9准直，再利用孔径光阑作为探针；使激光通 过探针照射在待测样品上，通过移动带探针的精密机械平移台实现固定步长的扫描，对待 测样品进行叠层扫描；利用成像探测器记录衍射图像强度；使用基于叠层扫描的多路复用 迭代算法恢复待测样品的复振幅分布、探针的复振幅分布和光谱权重。

探针移动距离保证相邻两次平移时照射部分由一定面积的交叠。本实施例中所用 探针直径为3.0mm，探针移动距离为0.5mm，交叠率为83.3％；探针距离待测样品d＝28mm，待 测样品衍射至成像探测器的距离D＝100mm。成像探测器为面阵CCD(CoolsnapEZ型)，单像 素尺寸为6.45um×6.45um，窗口大小为1392pixels×1040pixels。

如图2所示，为本发明的叠层衍射成像的多路复用算法流程图，详细步骤如下：

步骤1设待测样品的复振幅分布为O_m[r(x，y)]，探针的复振幅分布为P_m[r(x，y)]， 光谱权重为S_c，m，其中r(x，y)为物平面笛卡尔坐标系所对应的坐标；探针扫描步长为R_c＝ (R_x，c，R_y，c)，c＝1，2，…，n，其中c为探针个数，m为波长个数；像平面笛卡尔坐标系所对应的 坐标为u(x，y)；

采用全1矩阵的评估方式分别随机评估不同波长下对应的待测样品复振幅分布O_m[r(x，y)]、探针的复振幅分布P_m[r(x，y)]和光谱权重S_c，m；；

步骤2结合步骤1评估的光谱权重S_c，m、待测样品复振幅分布O_m[r(x，y)]及探针的 复振幅分布P_m[r(x，y)]，根据公式(1)计算多波长同时照明待测样品后所得到的出射波的 复振幅分布：

$E_{c,m}\left[r(x,y)\right]=\frac{\sqrt{S_{c,m}}}{\sqrt{{\Sigma }_{x,y}{\left|P_m\right[r(x,y)\left]\right|}^2}}·P_m\left[r(x,y)\right]·O_m\left[r(x,y)\right]---\left(1\right)$

步骤3根据公式(2)使步骤2的出射波衍射至像面，得到待测样品的衍射图样的复 振幅分布：

E_c，m[u(x，y)]＝ofrt[E_c，m[r(x，y)]](2)

步骤4保留步骤3中待测样品的衍射图样相位信息，利用更新待测样品的衍射图样 的振幅信息，得到更新后的衍射图样的复振幅分布：

$E_{c,m}^{\prime }\left[u(x,y)\right]=\frac{\sqrt{I_c\left[u(x,y)\right]}·E_{c,m}\left[u(x,y)\right]}{\sqrt{{\Sigma }_m{\left|E_{c,m}\right[u(x,y)\left]\right|}^2}}---\left(3\right)$

式中I_c[u(x，y)]为成像探测器所接收到的各个探针照明下所对应的待测样品的 强度值；

步骤5根据公式(4)对步骤4得到的更新的衍射图样做逆菲涅尔衍射至物面；得到 更新后的多波长同时照明待测样品后的出射波的复振幅分布：

E_c，m[r′(x，y)]＝iofrt[E′_c，m[u(x，y)]](4)

其中，ofrt和iofrt分别定义为菲涅尔衍射和逆菲涅尔衍射；

步骤6根据步骤2得到的E_c，m[r(x，y)]和步骤5得到的E_c，m[r′(x，y)]利用公式(5)和 公式(6)，并采用ePIE算法的更新式，参见(MaidenAM，RodenburgJM2009 Ultramicroscopy1091256)，更新出不同波长下对应的待测样品的复振幅分布和探针的复 振幅分布：

式中α，β分别对应于算法的搜索步长，令α，β均为1，*代表复共轭计算，且

步骤7根据步骤6得到的探针的复振幅分布更新不同波长对应的光谱权重：

S_c，m＝∑_x，y|P_m[r(x，y)]|²(8)

重复步骤2-7直到各个探针照明下成像探测器所接收的衍射图样的强度信息即I_c[u(x，y)]都被使用完后，视为完成了一次迭代；经过多次迭代后，当相应的步骤4得到的 E′_c，m[u(x，y)]与步骤3得到的E_c，m[u(x，y)]的均方误差小于0.01时，该算法达到收敛；收敛 的条件即均方误差的大小视具体需求而定，这里的0.03是经过多次尝试选择的经验值。均 方误差的计算公式为：

$SSE=\frac{{\Sigma }_{c,u}{|{\Sigma }_m{\left|E_{c,m}\right[u(x,y)\left]\right|}^2-I_c[u(x,y)\left]\right|}^2}{{\Sigma }_{c,u}{I}_c\left[u(x,y)\right]}---\left(9\right)$

当算法达到收敛后，提取多波长照明下所得到的待测样品所对应的各个波段的复 振幅分布，进行彩色编码即可实现待测样品的真彩色恢复，同时也可以提高成像质量；采用 NTSC制的编码方式，相应的编码公式为

$\left(\begin{array}{c}Y\\ I\\ Q\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(10\right)$

实验中，使用均方误差MSE评价复原的质量；MSE值越小，表示复原的质量越好；计 算两张图片f(x，y)和g(x，y)的均方误差计算公式如下：

$MSE=\frac{1}{M\times N}{\Sigma }_{x=1}^N{\Sigma }_{y=1}^M{[f(x,y)-g(x,y)]}^2---\left(11\right)$

其中，M，N分别是x，y方向的像素个数。

使用图3a所示的植物茎横切组织作为样品。直观地将三束激光调整至约为等比例 混合，图3b所示的为CCD接收的一个衍射图样，它是由红绿蓝三波段分别对应的衍射图样非 相干叠加而成，通过遮挡其它两束光分别获得如图3c-3e仅用红光、绿光及蓝光照明时对应 的衍射图样。可以看出由于非相干叠加，三波段混合后的衍射图样没有各个波段对应的衍 射图样清晰，但是三波段各自所包含的信息仍然是在其中的。

通过使用提出的多路复用迭代算法，迭代300次后恢复结果如图4a-4h所示，其中 图4a，图4c，图4e分别为红绿蓝三波段恢复的振幅信息，图4b，图4d，图4f分别为红绿蓝三波 段恢复的相位信息，图4g和图4h分别为经过彩色编码后的真彩色图样。实验恢复的光谱比 例为1:1.04:0.93，近似于等比例，与上述直观上设计的大致相同。实际上红绿蓝三波段恢 复结果为该待测样品对应的光谱响应，可以看出除中心细节略有不同外，该待测样品对红 绿蓝三波长的光谱响应大体一致。通过彩色编码获得的真彩色图像清晰度高于三波段对应 的恢复结果，证明彩色编码确实能够提升图像的恢复质量。从而我们不仅能够很好地恢复 待测样品的真彩色复振幅图像，同时也能够获得不同波段下的光谱响应，这对进一步对待 测样品处理，如挖掘待测样品详细信息，辨别待测样品提供了更多的可能性。

实验中也同时恢复了各波段的复振幅探针，结果如图5a-5f所示，其中图5a，图5c， 图5e为三波段恢复的振幅信息，而图5b，图5d，图5f为三波段恢复的相位信息。可以看出各 个探针并不相同，这是由于不同波长的光束经过探针后的照明光束并不相同，这也说明了 该算法不仅能够恢复待测样品，同时也能够恢复出不同波段分别对应的复振幅探针。

在验证本发明所提出的成像技术及所对应的算法过程中，我们不仅通过实验还通 过仿真对本发明进行了进一步的验证，由于仿真不存在误差，且在仿真过程中探针和光谱 权重是给出的已知量，所以我们仅对待测样品的真彩色图样及各波长下该待测样品对应振 幅和相位信息进行了恢复。仿真部分的具体实施方式如下：

仿真中所使用的真彩色待测样品的振幅信息如图6a所示，相位信息如图6b所示， 三波长分别对应的待测样品的复振幅分布如图6c-6h所示，其中图6c，图6e，图6g为红绿蓝 三波长分别对应待测样品的复振幅分布中振幅信息；图6d，图6f，图6h为红绿蓝三波长分别 对应待测样品的复振幅分布中的相位信息。仿真使用的参数如下：照明光束采用632.8nm， 532nm，473nm三种波长，三波长完全等比例混合即光谱权重为1：1：1，探针扫描使用10×10 的阵列，探针移动距离为12pixels，探针直径为40pixels，交叠率为70％，衍射面上有效采 样点为128pixels×128pixels，探针紧贴物体放置，物体距CCD为50mm。通过matlab2013软 件对上述参数所对应的装置进行仿真，各个探针下所得到的不同波长对应的复振幅分布即 图样不予输出，直接代入本发明所提出的算法进行迭代，并得到最终的恢复结果。

在经过算法迭代300次后的恢复结果如图7a-7h所示，其中待测样品经三波长同时 照明后并用该算法恢复的各个波长所对应的复振幅分布如图7c-7h所示，图7c，图7e，图7g 分别为红绿蓝三波长对应的待测样品的的振幅信息，图7d，图7f，图7h分别为红绿蓝三波长 对应的待测样品的的相位信息，通过彩色编码后得到图7a所示的待测样品的真彩色物体的 振幅信息，图7b所示的待测样品的真彩色物体的相位信息。

表1恢复结果的均方误差

恢复结果的均方误差如表1所示，可以看出其中最大的均方误差仅为0.0218，满足 收敛条件，各波段恢复的光谱响应图像质量非常好。相位图像的质量明显好于振幅图像，振 幅图样会有些偏暗，这主要是由于在数据处理中，对混合的复振幅分布中的振幅信息进行 归一化处理，从而使各波长的振幅都比较偏小，从而图像会偏暗一些。

本发明通过实验和仿真共同验证了多波长同时照明非相干叠层衍射成像方案的 可行性。证明了该方案具有多通道和多光谱的优势。同时，通过彩色图像编码的方式，能够 实现待测样品的真彩色复原和图像质量的增强，这些是传统的叠层衍射成像所不具备的。 本发明所提出的研究结果为叠层衍射成像技术在可见光域、电子波段、X射线等领域展现了 更多的可能性。