基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法

摘要

为解决传统的无镜头相机图像重建方法对于噪声较为敏感、系统景深较低的技术问题，本发明提供了一种基于编码掩模与Learned‑TSVD算法的无镜头相机图像重建方法，使用编码掩模对光的传播过程进行编码，并利用编码掩模的可分离特性及TSVD算法将原始的大尺度系统测量矩阵转化为尺度较小的左、右两个系统测量矩阵；接下来构建神经网络训练对左、右系统测量矩阵循环训练，减小近似运算对最终结果产生的误差；最后通过TSVD算法与正则化算法重建图像。本发明使用经过学习的系统测量矩阵进行后续计算使整体重建过程抗噪声影响能力更强；用经过学习的系统测量矩阵可较好的重建其他距离处的场景图像，解决了其他重建算法景深较低的问题。

说明书

技术领域

本发明涉及成像技术领域，具体涉及一种基于编码掩模与Learned-TSVD算法的无镜头相机(即无镜头成像系统)拍摄的场景图像的重建方法。

背景技术

无镜头成像技术是一种采用空间光调制器、衍射光学器件、编码掩模等光学器件代替物理镜头，在满足厚度薄、重量轻、能耗低、成本低的约束条件之下实现光的测量和场景再现的新型成像技术。

无镜头编码掩模成像系统采集的图像为非聚焦图像，在采用特定的算法进行重建之前具有人眼不可分辨性质，故而在图像视频数据测量过程中可以有效保护其中包含的秘密内容，在对信息加密有需求场景有着非常广阔的应用前景。

目前，无镜头编码掩膜成像系统的图像重建多采用传统的矩阵优化重建算法，该矩阵优化重建算法对于同类型的病态矩阵求逆问题具有相同的缺点，系统测量矩阵中微小的扰动都会使得结果偏差较多，噪声对重建结果产生的影响很大。而最近新出现的基于卷积神经网络的无镜头编码掩膜成像系统的图像重建算法不仅需要大量的实验数据用于训练，对于距离的鲁棒性还很差，系统的景深很低，只能在系统环境几乎完全相同的情况下才能较好的重建图像。

发明内容

为解决传统的无镜头相机图像重建方法对于噪声较为敏感、系统景深较低的技术问题，本发明提供了一种基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法。

本发明的技术方案是：

基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特殊之处在于，包括以下步骤：

步骤一、搭建基于编码掩模的无镜头成像系统：

将加工好的编码掩模固定在CMOS传感器阵列前方，编码掩模与CMOS传感器的距离不超过5mm，将编码掩模到用于显示标定训练图像的标定显示器之间的距离设定为设定距离；

所述的编码掩膜采用基于m序列的可分离编码掩模，根据对应的可分离编码掩模二元矩阵，在石英玻璃上镀铬膜层实现遮光制成；所述可分离编码掩膜二元矩阵用0和1表示，1表示透光，0表示不透光，二元矩阵中的每个元素对应编码掩膜中的一个方形区域；

步骤二、利用步骤一搭建的无镜头成像系统拍摄标定训练图像：

2.1)选取标定训练图像

选取由Hadamard编码构成的水平、垂直亮线作为标定训练图像，对于尺寸为N×N的无镜头成像系统，使用2N个标定训练图像进行标定；

2.2)采集标定图像

2.2.1)通过设置在无镜头成像系统正前方的所述标定显示器，显示2.1)选取的标定训练图像，调节CMOS传感器与标定显示器的相对位置使得标定显示器上的标定训练图像全部落入整个CMOS传感器阵列的窗口；

2.2.2)调整CMOS传感器的曝光时间，并同时微调CMOS传感器与标定显示器的相对位置至可以获得清晰的传感器测量图像，记录编码掩模与标定显示器之间的距离，采集对应的传感器测量图像；

2.3)多次重复上述步骤2.1)-2.2)，并对采集的传感器测量图像取平均值，将得到的平均值作为无镜头成像系统最终输出的测量值；

步骤三、求解无镜头成像系统的系统测量矩阵：

3.1)利用已知输入图像和对应的输出图像，对步骤一搭建的无镜头成像系统进行建模，其中系统测量矩阵与场景及传感器测量图像的关系为：

Y＝ΦX+E； (式1)

其中：

X为输入图像；

Y为无镜头成像系统输出的测量值，由步骤2.3)得到；

E为无镜头成像系统的系统噪声；

Φ为无镜头成像系统的系统测量矩阵；

3.2)将系统测量矩阵Φ分解为Φ

3.3)通过TSVD对输入图像和输出图像进行分解计算，得到Φ

Φ

Φ

步骤四、构建神经网络及初始值设定：

4.1)在tensorflow中编写神经网络以训练无镜头成像系统测量矩阵Φ

4.2)将步骤三中求解得到的系统测量矩阵Φ

步骤五、训练测量矩阵Φ

5.1)将通过搭建的无镜头成像系统原理样机拍摄的传感器测量图像与其相对应的场景图像作为训练用的数据集，其中场景图像X作为步骤四构建的神经网络的输出，传感器测量图像Y作为步骤四构建的神经网络的输入；

5.2)对所述神经网络进行训练，其中损失函数选用MSE与SSIM相结合，当神经网络的损失函数达到预设值或训练轮次达到预设次数时，停止训练，得到优化后的系统测量矩阵(Φ

步骤六、利用L2正则化方法重建无镜头成像系统拍摄的场景图像：

使用L2正则化方法，得到重建图像

其中：

U

Σ

V

U

Σ

V

σ

τ是正则化参数；

Y是传感器测量图像。

进一步地，步骤一中所述的设定距离大于20cm，小于等于100cm。

进一步地，所述步骤2.2)应尽量在黑暗环境下进行。

进一步地，步骤3.3)计算Φ

通过TSVD分解获得的测量值Y的近似值为

其中，u

用近似值

对于可分离编码掩模，X的形式为：

其中，h

将v代入上式4中，可得：

进而可得：

对式5进行化简后得到：

u

又因为u

则可以得到：

[u

则Φ

同样地，令

Φ

进一步地，步骤六具体为：

使用L2正则化方法，将重建图像的估计值表示为：

其中，

Φ

将上式的目标梯度设置为零并简化，根据所得到的方程来进行进一步的求解：

将Φ

左右分别乘以

分别使用向量σ

进一步地，步骤一中的编码掩膜采用8位m序列进行编码。

本发明的有益效果是：

1.本发明将无镜头成像技术图像重建算法中的经典矩阵优化求逆算法与深度学习方法有机结合，保留了传统算法稳定性的同时，通过深度学习算法优化系统测量矩阵，提高了重建图像的分辨率、信噪比、结构相似度，恢复了更多场景中的细节信息。

2.本发明在神经网络训练过程之前通过对编码掩模的可分离特性进行分析、处理，将待训练的系统测量矩阵的尺度大幅度降低，显著地降低了神经网络参数数量，使得算法计算时间大幅度减少。

3、本发明相对于传统方法，在求解得到初始系统测量矩阵后经过对于大量数据的学习后，得到了更为稳定、更为准确的系统测量矩阵。使用经过学习的系统测量矩阵进行后续的计算使得整体的重建过程抗噪声影响的能力更强，对原始图像的还原度更高，有效降低了重建图像中的噪声，丰富了图像细节。

4、本发明在实验过程中场景显示器与图像传感器的距离固定，基于在此距离下拍摄的大量数据集对应的传感器测量图像对系统测量矩阵进行优化，使用经过学习的系统测量矩阵可以较好的重建其他距离处的场景图像，有效的解决了其他重建算法景深较低的问题。

附图说明

图1为本发明的方法流程图。

图2为无镜头成像系统的组成示意图。

图3为无镜头成像实验中使用的无镜头成像系统原理样机的实物图。

图4为本发明所用到的神经网络结构示意图。

图5为无镜头成像系统的传感器采集图像和Learned-TSVD算法重建图像示意图。

具体实施方式

本发明的原理为：

使用编码掩模对光的传播过程进行编码，并利用编码掩模的可分离特性及TSVD算法将原始的大尺度系统测量矩阵转化为尺度较小的左、右两个系统测量矩阵。接下来构建神经网络训练无镜头成像系统的系统测量矩阵，通过对左、右系统测量矩阵循环训练的方式减小近似运算对最终结果产生的误差。系统测量矩阵训练完成后通过TSVD算法与正则化算法重建图像。

以下结合附图对本发明所提供的方法做进一步的说明：

如图1所示，本发明所提供的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，包括以下步骤：

步骤一、搭建基于编码掩模的无镜头成像系统：

如图2-3所示，将加工好的编码掩模固定在CMOS传感器阵列前方，编码掩模与CMOS传感器的距离不超过5mm(本实施例为2mm处)，将编码掩模到标定显示器之间的距离设定为设定距离，设定距离应大于20cm，原则上不超过100cm(本实施例为30cm)，完成无镜头成像系统的搭建。

其中，本实施例中使用的CMOS传感器为5120×5120像素，其中单个像素单元尺寸为4.5μm×4.5μm，黑白模式，CMOS传感器的有效面积为23.04mm×23.04mm。

编码掩膜采用基于m序列的可分离编码掩模(本实施例采用8位m序列进行编码)，根据对应的可分离编码掩模二元矩阵，在石英玻璃上镀铬膜层实现遮光制成；所述可分离编码掩膜二元矩阵用0和1表示，1表示透光，0表示不透光，二元矩阵中的每个元素对应编码掩膜中的一个方形区域。

步骤二、利用步骤一搭建的无镜头成像系统拍摄标定训练图像：

2.1)选取标定训练图像

选取由Hadamard编码构成的水平、垂直亮线作为标定训练图像，对于尺寸为N×N的无镜头成像系统，使用2N个标定训练图像进行标定；

2.2)采集标定图像

2.2.1)通过设置在无镜头成像系统正前方的标定显示器，显示2.1)选取的标定训练图像，其中标定显示器是指用于显示标定训练图像的显示器，在后续的步骤及拓展实验中，可以同样地使用标定显示器来显示其他训练集的图像作为场景图像或用实物代替标定显示器进行同样的实验，调节CMOS传感器与标定显示器的相对位置使得标定显示器上的标定训练图像全部落入整个CMOS传感器阵列的窗口；

2.2.2)调整CMOS传感器的曝光时间，并同时微调CMOS传感器与标定显示器的相对位置至可以获得清晰的传感器测量图像，记录编码掩模与标定显示器之间的距离，采集对应的传感器测量图像；

2.3)多次重复上述步骤2.1)-2.2)，并对采集的传感器测量图像取平均值，将得到的平均值作为无镜头成像系统最终输出的测量值，以降低噪声影响。

需要注意的是，上述采集步骤2.2)应尽量在黑暗环境下进行，并关闭电灯以最大限度消除杂散光源及频闪的影响。

步骤三、求解无镜头成像系统的系统测量矩阵：

3.1)利用已知输入图像和对应的输出图像，对步骤一搭建的无镜头成像系统进行建模，其中系统测量矩阵与场景及传感器测量图像的关系为：Y＝ΦX+E(式1)；其中：X为输入图像即原始场景；Y为无镜头成像系统中CMOS传感器阵列的输出图像即测量值，由步骤2.3)得到；E为无镜头成像系统的系统噪声；Φ为无镜头成像系统的系统测量矩阵；

3.2)由于步骤一搭建的无镜头成像系统使用的是可分离编码掩模，即(式1)中的场景X是可分的，即X＝(ab)

3.3)通过TSVD对输入图像和输出图像进行分解计算，得到Φ

通过TSVD分解获得的测量值Y的近似值为

其中，u

用近似值

对于可分离编码掩模，X的形式为：

其中，h

将v代入上式4中，可得：

进而可得：

对式5进行化简后得到：

u

又因为u

则可以得到：

[u

则Φ

同样地，令

Φ

步骤四、构建神经网络及初始值设定：

4.1)在tensorflow中编写如图4所示算法流程图中的神经网络以训练无镜头成像系统测量矩阵Φ

4.2)将步骤三中求解得到的系统测量矩阵Φ

步骤五、训练无镜头成像系统的测量矩阵Φ

5.1)将通过搭建的无镜头成像系统原理样机所拍摄的大量传感器测量图像与其相对应的场景图像作为训练用的数据集，其中场景图像X作为步骤四构建的神经网络的输出，传感器测量图像Y作为步骤四构建的神经网络的输入；

5.2)对所述神经网络进行训练，其中损失函数选用MSE与SSIM相结合，当神经网络的损失函数达到预设值或训练轮次达到预设次数时，停止训练，得到优化后的系统测量矩阵(Φ

步骤六、利用L2正则化方法重建无镜头成像系统拍摄的场景图像

使用L2正则化方法，可以将重建图像的估计值表示为：

其中，Φ

将上式的目标梯度设置为零并简化，根据所得到的方程来进行进一步的求解：

将Φ

左右分别乘以

分别使用向量σ

图5所示为无镜头成像系统的传感器测量图像与本发明算法重建图像的示意图，从图中可以看出，本发明所使用的方法可以较好的重建无镜头相机所拍摄的传感器测量图像，重建图像保留了场景图像的大部分细节，可以以此重建结果进行进一步的应用如分类、识别等。