公开/公告号CN112985601A
专利类型发明专利
公开/公告日2021-06-18
原文格式PDF
申请/专利权人 浙江大学;
申请/专利号CN202110157367.4
申请日2021-02-04
分类号G01J3/28(20060101);G01J3/18(20060101);G06N3/04(20060101);G06N3/08(20060101);G06T7/80(20170101);
代理机构33200 杭州求是专利事务所有限公司;
代理人林超
地址 310058 浙江省杭州市西湖区余杭塘路866号
入库时间 2023-06-19 11:29:13
技术领域
本发明涉及了光谱成像技术领域的一种光谱成像系统和方法,具体涉及一种基于衍射的长焦光谱编码成像系统和方法。
背景技术
光谱成像技术是一种新型的利用单个或多个光谱通道进行光谱数据采集和处理、图像显示和分析解释的技术。其目的主要是想在获取大量目标窄波段连续光谱图像的同时获得每个像元几乎连续的光谱数据,目前光谱成像技术主要应用于高光谱航空、航天遥感领域。
目前光谱成像系统主要面临以下几个技术难点:第一,推扫式和摆扫式的系统结构过于庞大复杂,无法匹配航空、航天领域小型化、轻量化的要求。第二,由于系统的局限性,无论是推扫还是摆扫都需要时间,导致无法得到同一时刻的光谱图像,缺少时效性。第三,在实际探测中,为了能提升探测能力以及增加探测距离,成像系统需要长焦距。
2017年Baek等人提出了第一个紧凑快照光谱成像的方法,通过在单反相机前安装一个棱镜,利用图像边缘的色散捕获光谱信息。然而他的方法是基于传统方法的优化,同时棱镜分光难以量化。
2019年Kim等人提出了基于旋转衍射的紧凑型快照光谱成像,相比于棱镜作为分光谱器件的快照式高光谱系统,衍射元件作为分光谱器件的系统,光谱区分更为有规律,且区分的更为清晰。但衍射元件设计的结构更为复杂,不利于加工,而加工误差会影响图像的重建效果。同时该系统对点扩散函数的标定需要很大的空间和极佳的暗室环境,提高了点扩散函数标定的难度,也影响了标定的准确性。而且文中的光谱范围从420nm-660nm,谱段不够广。
衍射元件存在尺寸小、通光量小的问题,这会导致系统为了增加曝光时间而使得光谱成像帧率下降。同时由于在基于衍射的光谱成像中,只有一片衍射元件既用于成像又用于分光,没有保护玻璃的存在,在实际应用中,容易造成衍射元件的损坏。
发明内容
为了解决背景技术中存在的技术问题,针对传统光谱成像系统结构复杂,光谱信息获取时效性低,深空探测需要长焦距,旋转衍射中衍射元件尺寸小,通光量小,结构复杂不易加工,易损坏,重建效果还有提升空间,点扩散函数标定存在局限性,光谱成像范围不够宽等问题,本发明采用了基于衍射的长焦光谱编码成像系统和方法。
本发明的目的是利用加装望远系统的衍射元件进行特殊编码替代传统光谱成像系统的光学透镜和分光元件,将目标场景中的光谱及其光强信息在一次曝光时间内同时记录在二维焦平面上,通过对成像系统的光谱标定,获得每个谱段的点扩散函数,并通过图像反卷积及神经网络迭代重建,获得目标场景的图像和光谱信息。
为达到以上目的,本发明采用以下技术方案:
一、一种基于衍射的长焦光谱编码成像系统
系统包括望远系统、编码的衍射元件、探测器、光学支架和光学导轨;在光学导轨上依次放置望远系统、编码的衍射元件和探测器,望远系统与光学导轨相连,编码的衍射元件和探测器与光学导轨之间分别通过各自的光学支架进行连接,望远系统、编码的衍射元件和探测器的中心均在同一水平面上。
所述编码的衍射元件为将衍射元件通过相长干涉波长排布方式进行处理后获得;
所述相长干涉波长排布方式具体为:
在衍射元件工作的波长范围中选择所需波长范围[λ
然后,将所需波长范围[λ
二、一种基于衍射的长焦光谱编码成像方法
方法包括如下步骤:
(1)利用相长干涉波长排布方式获得编码的衍射元件;
(2)选择望远系统的放大倍数Γ,根据编码的衍射元件和放大倍数Γ计算望远系统的内在参数,获得望远系统;
(3)搭建标定点扩散函数的成像系统,利用标定点扩散函数的成像系统进行光谱标定实验获得不同波段的点扩散函数;
(4)利用标定点扩散函数的成像系统和望远系统8搭建长焦光谱编码成像系统,利用长焦光谱编码成像系统进行光谱图像采集实验,获得不同波段的光谱混叠图像;
(5)根据不同波段的点扩散函数,利用高光谱图像重建网络算法对光谱混叠图像进行处理获得不同波段下的高光谱图像。
所述步骤(1)具体为:
(1.1)在衍射元件工作的波长范围中选择所需波长范围[λ
(1.2)将所需波长范围[λ
(1.3)根据相长干涉波长排布方式,利用衍射成像的原理对衍射元件进行编码,获得编码的衍射元件。
所述步骤(2)具体为:
(2.1)在望远系统的放大范围内选择望远系统的放大倍数Γ;
(2.2)根据放大倍数Γ和步骤(1)编码的衍射元件,利用薄透镜成像关系,计算望远系统的内在参数,内在参数包括物镜焦距f
所述步骤(3)具体为:
(3.1)标定点扩散函数的成像系统包括点光源、平行光管、滤光片、编码的衍射元件、探测器、光学支架和光学导轨;在光学导轨上依次放置点光源、平行光管、滤光片、编码的衍射元件和探测器,点光源、平行光管、滤光片、编码的衍射元件和探测器的中心均在同一水平面上,点光源、平行光管、滤光片、编码的衍射元件和探测器与光学导轨之间分别通过各自的光学支架进行连接;
(3.2)更换不同波段的滤光片利用标定点扩散函数的成像系统进行光谱标定实验,获取不同波段各自的点扩散函数。
所述步骤(4)具体为:
(4.1)将望远系统代替标定点扩散函数的成像系统中的点光源、平行光管和滤光片并形成长焦光谱编码成像系统,望远系统与光学导轨相连;
(4.2)利用长焦光谱编码成像系统采集光谱图像完成光谱图像采集实验,获得光谱混叠图像。
所述步骤(5)具体为:
高光谱图像重建网络算法下对光谱混叠图像的迭代优化通过如下公式进行设置:
其中,I
将在波长λ下第l+1次迭代后光谱混叠复原图像
其中,ε是梯度下降的步长,T表示对矩阵进行转置,I
其中,在波长λ下第l次迭代后的光谱优化变量V
所述步骤(1.2)中相长干涉波长排布方式通过以下公式进行设置:
其中,λ(r,θ)表示衍射元件在极径r、极角θ的极坐标下的波长,r表示极径,θ表示极角,λ
所述步骤(1.3)中利用衍射成像的原理对衍射元件进行编码主要通过以下公式进行设置:
Δφ=2πn
其中,Δφ表示光线从衍射元件不同位置入射,会聚在像面中心位置的光程差,h
本发明的有益效果:
本发明方法整体结构只需一个小型的望远系统、一片具有编码的衍射元件和一块彩色CMOS探测器,很大程度上实现了光谱成像系统的小型化和轻量化。
本发明方法获取图像和光谱信息在一次曝光时间内完成,具有时效性。
本发明将离散的采样波长分布在半圆上,相比于分布在120度的扇形或者90度的扇形上,标定出psf之间的差异更大,更利于重建效果的提升;同时离散的采样波长中心对称的设计也有利于重建的鲁棒。
本发明离散化的分布抹去了连续变化的细微差异,更利于编码衍射元件的加工制造。
本发明在保证通光孔径足够大的同时,应用望远系统,使得整个光谱成像系统的焦距变为原来的Γ倍,在深空探测中有很大的优势。另外,望远系统的出现,对于衍射元件来说是一个很大的保护,对整体成像系统的耐用性和鲁棒性有一个提高。
整个系统最大的谱段范围可以从380nm-900nm,谱段更广,适用范围更大。
附图说明
图1为长焦光谱编码成像系统的整体示意图。
图2为标定点扩散函数的成像系统示意图。
图3为本发明框架流程示意图。
图4为本发明具体流程示意图。
图5为离散的相长干涉波长排布方式示意图。
图6为编码的衍射元件示意图。
图7为标定的点扩散函数图像。
图8为Unet的神经网络结构示意图。
图9为高光谱图像重建网络算法示意图。
图10为光谱混叠复原图像的示例图。
图中:1、编码的衍射元件,2、探测器,3、点光源,4、平行光管,5、滤光片,6、光学支架,7、光学导轨,8、望远系统。
具体实施方式
以下结合附图对本发明作进一步说明。
为了解决背景技术中存在的技术问题,针对传统光谱成像系统结构复杂,光谱信息获取时效性低,深空探测需要长焦距,旋转衍射中衍射元件尺寸小,通光量小,结构复杂不易加工,易损坏,重建效果还有提升空间,点扩散函数标定存在局限性,光谱成像范围不够宽等问题,本发明采用了基于衍射的长焦光谱编码成像系统和方法。利用加装望远系统的衍射元件进行特殊编码替代传统光谱成像系统的光学透镜和分光元件,将目标场景中的光谱及其光强信息在一次曝光时间内同时记录在二维焦平面上,通过对成像系统的光谱标定,获得每个谱段的点扩散函数,并通过图像反卷积及神经网络迭代重建,获得目标场景的图像和光谱信息。
如图1所示,系统包括望远系统8、编码的衍射元件1、探测器2、光学支架6和光学导轨7;在光学导轨7上依次放置望远系统8、编码的衍射元件1和探测器2,望远系统8与光学导轨7相连,编码的衍射元件1和探测器2与光学导轨7之间分别通过各自的光学支架6进行连接,望远系统8、编码的衍射元件1和探测器2的中心均在同一水平面上。
编码的衍射元件1为将衍射元件通过相长干涉波长排布方式进行处理后获得;
相长干涉波长排布方式具体为:
在衍射元件工作的波长范围中选择所需波长范围[λ
然后,将所需波长范围[λ
如图3和图4所示,方法包括如下步骤:
(1)利用相长干涉波长排布方式获得编码的衍射元件;
步骤(1)具体为:
(1.1)在衍射元件工作的波长范围中选择所需波长范围[λ
(1.2)将所需波长范围[λ
步骤(1.2)中相长干涉波长排布方式通过以下公式进行设置:
其中,λ(r,θ)表示衍射元件在极径r、极角θ的极坐标下的波长,r表示极径,θ表示极角,λ
(1.3)根据相长干涉波长排布方式,利用衍射成像的原理对衍射元件进行编码,获得编码的衍射元件1,如图6所示。
步骤(1.3)中利用衍射成像的原理对衍射元件进行编码主要通过以下公式进行设置:
Δφ=2πn
其中,Δφ表示光线从衍射元件不同位置入射,会聚在像面中心位置的光程差,h
(2)选择望远系统8的放大倍数Γ,根据编码的衍射元件和放大倍数Γ计算望远系统8的内在参数,获得望远系统8;
步骤(2)具体为:
(2.1)在望远系统8的放大范围内选择望远系统8的放大倍数Γ,放大倍数Γ不超过8倍;
(2.2)根据放大倍数Γ和步骤(1)编码的衍射元件,利用薄透镜成像关系,计算望远系统8的内在参数,内在参数包括物镜焦距f
具体实施中,望远系统8是开普勒式望远系统。通过放大倍数Γ,确定望远系统8的物镜焦距f
Γ=f
D'=L
d=f'
D
D
其中,L为编码的衍射元件的直径。
(3)如图2所示,搭建标定点扩散函数的成像系统,利用标定点扩散函数的成像系统进行光谱标定实验获得不同波段的点扩散函数;
步骤(3)具体为:
(3.1)标定点扩散函数的成像系统包括点光源3、平行光管4、滤光片5、编码的衍射元件1、探测器2、光学支架6和光学导轨7;在光学导轨7上依次放置点光源3、平行光管4、滤光片5、编码的衍射元件1和探测器2,点光源3、平行光管4、滤光片5、编码的衍射元件1和探测器2的中心均在同一水平面上,点光源3、平行光管4、滤光片5、编码的衍射元件1和探测器2与光学导轨7之间分别通过各自的光学支架6进行连接;
(3.2)更换不同波段的滤光片5利用标定点扩散函数的成像系统进行光谱标定实验,获取不同波段各自的点扩散函数。滤光片5用于筛选所需的波段,所需的波段长度为10nm,滤光片5筛选的波长间隔为10nm,探测器2上显示点扩散函数图像,获取不同波段各自的点扩散函数,如图7所示。从图7中看出,不同波段对应的点扩散函数在形状上相似,但倾斜角度和姿态各不相同。通过步骤1)的操作后可以实现不同波段对应的点扩散函数,进而可以得到不同波长的光谱信息;
标定点扩散函数的成像系统是在点光源装置上改进而成,点光源装置包括点光源3、平行光管4和探测器2;在光学导轨7上依次放置点光源3、平行光管4和探测器2,点光源3和平行光管4与光学导轨7之间分别通过各自的光学支架6进行连接,点光源3、平行光管4和探测器2的中心均在同一水平面上,具体实施中,探测器为CMOS传感器;点光源1经过平行光管4后在探测器2上形成光点且光点的大小小于一个像素大小,像素大小为5μm*5μm。
(4)如图1所示,利用标定点扩散函数的成像系统和望远系统8搭建长焦光谱编码成像系统,利用长焦光谱编码成像系统进行光谱图像采集实验,获得不同波段的光谱混叠图像;
步骤(4)具体为:
(4.1)将望远系统8代替标定点扩散函数的成像系统中的点光源3、平行光管4和滤光片5并形成长焦光谱编码成像系统,望远系统8与光学导轨7相连,望远系统的中心与编码的衍射元件1和探测器2的中心均在同一水平面上;
(4.2)利用长焦光谱编码成像系统采集光谱图像完成光谱图像采集实验,获得不同波段的光谱混叠图像。
(5)根据不同波段的点扩散函数,利用高光谱图像重建网络算法对光谱混叠图像进行处理获得不同波段下的高光谱图像,如图10所示。高光谱图像为光谱分辨率为10nm的光谱图像。
如图9所示,步骤(5)具体为:
高光谱图像重建网络算法下对光谱混叠图像的迭代优化通过如下公式进行设置:
其中,迭代次数l为0时,在波长λ下第0次迭代后光谱混叠复原图像
将在波长λ下第l+1次迭代后光谱混叠复原图像
其中,ε是梯度下降的步长,T表示对矩阵进行转置,I
其中,在波长λ下第l次迭代后的光谱优化变量V
具体实施中,高光谱图像重建网络算法中对光谱混叠图像的迭代优化的公式通过以下步骤获得:
标定得到不同波段下的点扩散函数,从获得的点扩散函数中重建光谱混叠复原图像的问题可以拆解成两个问题:1)针对某一特定波段的光谱混叠复原图像,是一个已知固定模糊核的非盲复原问题。2)针对全波段信号,是一个叠加图像的拆解问题。
首先建立光谱复原的目标函数:
其中,
然后通过半二次方分裂Half Quadratic Splitting,HQS方法引入光谱优化变量V
其中,
加入光谱优化变量的光谱复原的目标函数第l+1次迭代优化的公式为:
其中,I
在波长λ下第l次迭代后的光谱优化变量V
最后利用梯度下降法对第l+1次迭代后的加入光谱优化变量的光谱复原的目标函数进行求解,获得在波长λ下第l+1次迭代后光谱混叠复原图像
其中,ε是梯度下降的步长,T表示对矩阵进行转置,I
机译: 基于移动的光谱成像设备控制装置和光谱成像系统以及控制光谱成像光的方法
机译: 基于移动的光谱成像设备控制装置和光谱成像系统以及控制光谱成像光的方法
机译: 基于带有随机衍射光栅的可压缩问题的宽带宽带超光谱成像系统