一种基于超构表面的全光衍射神经网络系统

摘要

本发明公开了一种基于超构表面的全光衍射神经网络系统，由入射物体光束、超构表面与CMOS图像处理器所组成；神经网络的层与层之间的传输通过光的衍射实现；用光学透明粘合剂与CMOS图像处理器胶合实现集成，通过CMOS图像处理器观测不同入射物体光束在探测区域的光强，实现多功能分类识别功能。基于超构表面的衍射神经网络具有更小的尺寸，易于实现片上集成；并且超构表面对相位、振幅与偏振的同时调控一方面可以增加设计自由度，减少神经网络的层数以避免多层对准困难的问题，另一方面超构表面的灵活性为衍射神经网络增加了一些复杂的功能，最终获得一种性能优良的无源多功能器件。

说明书

技术领域

本发明涉及一种基于超构表面的全光衍射神经网络系统，属于光学神经网络技术领域。

背景技术

深度学习作为人工智能与机械学习方面最热门的方法之一，旨在使机器能够用类似于人类的学习方法分析输入的文字、图片等数据，用最快的速度获得样本数据的内在规律，以执行复杂困难的任务，目前深度学习凭借其优秀的算法，在自动驾驶、语音识别与医学分析等领域解决了诸多复杂难题，使其取得了显著性的进步。而超构表面作为新型二维平面结构，由亚波长单元排列而成，通过改变单元的尺寸、排列及形状几乎可以实现对电磁波的任意调控，因此超构表面不仅拥有较大的设计自由度，而且轻便灵活，有望代替传统光学元件以满足设备微型化的发展需求。将深度学习与光学计算相结合是近年来的研究重点，其中以超构表面为代表的全光衍射神经网络一方面具有较小的体积与质量，另一方面相比于计算机搭建的神经网络框架，基于光学的神经网络具有更快的计算速度与更低的能耗，具有重要的研究意义。

现有技术的技术方案中设计制造了一种新型神经网络并称之为衍射深度神经网络，该神经网络用于太赫兹波段，相较于常规神经网络不同，它是由多个3D 打印制造的相位型平面光学元件排列组成，其中每一层与神经网络的架构相对应，而层与层之间的传输则通过光的衍射实现，最终以光速实现了极高精度的数字识别和物品分类功能。该方案的实际结果受3D打印制造精度和层与层之间对准的精度决定，理论上层数越多结果精度越高，但是层与层之间的对准难度也会提高；该方案仅实现了单一功能；该方案用于太赫兹波段，设备昂贵且繁重，无法实现与CMOS等传感器的集成功能。

现有技术的另一个技术方案中设计了一种基于超构表面神经网络的装置，通过前向与反向传播对神经网络的权重进行调整，实现了射频信号处理和收发功能。该方案神经网络层数较多，对准困难；超构表面的权重调整基于单元上的可调电子元件(电容电感等)实现，结构复杂。

发明内容

本发明基于超构表面与深度学习理论提出了一种新型神经网络，它由光学驱动，相对于传统由计算机算力驱动的神经网络具有更快(光速)的计算速度与更低的能耗。相对于现有技术方案中存在结构复杂、神经网络层数较多、难以集成等问题，基于超构表面的衍射神经网络具有更小的尺寸，易于实现片上集成；并且超构表面对相位、振幅与偏振的同时调控一方面可以增加设计自由度，减少神经网络的层数以避免多层对准困难的问题，另一方面超构表面的灵活性为衍射神经网络增加了一些复杂的功能，最终获得一种性能优良的无源多功能器件。

一种基于超构表面的全光衍射神经网络系统，由入射物体光束、超构表面与 CMOS图像处理器所组成；神经网络的层与层之间的传输通过光的衍射实现，即衍射层上的每一点均为一个次级球面波的子波源，下一层某一神经元的输入定义为上一层所有神经元的输出经过衍射传播在该神经元的叠加结果，而每个神经元的权重则定义为单元光学结构的相位和振幅，自输入层输入训练数据进而由光学衍射计算得到神经网络的输出结果，并通过误差反向传播不断训练优化每层神经元的相位与振幅。通过这种类比传统神经网络的正向和反向传播的过程，训练好的全光衍射神经网络将以极高的精度实现特定功能。将计算机训练的全光神经网络结果通过电子束光刻EBL和原子层沉积ALD技术进行加工，超构表面体积小与结构紧凑的特点，用100μm的光学透明粘合剂与CMOS图像处理器胶合，实现集成，进而通过CMOS图像处理器观测不同入射物体光束在探测区域的光强，实现多功能分类识别功能

超构表面与全光神经网络交互的基础理论：

基于光的基本特性，不同偏振态与不同波长的光束携带了各异的信息，它们的相位也各不相同。超构表面作为一种二维平面光学元件，由微纳尺度的结构单元周期排列组成，通过调整单元形状、尺寸等参数可以实现对偏振与波长的调控。首先以超构表面对不同偏振态入射光的调控为例：

这里以矩形单元为例，如果单元没有旋转，则琼斯矩阵可表示为：

其中

其中

在式3的基础上，由矩阵特性推导有

其中*代表负共轭，并结合T

基于超构表面对不同光束参量调控的特性，可以赋予携带不同状态的光束以不同的应用功能，因此首先以偏振多功能为例(波长维度类似)，为了获得优秀的分类识别功能，由于系统用于可见光波段，所以采用在可见光范围内光学相应优良的TIO

神经网络的层与层之间的传输通过光的衍射实现，即衍射层上的每一点均为一个次级球面波的子波源，下一层某一神经元的输入定义为上一层所有神经元的输出经过衍射传播在该神经元的叠加结果，而每个神经元的权重则定义为单元光学结构的相位和振幅，自输入层输入训练数据进而由光学衍射计算得到神经网络的输出结果，并通过误差反向传播不断训练优化每层神经元的相位与振幅。通过这种类比传统神经网络的正向和反向传播的过程，训练好的全光衍射神经网络将以极高的精度实现特定功能。

系统设计流程分为如下三个部分：

S1、全光神经网络超构表面的理论探索、参数设计、仿真验证、版图加工以及光学性能评估。

S2、全光神经网络超构表面的制备，即工艺方法与成品的性能评估。

S3、全光神经网络的集成，包括全光神经网络与CMOS图像处理器的集成工艺方案探索，成品的集成质量(对准精度、结构保形性、光学性能等)。

设计超构表面全光神经网络时，考虑到多功能通道的需求，这里将附带不同偏振或波长的光波相位封装在单元结构中，这几套相位相互独立，在训练时采用相同的方法。类比传统神经网络的实现过程，以惠更斯斯涅耳原理为基础，衍射层之间的传输通过光的衍射实现，即衍射层上的每一点均为一个次级球面波的子波源，下一层某一神经元的输入定义为上一层所有神经元的输出经过衍射后在该神经元的叠加结果。接下来以输入X偏振光为例，并忽略振幅的影响，构造纯相位型全光神经网络。

全光神经网络的正向传播过程基于傅立叶光学，首先给出瑞利索末菲衍射公式的脉冲响应函数：

其中

其中h为l+1层和l层之间的瑞利索末菲衍射公式的脉冲响应函数。

定义全光神经网络第l+1层光场为：

其中

其中

进一步得到最后一层衍射层的输出光场：

正向传播结束进行反向优化过程，定义损失函数为最后一层输出光场与理论目标光场的均方误差，对输出光场梯度化处理并化简后得到第l层为：

采用基于Tensorflow的深度学习框架，神经元周期为400nm，训练出包含输入层、输出层与三层28×28像素的隐含层的全光神经网络。采用特定的衍射传播函数训练神经元的相位值，即通过光学衍射正向计算网络的输出，并结合误差反向传播优化目标函数，获得理想的神经网络架构。

与现有技术相比较，本发明具有如下有益效果。

1、基于超构表面的优势使用少量的神经网络层数就可以实现优秀的效果；

2、结构小，成本低，且便于与CMOS等成像芯片集成，进一步拓展应用范围；

3、通过携带不同信息(偏振、波长)的光束可以实现更多的功能。

附图说明

图1基于惠更斯斯涅耳原理的全光神经网络结构示意图。

图2多分类识别功能的全光衍射神经网络。

具体实施方式

以下结合附图和实施例对本发明进行详细说明。

作为以光学为基础的神经网络，本发明基于惠更斯斯涅耳原理实现，如图1 所示，神经网络的层与层之间的传输通过光的衍射实现，即衍射层上的每一点均为一个次级球面波的子波源，下一层某一神经元的输入定义为上一层所有神经元的输出经过衍射传播在该神经元的叠加结果，而每个神经元的权重则定义为单元光学结构的相位和振幅，自输入层输入训练数据进而由光学衍射计算得到神经网络的输出结果，并通过误差反向传播不断训练优化每层神经元的相位与振幅。通过这种类比传统神经网络的正向和反向传播的过程，训练好的全光衍射神经网络将以极高的精度实现特定功能。

神经网络以超构表面的形式表现，而通过设计超构表面单元结构的尺寸、形状及排列可以实现对光束的任意调控，因此将其与偏振复用、波分复用技术相结合可以有效扩展衍射神经网络的应用领域。如图2所示，由于不同偏振状态(波长)的光携带不同的信息，因此可以通过不同的偏振(波长)实现功能的复用，例如X偏振光入射，X偏振光出射时(或450nm波长情况)实现手写数字分类功能；X偏振光入射，Y偏振光出射时(或550nm波长情况)实现时尚产品分类功能；Y偏振入射，Y偏振出射时(或650nm波长情况)实现动物分类功能，通过深度学习前向传播和反向误差计算不断优化神经网络的权值，即纳米单元在不同偏振状态(波长)下的振幅和相位，使最终得到的衍射结果根据输入的类别产生不同区域的聚焦光斑，判断光斑的位置即可确定输入数据所在的类别，最终选择具有相应振幅与相位的纳米单元排列组成衍射层，加工后获得基于超构表面的全光衍射神经网络。

本发明提出了一种基于光学超构表面的无源器件，可以光速、无损耗地实现分类识别功能；本发明基于超构表面可以实现多种功能；本发明结构简单紧凑，可与CMOS芯片集成。不同数目训练集的收敛情况中，在输出观测平面被划分为10个间隔排列区域的情况下，仿真结果以强度最高的观测区域表示。易知神经元密度越高，隐藏层个数越多，识别准确率越高，而继续探究了探测区域面积对最终结果的影响，发现探测区域越小，识别准确率越高，这为后续优化提供了明确的方向。为归一化后所有数据在目标区域能量分布，平均能量高达25％以上。此外考虑到相位在光场传播中起到主要作用，因此设计时并未考虑振幅影响，纯相位衍射层识别结果可能有误差，将振幅与相位同时作为神经元的参量进行优化后发现两种情况下分类识别的差距并不明显，以数字“3”为目标，纯相位型和振幅相位型全光神经网络都能准确地得到识别结果。分别为集成CMOS图像处理器的全光神经网络芯片、超构表面器件以及光学显微镜下的超构表面，数字“0”为掩膜层。为了方便实验，我们制备了单层隐含层的全光神经网络，MINST与 Fashion-MINST相对于训练集数目的识别准确率两种均高达99％。全光神经网络的仿真结果和实验结果对比后，符合预期的是出射光场的能量最大区域位于理想的目标探测位置，这也验证了多功能全光神经网络的可行性，展示出了光计算领域的广阔前景。