基于深度强化学习的共形相控阵天线设计系统及设计方法

摘要

本发明公开了基于深度强化学习的共形相控阵天线设计系统及设计方法，本发明利用深度强化学习强大的学习能力，通过逆向训练使得共形天线阵列的辐射性能达到目标值，大大简化了阵列天线在复杂共形环境下的设计复杂度，且可以忽略各路信号之间的相位不一致性，使得后期调试和校准工作难度得以显著降低。

说明书

技术领域

本发明属于雷达通信的技术领域，具体涉及一种基于深度强化学习的共形相控阵天线设计系统及设计方法。

背景技术

在现代雷达和通信系统中，天线的安装平台通常为不规则的形状。因此，能在各类不同天线安装平台上应用的共形相控阵天线引起了巨大的研究热潮。但是在复杂的共形环境下，如何设计每个天线单元的馈入相位使得阵列能实现所需的辐射特性，例如波束扫描，波束跟踪，波束合成等，其正向计算算法过于复杂。其复杂之处在于元件间的相互耦合作用必须包括在磁场和电流的解决方案中。

另外，相控阵天线通常包含多路信号通路，每路信号需要经过数字移相器，功率放大器，衰减器等各类器件，导致最终输入到每个天线单元的相位存在不一致性。因此，在相控阵天线的实际使用中，需要对每一路信号进行相位校准，以此保证最终辐射性能的准确性，而这往往需要耗费大量的时间和人力成本。

2014年，国外DeepMind提出了一种很有吸引力的深度学习算法，称为Deep Q学习框架(DQN)，它具有学习各种游戏人类级别控制策略的能力，其应用的AlphaGo甚至在围棋领域难以被战胜。此后，DQN算法也在一些新兴领域表现出非凡的天赋，如无线通信，资源优化配置，以及其他现实世界的非线性问题。

发明内容

有鉴于此，本发明提供了一种基于深度强化学习的共形相控阵天线设计系统及设计方法，能够利用深度强化学习强大的学习能力，通过逆向训练使得共形天线阵列的辐射性能达到目标值，大大简化了阵列天线在复杂共形环境下的设计复杂度。

实现本发明的技术方案如下：

基于深度强化学习的共形相控阵天线设计系统，包括决策子系统、控制子系统和辐射子系统；

决策子系统包括矢量网络分析仪和计算机，计算机内加载有深度强化学习算法，计算机和矢量网络分析仪通过网线建立连接，实时共享数据；

控制子系统包括微控制器、功分器和数字移相器，微控制器接收决策子系统计算机下发的控制指令数据包，解析后给各个数字移相器下发控制指令，从而控制每一路信号的相位；

功分器接收决策子系统的矢量网络分析仪输出的射频信号，并将信号能量平均分配后向相控阵天线阵列输送，使得相控阵天线阵列向外辐射信号；

辐射子系统包含相控阵天线阵列和喇叭接收天线，相控阵天线阵列向外辐射信号，喇叭接收天线接收信号，并将信号传送到决策子系统的矢量网络分析仪。

进一步地，相控阵天线阵列的天线单元由矩形金属贴片构成，馈电方式为侧馈。

进一步地，基于深度强化学习的共形相控阵天线设计方法，包括算法训练阶段和应用阶段。

进一步地，算法训练阶段具体为：

1、加载有深度强化学习算法的计算机通过控制子系统中的微控制器、功分器和数字移相器向相控阵天线的每一路单元下发相位控制指令，使相控阵天线获得相位分布初值并向外辐射；

2、计算机控制数字移相器对相控阵天线的相位分布进行随机调整，使得天线的辐射性能发生变化；接收天线接收到信号后将数据回传至计算机，经深度强化学习算法提取关键参数后与预先设置的参数进行判定：如果辐射性能向着预期目标迈进则为正反馈，否则为负反馈，以此来判定当前的相位随机调整是否为有益动作；

3、每一次进行相位随机调整均会收到相应的动作反馈值，深度强化学习算法以此来学习正确的相位调整方案，当算法收敛或者平均反馈量达到预期定义的值，训练阶段完成。

进一步地，深度强化学习算法针对每一个预期的天线辐射性能进行前期训练，并将相应的最优相控阵天线的参数进行存储；在应用阶段，输入所需的辐射性能，深度强化学习算法自动调整相控阵天线的参数以达到相应的辐射性能。

有益效果：

本发明所提出的基于深度强化学习的相控阵天线设计系统及其设计方法能较好地解决复杂共形环境下相控阵天线辐射性能的智能化调控。相较于传统的相控阵天线，本发明方法领用深度强化学习强大的计算能力和学习能力，在设计效率、计算速度、成本控制以及复杂环境适应性等多个方面有着巨大的优势。借助强大的计算资源，本发明提出的设计系统及设计方案能在多平台、多功能、可重构雷达和通信系统中发挥巨大的优势。

附图说明

图1为本发明的相控阵天线训练系统示意图。

图2为本发明使用的DQN算法流程图。

图3为本发明天线单元的反射系数。

图4(a)为本发明使用的DQN算法的平均损失。

图4(b)为本发明使用的DQN算法的平均奖励。

图5为本发明所设计的共形相控阵天线波束扫描性能。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于深度强化学习的共形相控阵天线设计系统及设计方法。该方法利用深度强化学习强大的学习能力，通过逆向训练使得共形天线阵列的辐射性能达到目标值，大大简化了阵列天线在复杂共形环境下的设计复杂度，且可以忽略各路信号之间的相位不一致性，使得后期调试和校准工作难度得以显著降低。进过充分训练后的天线在多个应用系统之间具备通用性，能广泛应用于各类复杂的共形平台，而无需在算法上做出任何修改。

图1为本发明所提出的智能相控阵天线的训练系统示意图。该天线系统主要由7个部件组成，其中相控阵天线1(阵列大小为M×N)作为辐射部件向外辐射电磁波，并在特定位置处预先安置有接收天线2来接收这些电磁波能量。为了能控制相控阵天线波束的扫描角，阵列中每个天线单元的馈入相位由与其一一相连的数字移相器3控制，同时功分器4负责将馈入的总射频信号等幅同相地分配到每一路天线单元。为了能程序化控制每一个数字移相器，微控制器5被用来接收计算机7下发的控制指令集，并将其拆分成不同的数据包后下发到指定的数字移相器，完成相位的控制。同时，计算机7中加载有深度Q网络学习(DQN)算法。

利用上述搭建的设计系统对相控阵天线进行设计，具体的设计方法主要分为两个阶段：训练阶段和应用阶段。在训练阶段，算法通过数字移相器3在每一个回合随机改变相控阵天线的相位分布，接收天线2实时接收信号并将数据信息传送至计算机7中。算法对接收到的实测数据进行判定并给出该次相位分布调整的反馈值。若反馈值为正，则该次调整动作为有益动作，否则为有害动作。经过大量的训练后完成算法的迭代更新，使得训练后的相控阵天线能依据目标角度的变化实时调整自身相位分布。

图2为本发明中适用于相控阵天线的DQN算法流程图。可以发现，该算法主要包含两个分支，分别为实线箭头表示的在线决策过程和虚线箭头代表的离线训练过程。在线决策过程中，agent根据当前状态s

其中，r

为了降低计算所需的硬件资源以及加工成本，本发明例举了一个大小为1×8的相控阵天线，其天线单元为常规的微带贴片天线，工作频率为2GHz，如图3所示，并将其共形在半径为380mm的圆柱上。然后，利用图1中的训练系统在暗室内对该圆柱形相控阵天线进行充分的训练。图4(a)和(b)为算法的损失函数值以及平均奖励值。不难发现，随着训练步骤的增多，算法取得了良好的收敛性和稳定的奖励回报。

图5为本发明中共形相控阵天线在波束扫描角度为0°、30°和60°时辐射方向图，可以发现在三个扫描角度上，天线都具有良好的辐射性能。其增益分别为：10.08dBi，8.12dBi以及5.66dBi；3dB波束宽度分别为：14.76°，15.62°以及25.88°；至于副瓣方面，则分别为-12.68dB，-10.56dB以及-12.96dB。与Matlab计算的结果相比，有较好的一致性。

本发明与现有技术相比，其显著优点为：利用深度强化学习强大的学习能力，通过逆向训练使得共形天线阵列的辐射性能达到目标值，大大简化了阵列天线在复杂共形环境下的设计复杂度，且可以忽略每路信号之间相位的不一致性，使得后期调试和校准工作难度得以显著降低。进过充分训练后的天线在多个应用系统之间具备通用性，能广泛应用于各类复杂的共形平台，而无需在算法上做出任何修改。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。