自适应学习率

摘要： 储能的高投资成本是限制其商业化发展的主要障碍,通过储能聚合商协调储能设备运行,提高储能的利用率并降低成本。首先,综合考虑了微电网中的火电机组、充电站、可中断负荷等可调节灵活性资源的成本以及共享储能的费用分摊,以各方效益最大化为目标,构建了各微电网与共享储能聚合商的博弈优化运行模型。其次,采用了多智能体强化学习方法求解多主体下博弈问题,引入KL散度优化智能体的学习率,提高算法的收敛性。最后,以3个相邻微电网的算例分析,共享储能模式下提升了各主体的经济效益,验证了共享储能模式的优越性与算法改进的有效性。

摘要： 针对目前卷积神经网络处理情感分类时无法快速准确获取全局最优解的问题,提出了一种改进的自适应权重卷积神经网络算法。该算法首先在双通道嵌入层中加入静态向量,其中,一个通道不更新梯度,另一个通道更新梯度;其次利用自适应学习率的优化器,避免反向传播期间梯度爆炸和梯度消失;最后采用均值权重的方法,以避免计算梯度时出现震荡,保证求解权重时的稳定性和有效性。实验结果表明:该算法能够保证用户情感预测的准确性。

摘要： 针对预先设定学习率的增量强化学习(IRL)飞行控制律失败率较高,并且无法适应飞行器大范围动力学特性变化下的稳定控制问题,提出一种自适应学习率的增量强化学习(ALRIRL)控制方法。首先,基于小波分析方法构造控制系统稳定度评价函数,用于评估控制器稳定度。然后,基于梯度下降法设计学习率在线迭代计算方法,以提升强化学习控制器的收敛性。最后,通过随机初始状态及随机动压变化下蒙特卡洛打靶试验和数学仿真来验证ALRIRL算法,仿真结果表明提出的方法能够根据参考状态跟踪误差振荡情况自适应调整学习率参数,实现飞行姿态稳定跟踪控制,提高强化学习飞行控制器的成功率。该方法减轻了IRL飞行控制算法对预先设定学习率超参数的依赖,拓宽了IRL在飞行器大范围动力学参数变化情况下的应用。

摘要： 在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率。然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率。基于随机方差衰减梯度法,借鉴动量加速思想并对梯度估计采取加权平均策略,对学习率利用历史梯度信息进行自动调整,提出了自适应随机方差衰减梯度法。基于MNIST和CIFAR-10数据集,验证提出的自适应随机方差衰减梯度法的有效性。实验结果表明,自适应随机方差衰减梯度法在收敛速度和稳定性方面优于随机方差衰减梯度法和随机梯度下降法。

摘要： 梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为■(√T).最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.

摘要： 在人脸表情识别任务中,适用的优化算法可以有效地提高表情识别的效率。针对人脸表情识别任务中的优化算法选择问题,比较研究了SGD、Momentum以及Adagrad、Adadelta、Adam 3种自适应学习率方法在人脸表情识别任务上的表现。特别是为了检验结果的可靠性,采用相同方法在MNIST数据集上进行手写数字识别测试。实验结果显示,在人脸表情识别与其他任务中,自适应学习率方法和动量法性能优于SGD方法,且自适应学习率方法在提高模型准确率上更为突出,Adadelta在表情识别和手写数字识别任务上的准确率达到了96.12%和99%。研究表明,在人脸表情识别任务中,自适应学习率的优化算法具有明显优势。

摘要： 由于工业过程具有强非线性、动态特性与慢时变性,其完整性建模相对较难.针对工业过程的现有软测量技术并未综合考虑过程的非线性和动态特性,本文提出了一种依赖模型阶次的GRU(MOb-GRU)神经网络软测量模型,针对非线性动态过程进行全动态建模.首先,在MOb-GRU的结构选择上,本文根据所研究实际对象的动态特性复杂程度确定网络的总模块数.另外,MOb-GRU能灵活设置反向更新的单元数,这种设置打破了传统GRU只能从第1个模块开始输出的限制.其次,为使记忆网络以较快的速率收敛到最优,本文分别设计了基于自适应学习率和学习率矩阵的网络训练算法.接着,仿真实验分别选取了典型的单变量与多变量非线性动态过程,并采用MOb-GRU神经网络对其进行建模和预测.最后,仿真结果证实了MOb-GRU网络结构的合理性以及训练算法的高效性.

摘要： 为了在实际运行中更好地利用光热电站,文章建立了一种基于改进卷积神经网络的光热电场太阳直接法向辐射的预测模型.首先,通过分析光热发电系统的运行机理,得到影响光热发电系统出力的主要因素是太阳直接法向辐射,并根据太阳直接法向辐射特点选用卷积神经网络对其进行预测;然后,针对卷积神经网络在实际应用过程中存在的预测精度较低和训练时间较长的问题,引入带有稀疏约束的损失函数和自适应学习率思想,并提出一种改进卷积神经网络;最后,利用改进卷积神经网络建立了光热电场太阳直接法向辐射的预测模型.模拟结果表明:文章提出的改进卷积神经网络能够解决一般卷积神经网络在实际应用中存在的预测精度较低和训练速度较慢的问题;基于改进卷积神经网络的预测模型可以较准确地预测出太阳直接法向辐射的变化趋势及其数值.

摘要： 群养猪攻击行为是评估猪群对微环境适应性的重要指标.活动指数模型能够描述猪群行为模式,已经在群养猪攻击行为识别研究中得到初步验证.然而,养殖设施的差异性和动态背景环境等因素所导致的环境适应性差是限制其商业化应用的主要障碍.本文基于递归背景建模思想,在高斯混合模型(GMM)中引人双曲正切函数,提出了一种自适应学习率GMM的活动指数计算方法(ALR-GMM),能够在动态背景环境下准确提取动物活动指数.与经典模型相比,平均相对误差从15.08％降到14.34％.育肥猪攻击行为识别试验中,采用ALR-GMM算法提取行为视频单元的活动指数特征,构建了活动指数最大值、平均值、方差和标准差特征向量,采用线性核函数支持向量机建立分类器.结果表明,本文算法的正确率、灵敏度、特效度和精度分别为97.6％、97.9％、97.7％和97.8％,满足实际应用需求.

摘要： 煤矿井下监控视频图像质量差、噪点多、光照易突变,采用传统混合高斯模型进行目标检测存在运行速度慢、算法复杂度高、易受光照影响等问题.针对该问题,提出了一种基于改进混合高斯模型的井下目标检测算法.使用改进的暗通道去雾算法对井下图像进行预处理,对井下雾图的缩略图求暗通道图,并采用双线性插值得到去雾图像;在混合高斯模型的基础上,使用改进的块建模策略降低建模复杂度,提高算法运行速度;结合三帧差分法,根据图像前景所占比例对高斯建模前期和建模后期设定不同的学习率,以抑制光照对目标检测的影响,提高建模速度和准确度.实验结果表明,当光照发生突变时,该算法能较好地描述检测对象,对光照变化有明显抑制作用;与三帧差分法、传统混合高斯模型相比,该算法可有效提高处理速度.

摘要： 本文主要介绍采用BP神经网络的方法来设计Doherty功率放大器非线性模型.由于传统BP神经网络的固有缺陷,本文采用附加动量项与自适应学习率相结合的改进BP神经网络方法来完成功率放大器的非线性模型设计.文章首先需要对改进的BP算法选择合适的参数,选取两组来自Doherty功率放大器的单音信号数据分别作为神经网络的训练数据和测试数据,最后通过一系列的实验结果对比说明改进的BP神经网络方法得到更高精度的功放设计结果.

摘要： BP网络自身的学习收敛速度慢、容易陷于局部极小等缺陷限制了其在电路故障诊断中的应用。本文提出了一种改进型的自适应学习率动量法对模拟电路故障进行诊断和分析研究。通过仿真实例,验证了自适应学习率动量法加快了样本学习收敛速度,具有更好的实时性和诊断效率。

摘要： 介绍了自适应学习率的神经网络，然后应用于载人飞船的邦联诊断与精决策，建立了自适应神经网络模型，并进行了计算机仿真。该方法可望应用于实际载人飞船系统的实时故障诊断与决策，为飞船飞行可靠性提供保证。

摘要： 推导了多输出自递归神经网络的学习算法，并基于Lyapunov函数得到保证网络快速收敛的自应学习率。最后，应用此网络预测一3层建筑结构对于地震的响应。计算机仿真结果表明，网络学习算法的有效性，及此网络预测结构响应的可行性。

摘要： 推导了多输出自递归神经网络的学习算法，并基于Lyapunov函数得到保证网络快速收敛的自应学习率。最后，应用此网络预测一3层建筑结构对于地震的响应。计算机仿真结果表明，网络学习算法的有效性，及此网络预测结构响应的可行性。

摘要： 推导了多输出自递归神经网络的学习算法，并基于Lyapunov函数得到保证网络快速收敛的自应学习率。最后，应用此网络预测一3层建筑结构对于地震的响应。计算机仿真结果表明，网络学习算法的有效性，及此网络预测结构响应的可行性。

摘要： 推导了多输出自递归神经网络的学习算法，并基于Lyapunov函数得到保证网络快速收敛的自应学习率。最后，应用此网络预测一3层建筑结构对于地震的响应。计算机仿真结果表明，网络学习算法的有效性，及此网络预测结构响应的可行性。

摘要： 本发明公开了一种自适应分辨率的ARINC818总线仿真测试设备及分辨率自适应方法，设备包括：ARINC818总线接收模块，ARINC818总线接收模块包括ADVB解析单元、第一分辨率检测单元、第一VESA时序生成单元、第一锁相环时钟重配单元、进帧存控制单元、第一出帧存控制单元和存储控制器；ADVB解析单元、进帧存控制单元和存储控制器依次信号连接；ADVB解析单元、第一分辨率检测单元、第一锁相环时钟重配单元和存储控制器依次信号连接；存储控制器、第一VESA时序生成单元和第一锁相环时钟重配单元分别与第一出帧存控制单元信号连接，第一出帧存控制单元用于与视频输出接口芯片信号连接。本发明的技术方案旨在解决现有的ARINC818总线仿真测试设备无法适应不同分辨率的总线信号的问题。

摘要： 本申请公开了一种波特率自适应系统和方法，该方法包括：a)接收第一和第二数据；b)判断是否检测到所述第一和第二数据的同步码起始位的下降沿；c)如果未检测到所述下降沿，则返回步骤b；如果检测到所述下降沿，则基于基准时钟，从起始位后的上升沿开始第一计数，到下一下降沿停止第一计数，并得到第一计数值；从停止第一计数的下降沿开始第二计数，到下一上升沿停止第二计数，并得到第二计数值；d)根据第一和第二计数值与第一阈值的关系得到波特率。根据本发明的采用CPLD远程检测MODBUS数据帧的波特率和编码格式，不需要在本地进行波特率和编码格式的手工设置。本发明能够实现波特率和编码格式的远程自动检测功能，省去旋转编码器的材料和装配成本。

摘要： 本发明公开了一种自适应分辨率的ARINC818总线仿真测试设备及分辨率自适应方法，设备包括：ARINC818总线接收模块，ARINC818总线接收模块包括ADVB解析单元、第一分辨率检测单元、第一VESA时序生成单元、第一锁相环时钟重配单元、进帧存控制单元、第一出帧存控制单元和存储控制器；ADVB解析单元、进帧存控制单元和存储控制器依次信号连接；ADVB解析单元、第一分辨率检测单元、第一锁相环时钟重配单元和存储控制器依次信号连接；存储控制器、第一VESA时序生成单元和第一锁相环时钟重配单元分别与第一出帧存控制单元信号连接，第一出帧存控制单元用于与视频输出接口芯片信号连接。本发明的技术方案旨在解决现有的ARINC818总线仿真测试设备无法适应不同分辨率的总线信号的问题。

摘要： 反馈型的UART自适应波特率系统及自适应波特率方法，本发明涉及UART自适应波特率系统及波特率方法。本发明的目的是为了解决现有自适应匹配方式通常忽略了从机发起的波特率改变的情况，实际上，从机也由于后续存储空间的限制，也需要对总线的波特率进行调整的问题。系统包括：主机发送模块、主机接收模块、从机发送模块、从机接收模块，主机和从机共用一条UART总线；主机发送模块用来向从机的接收模块发送待发送的信息；主机接收模块用来接收从机的反馈信息；从机发送模块用于向主机的接收模块发送从机申请的波特率信息；从机接收模块用来接收主机发送模块传递过来的数据信息。本发明用于UART通信领域。

摘要： 本申请公开了一种波特率自适应系统和方法，该方法包括：a)接收第一和第二数据；b)判断是否检测到所述第一和第二数据的同步码起始位的下降沿；c)如果未检测到所述下降沿，则返回步骤b；如果检测到所述下降沿，则基于基准时钟，从起始位后的上升沿开始第一计数，到下一下降沿停止第一计数，并得到第一计数值；从停止第一计数的下降沿开始第二计数，到下一上升沿停止第二计数，并得到第二计数值；d)根据第一和第二计数值与第一阈值的关系得到波特率。根据本发明的采用CPLD远程检测MODBUS数据帧的波特率和编码格式，不需要在本地进行波特率和编码格式的手工设置。本发明能够实现波特率和编码格式的远程自动检测功能，省去旋转编码器的材料和装配成本。

摘要： 本发明公开一种基于学习率自适应的卷积神经网络图像超分辨率重建方法包括：步骤S1、对高分辨率训练图像集中的图像进行模糊和下采样，得到对应的低分辨率训练图像集；步骤S2、将低分辨率的图像进行双立方插值放大；步骤S3、将步骤S2处理后的低分辨率图像输入预训练好的学习率自适应卷积神经网络，得到重建高分辨率图像。采用本发明技术方案，具有优秀的超分辨率重建性能。

摘要： 本发明涉及小波神经网络优化技术领域，特别涉及一种基于归一化最小均方自适应滤波的自适应学习率小波神经网络控制方法。本发明包括:建立控制系统模型；将小波网络的所有权值按层进行单位化；小波神经元权值优化；求解误差信号和训练代价；采用阶梯函数对活化函数的导函数分段处理；制定拟合导函数的模糊规则；确定隶属函数；确定每个模糊规则在导函数值中所占的比重；输出模糊系统、线性化显示活化函数；确定各神经元的诱导局部域及神经元输出；求解各个局部梯度函数；输出层自适应调整学习率；确定输出层学习率的范围；隐层的学习率调节；训练神经元突触权值；输出跟踪控制信号；完成闭环反馈控制。本发明能够加快收敛速度，减小计算复杂度。

摘要： 本发明涉及小波神经网络优化技术领域，特别涉及一种基于归一化最小均方自适应滤波的自适应学习率小波神经网络控制方法。本发明包括:建立控制系统模型；将小波网络的所有权值按层进行单位化；小波神经元权值优化；求解误差信号和训练代价；采用阶梯函数对活化函数的导函数分段处理；制定拟合导函数的模糊规则；确定隶属函数；确定每个模糊规则在导函数值中所占的比重；输出模糊系统、线性化显示活化函数；确定各神经元的诱导局部域及神经元输出；求解各个局部梯度函数；输出层自适应调整学习率；确定输出层学习率的范围；隐层的学习率调节；训练神经元突触权值；输出跟踪控制信号；完成闭环反馈控制。本发明能够加快收敛速度，减小计算复杂度。

摘要： 本发明提供一种用于少样本故障诊断的具有自适应学习率的元学习方法，其包括以下步骤：确定相关超参数；对模型参数随机初始化；进行元训练包括：外循环迭代次数中嵌套内循环，在内循环迭代中，采样形成子任务，根据内循环中子任务的参数更新次数Γ计算得到参数计算样本的交叉熵损失，内循环结束后计算特征间多核最大均值差异并更新模型参数；进行精调循环包括：计算自适应的精调学习率，计算精调损失函数，最后得到用于目标任务故障诊断的模型并结束。本发明提出了用于元训练和精调的两种自适应学习率，并改进了元训练和精调的损失函数，解决了少样本学习中的过拟合和欠拟合问题，并且使模型具有更强的泛化能力。

摘要： 本发明公开了一种基于梯度选择和自适应学习率的加权K异步联邦学习方法、系统及装置，包括：云端初始化模型和学习率参数并广播当前的迭代次数和当前的全局模型。学习者接收广播的模型和迭代次数进行本地训练，当完成本地训练后将更新上传至云端。云端接收K个更新后，升级模型参数。通过累积历史梯度缓解异质性数据的影响，并基于延时程度聚合K个梯度缓解延时性的影响，并估计全局无偏梯度；然后选择与估计梯度下降方向一致的梯度，赋予权重；进一步裁剪延时梯度，并调整学习速率，更新并广播模型参数和迭代次数。重复云端和学习者的交互，直至模型的测试损失小于阈值，模型收敛。本发明根据延时程度自适应调整学习速率，提高了模型的预测精度。