学习率

摘要： 端到端的梯度提升网络是由多个基学习器集合而成的神经网络。它与残差网络结构上有相似之处,二者后面的网络单元(学习器或残差块)都在前面网络单元的基础上继续学习,以逐渐逼近目标函数。端到端的梯度提升网络其网络结构较为复杂,我们对其工作机制的理解还不足。可视化技术有助于我们直观地理解网络内部的工作机制。本文着眼于探究端到端的梯度提升网络的分类过程和特点,在模拟数据上对其分类过程进行了可视化,通过与全连接网络和残差网络的对比突出其特点和问题,并利用哑节点说明其自正则能力相对较弱。然后,利用可视化方法探索了学习率对其分类过程的影响。最后,通过实际分类任务上的实验,在一定程度上验证了可视化相关结论的正确性。

摘要： BP神经网络由于其结构简单、能够自适应、自己学习,有着优越的非线性映射能力,使得它成为当下神经网络应用中最为面面俱到的一种。但从数学角度看,标准BP神经网络采用最速梯度下降法,所以收敛的速度较为缓慢,轻易就会陷入局部极小得不到全局最优、训练次数要达到一定的数量、学习效率不容乐观等缺点。文章以BP神经网络作为研究对象,从四个方面来介绍BP神经网络的整体框架,首先对BP网络的原理和实现步骤进行了系统概述,其次针对其缺点提出了从增加动量项、自适应调节学习率和优化神经网络结构进行改进方法,再次介绍BP算法相关的应用领域,最后进行总结。

摘要： 在对遥感影像进行分类识别处理时,深度学习技术容易陷于局部最优,模型参数往往需要手动调整。提出一种基于模拟退火算法的自适应学习率方法,并建立层叠去噪自动编码器模型。给模型添加一定学习率比例,以实现学习率在迭代中自动改变。通过对比实验以及曲面拟合方法,验证了该方法的有效性、实用性和可靠性。该方法能自动调整学习率参数且能够避免局部最优解,分类精度和效率均有所提高。

摘要： 为进一步提高智能交通系统对车辆及不同车型识别的泛化性、鲁棒性与实时性.根据检测区域的特征有针对性地构建数据集,改变余弦退火衰减(CD)学习率的更新方式,提出一种基于梯度压缩(GC)的Adam优化算法(Adam-GC)来提高YOLO v4算法的训练速度、检测精度以及网络模型的泛化能力.为验证改进后YOLO v4算法的有效性,对实际路况的车流进行采集后,利用训练完成的网络模型对不同密度车流进行定量的车型检测实验验证.经实验验证,改进后方法的整体检测结果要优于改进前,YOLO v4和YOLO v4 GC CD训练得到的网络模型在阻塞流样本下检测得到的准确率分别为94.59%和96.46%;在同步流样本下检测得到的准确率分别为95.34%和97.20%;在自由流样本下检测得到的准确率分别为95.98%和97.88%.

摘要： 为了提高计算机视觉领域细粒度分类方法性能,采用双线性卷积神经网络(B-CNN)对其进行建模研究。以StanfordCars汽车数据集为研究对象,开展细粒度图像分类分析。对B-CNN进行阐述。应用了组归一化、dropout技巧,调整可训练参数,并在汽车数据集上进行试验。比较了经典卷积神经网络和B-CNN。在网络训练中,合适的学习率有助于提升训练速度。在损失函数变化幅度变小到一定范围时,将学习率变小,可跳出局部最优解,寻找全局最优解,避免陷入死循环。结果显示,与单路神经网络相比,B-CNN在输入图像大小为(224,224)时,在汽车数据集中的准确率提升了16%。B-CNN适用于一些细粒度图像分类任务,能提升分类准确率,具有很好的实际应用效果。

摘要： 为提高现有增量学习模型在容量固定环境下学习的持久性,提出一种基于权值选择策略的增量学习方法。根据贝叶斯神经网络携带的不确定性动态地调整权值的学习率,以此优化一个能同时记忆新旧知识的模型;为使模型的学习与记忆更有弹性,在此基础上提出一种权值选择策略,该策略可以令模型主动选择性地释放部分网络资源,在不严重损害旧任务性能的前提下促进后续任务的学习。实验结果表明,在模型容量固定的环境下,权值选择策略的引入可以更有效地发掘模型的持续学习能力。

摘要： GMM算法在目标检测中采用固定的模型个数描述像素点的状态,固定的学习率更新背景。针对GMM算法的以上不足,提出一种自适应选取模型个数和学习率自适应环境变化的GMM算法。通过模糊理论将视频分为三个模糊子集,计算每一部分的模糊熵,根据视频模糊熵的最大值确定需要的模型个数。引入两帧视频的相关性度量视频帧之间的相关性,比较背景变化因子与背景变化系数确定不同的学习率。实验验证,改进算法能够消除噪声影响,有效地节约混合高斯模型的个数,能够自适应环境变化,提高检测准确率,降低检测耗时。

摘要： 针对门控循环单元(GRU)神经网络进行电力负荷预测时,其超参数选取困难等问题,提出一种布谷鸟搜索(CS)算法和GRU相结合的预测方法。研究发现,GRU的预测精度与超参数的设定有关,通过CS算法寻优GRU的超参数,包括迭代次数、学习率和隐含层节点数,节省了超参数选取时间,进一步提高了GRU的预测精度。最后,以河南某地区实例数据为例,在Python的TensorFlow框架下验证了预测方法的有效性。

摘要： 新能源汽车较高的成本是制约我国新能源汽车发展的重要因素之一.本研究构建了纯电动和燃料电池汽车经济性综合分析比较模型.基于新能源汽车各关键零部件的学习率曲线,对纯电动和燃料电池乘用车、客车和货车的未来制造成本趋势进行了分析和比较.同时结合我国私家车、出租车、公交车和物流车4个应用场景,对各场景下纯电动和燃料电池汽车使用成本进行了分析.最后比较了未来不同时点下两种技术路线下的总成本差异.研究发现,虽然未来增程式燃料电池汽车制造成本较低,但纯电动车使用成本价格优势明显,其中总成本将具有较强竞争力.

摘要： 将学习曲线理论应用到整个建筑行业,通过研究阐释了建筑业中"干中学"的学习现象,通过构建中国建筑业学习曲线模型,根据中国建筑业近17年的历史数据,研究中国建筑业单位面积成本随着累计施工面积增多而下降的变化规律,计算出中国建筑业"干中学"学习率.并根据计算得出的学习率,分情景预测未来5年中国建筑业单位成本的发展趋势.2种情景的结果共同表明:随着累计施工面积的增多,未来5年中国建筑业单位面积成本逐年下降,且下降的幅度越来越小,到2023年约维持在640元/m2.最后对如何降低中国建筑业成本提出可行建议,以促进中国建筑业的高质量发展.

摘要： 神经网络被广泛应用于智能语音、自然语言处理、图像识别等各个领域,并应用小批量梯度下降法对其进行训练.然而该训练方法对初始学习率非常敏感,如果无法通过大量实验得到较好的初始学习率,会严重影响训练结果.本文将探究在LSTM语言模型中自适应地调整学习率和加入自适应稳定算子的L2范数优化对训练结果、收敛速度、初始学习率的敏感程度上的影响.最后得出结论,在语言模型中加入学习率的自适应稳定算子会降低初始学习率的敏感度,加快收敛速度,加入L2范数能小幅度提升模型性能.

摘要： 考虑到结构优化设计的实用性和模糊性.在大量智能计算的基础上,提出了一种动态BP神经网络的学习率优化方法,该方法如同Rough集理论的数据分类简约功能去掉了多余属性的样本数据一样,从而使神经网络拓扑结构优化.实验表明,这种方法简单、实用且快速收敛.

摘要： 学习曲线理论最早产生于航空工业，发展到现在已经有70多年的历史了。该理论从产生到发展一直受到理论界的广泛关注。本文首先介绍了学习曲线理论，然后分析了该理论的意义;列举了各种形式的学习曲线公式并对它们进行比较;研究了学习曲线中学习率的概念和意义以及学习率的各种影响因素;最后阐述了如何在软件工程中应用学习曲线。当确定了软件开发过程的学习曲线和学习率后，就可以对整个软件开发进行规划和预测，并能够及时地发现开发过程中出现的问题，监控软件开发的进展程度，以便快速有效地完成软件开发。

摘要： 提出了一种改进的超闭球CMAC的学习算法,使得学习率的确定只需要一个参数,其参数值的确定可以采用自寻优的方法,并证明了算法的收敛性,仿真研究表明了该算法的学习性优于原算法.

摘要： 针对标准ＢＰ算法的低收敛速度和易振荡性等缺陷，引入了最优学习率的概念，提出通过一维寻优确定最优学习率的方法和自适庆最优学习率ＢＰ算法，提高了网络训练的收敛速度和算法稳定性，取得了良好的效果。

摘要： 该文运用数理统计里的主成分分析和复相关分析于ＢＰ算法中，同时还在学习中自适应调整学习率，改善了传统ＢＰ算法的一些固有的弱点。实验表明，此方法是有效的。

摘要： 本发明公开了一种基于混合分辨率稀疏字典学习的图像超分辨率方法，包括字典训练过程和图像超分辨率重构过程。在字典学习过程中，通过对训练样本图像进行随机抽样来生成字典，重复类似操作得到不同分辨率的字典。在图像超分辨率重构过程中，基于该混合分辨率字典对图像进行多分辨率的稀疏表达，具体先通过方差来判断出图像中的纹理信息强弱，纹理信息丰富的图像块使用小分辨率的字典进行超分辨率重构，纹理信息相对不丰富的图像块使用大分辨率的字典重构。本发明能够锐化图像中物体边缘和增强图像纹理信息，减少超分辨率放大图像的平滑和模糊效应。

摘要： 本发明公开了一种基于学习的低比特率压缩图像超分辨率重建方法，算法分为离线部分和在线部分。离线部分，首先采用不同压缩质量参数值对低分辨率图像进行压缩；然后对压缩图像进行滤波处理，接着将滤波后压缩图像的量化失真程度作为特征，将滤波后的LR图像按照其失真程度分为多类并建立分类样本库，然后分别用各类样本进行超分辨率模型的训练。在线部分，首先对输入图像进行滤波处理，接着判定其压缩失真类别，然后根据判定结果，选择相应类别的样本库和超分辨率模型，实现基于学习的超分辨率复原。相比其他算法，本发明的方法能针对不同失真程度的输入LR图像自适应的调节与其相匹配的样本库，并能有效解决块效应失真对图像超分辨率的影响，与直接对低比特率失真图像进行超分辨率复原相比，本发明方法所重建的图像具有更高的主客观质量。

摘要： 本发明提供了一种基于深度学习的隧道电阻率极化率联合反演梯度优化方法，获取隧道三维地质数据；根据隧道三维地质数据以及预设的JointGradOptNet网络，得到隧道电阻率和极化率的联合反演梯度的优化预测结果；其中，JointGradOptNet网络的训练中，针对基于隧道前方常见的含水体构建隧道三维地质模型数据库，通过一次迭代的反演结果与初始均一地电模型的差得到网络的电阻率输入梯度与极化率输入梯度，通过地电模型与初始均一地电模型的差得到网络的电阻率目标梯度与极化率目标梯度；本发明实现了对隧道掌子面前方异常体较为精确的成像。

摘要： 本发明提供的一种基于多分辨率学习策略的磁共振图像超分辨率重建方法，将低分辨率的磁共振图像输入至神经网络模型中，以通过神经网络模型对该低分辨率的磁共振图像进行多尺度特征提取，多分辨率上采样以及加权融合，重建出高分辨率的磁共振图像；与现有技术相比，本申请能够获得比自然图像更丰富的特征信息的同时降低了网络的时间复杂度、减少了显存的消耗；并且，通过多尺度特征映射单元对磁共振图像进行特征提取，不仅能够获得较为多样化的多尺度特征信息，还能够提升网络的深度，降低网络的参数量，减少网络的训练时间；另外，本发明还通过多分辨率学习层实现高分辨率磁共振图像的超分辨率重建，与期望输出更为接近，效果更佳。

摘要： 本发明公开了一种基于混合分辨率稀疏字典学习的图像超分辨率方法，包括字典训练过程和图像超分辨率重构过程。在字典学习过程中，通过对训练样本图像进行随机抽样来生成字典，重复类似操作得到不同分辨率的字典。在图像超分辨率重构过程中，基于该混合分辨率字典对图像进行多分辨率的稀疏表达，具体先通过方差来判断出图像中的纹理信息强弱，纹理信息丰富的图像块使用小分辨率的字典进行超分辨率重构，纹理信息相对不丰富的图像块使用大分辨率的字典重构。本发明能够锐化图像中物体边缘和增强图像纹理信息，减少超分辨率放大图像的平滑和模糊效应。

摘要： 本发明公开了一种基于学习的低比特率压缩图像超分辨率重建方法，算法分为离线部分和在线部分。离线部分，首先采用不同压缩质量参数值对低分辨率图像进行压缩；然后对压缩图像进行滤波处理，接着将滤波后压缩图像的量化失真程度作为特征，将滤波后的LR图像按照其失真程度分为多类并建立分类样本库，然后分别用各类样本进行超分辨率模型的训练。在线部分，首先对输入图像进行滤波处理，接着判定其压缩失真类别，然后根据判定结果，选择相应类别的样本库和超分辨率模型，实现基于学习的超分辨率复原。相比其他算法，本发明的方法能针对不同失真程度的输入LR图像自适应的调节与其相匹配的样本库，并能有效解决块效应失真对图像超分辨率的影响，与直接对低比特率失真图像进行超分辨率复原相比，本发明方法所重建的图像具有更高的主客观质量。

摘要： 本发明涉及一种基于改进学习率的深度学习交通流预测方法，通过改进深度信念网络的模型在训练中对于学习率和训练次数的确定方法，利用改进的深度信念网络和径向基函数的优点建立预测用的深度信念网络‑径向基函数组合模型，使用交通流数据对模型进行训练，并使用训练完成的模型对交通流进行预测。本发明经过实验论证，当数据量较大且波动亦较大时，本发明的深度信念网络‑径向基函数组合模型无论是从预测的稳定性还是误差的结果上都明显优于其他模型，精准度高、误差小、收敛速度快。

摘要： 本发明公开一种基于学习率自适应的卷积神经网络图像超分辨率重建方法包括：步骤S1、对高分辨率训练图像集中的图像进行模糊和下采样，得到对应的低分辨率训练图像集；步骤S2、将低分辨率的图像进行双立方插值放大；步骤S3、将步骤S2处理后的低分辨率图像输入预训练好的学习率自适应卷积神经网络，得到重建高分辨率图像。采用本发明技术方案，具有优秀的超分辨率重建性能。

摘要： 本发明提供一种用于少样本故障诊断的具有自适应学习率的元学习方法，其包括以下步骤：确定相关超参数；对模型参数随机初始化；进行元训练包括：外循环迭代次数中嵌套内循环，在内循环迭代中，采样形成子任务，根据内循环中子任务的参数更新次数Γ计算得到参数计算样本的交叉熵损失，内循环结束后计算特征间多核最大均值差异并更新模型参数；进行精调循环包括：计算自适应的精调学习率，计算精调损失函数，最后得到用于目标任务故障诊断的模型并结束。本发明提出了用于元训练和精调的两种自适应学习率，并改进了元训练和精调的损失函数，解决了少样本学习中的过拟合和欠拟合问题，并且使模型具有更强的泛化能力。

摘要： 本发明公开了一种基于梯度选择和自适应学习率的加权K异步联邦学习方法、系统及装置，包括：云端初始化模型和学习率参数并广播当前的迭代次数和当前的全局模型。学习者接收广播的模型和迭代次数进行本地训练，当完成本地训练后将更新上传至云端。云端接收K个更新后，升级模型参数。通过累积历史梯度缓解异质性数据的影响，并基于延时程度聚合K个梯度缓解延时性的影响，并估计全局无偏梯度；然后选择与估计梯度下降方向一致的梯度，赋予权重；进一步裁剪延时梯度，并调整学习速率，更新并广播模型参数和迭代次数。重复云端和学习者的交互，直至模型的测试损失小于阈值，模型收敛。本发明根据延时程度自适应调整学习速率，提高了模型的预测精度。