Q学习算法

摘要： 针对自动气象观测设备计算任务数据量大、存在时延等问题,文中开展了面向自动气象观测设备的移动边缘计算卸载算法的研究。首先,采用内点法对单服务器设备集群的时间延迟优化模型和能量消耗优化模型进行数据建模;其次,利用Lyapunov优化算法改善系统内的数据积压现象,并进行多服务器设备集群计算卸载算法的研究,从而实现时间延迟与能量消耗两个目标的联合优化;同时,使用Q学习算法完成了未有网络先验知识以及能量状态情况下最优卸载策略的求解。经过实验测试结果表明,文中所提方案将时间延迟与能量消耗均分别降低了23.2%和3.5%。

摘要： 能源互联网由于分布式设备数量剧增,优化调度决策需要分析处理海量数据,对功率流的分析将会面临重重困难。分层优化是针对非线性高维问题及海量数据处理难题的解决策略,其基本思路是将系统按照一定标准,划分为若干层次,再按照系统物理特征划分为不同的区域,给每个区域分配智能体来负责设备的调控,重点研究考虑电、气、热系统结构的潮流分布。结合Q学习基本原理,详细研究了如何将能源互联网系统潮流转化为Q学习模型,并通过仿真算例分析,验证所提出算法的有效性。

摘要： 针对软件定义网络(SDN)的链路抗毁问题,为使数据传输具有更好的稳健性,设计了一个基于Q学习算法的抗毁策略。该策略选择以网络中每条链路的中断概率为衡量指标,通过Q学习算法,根据网络情况寻找一条中断概率低的路径作为备份路径,从而在网络传输出现故障时能够自动地切换为备份路径,实现抗毁性能的改善。将Q学习算法与现有的算法进行对比,并分析了各自的优劣性。实验仿真结果表明,相比于蚁群算法,Q学习算法的平均吞吐量可提高15%左右,网络传输的平均中断概率可降低38%;相比于最短路径算法(有备份),平均吞吐量提高16.5%,网络传输的平均中断概率降低43%。由此可见,文中所提基于Q学习的抗毁技术可大大提升SDN网络的抗毁性能。

摘要： 本文在分析强化学习工作机制的基础上,提出了一种基于强化学习算法的PID参数自整定方法。通过与其他算法的对比以及控制系统的鲁棒性分析,证明该算法具有良好的收敛性,能很好的满足控制任务要求。

摘要： 牵引能耗是列车能耗的主要组成部分,针对城轨列车节能运行的问题,将列车运行状态离散化,以列车对速度控制作为动作空间,时间和能耗作为奖励函数,提出一种基于Q学习算法的城轨列车智能控制策略。在不使用离线优化速度曲线的情况下,根据列车当前位置和速度实时计算最优控制策略;同时,在传统Q学习基础上,将ε-greedy策略与司机驾驶经验相结合,减少探索次数,提高算法学习效率;最后,以杭州地铁5号线三坝-萍水站线路为例,验证该算法在满足准点运行的情况下,较传统动态规划算法,可减少列车站间牵引能耗3.79%。在原线路增加临时限速后,验证该算法仍具有实效性。

摘要： 针对摘挂列车编组调车作业计划编制问题,基于强化学习技术和Q学习算法,提出1种调车作业计划优化方法。在表格调车法的基础上,将调车作业计划分为下落和重组2个部分。通过动作、状态和奖励3要素构建调车作业问题的强化学习模型,以调车机车为智能体,以车组下落的股道编号为动作,以待编车列的下落情况为状态,形成车组挂车、摘车具体条件和车辆重组流程,并依据车组下落的连接状态和车辆重组后产生的总调车程设计奖励函数。改进Q学习算法求解模型,以最小化调车程为目标,建立待编车列与最优调车作业计划之间的映射关系,智能体学习充分后即可求解得到最优的调车作业计划。通过3组算例对比验证本方法效果,结果表明:相较于统筹对口法和排序二叉树法,本方法使用的股道数量更少、调车作业计划更优;相较于分支定界法,本方法可在更短时间内求解质量近似的调车作业计划。因而,本方法有助于提高车站调车作业计划编制的智能化决策水平。

摘要： 企业为了稳定货源和供货关系,常与供应商签订一定时期的框架性协议。为了解决零售商在框架协议下采购报童产品的问题,本文运用强化学习建立库存决策模型并使用Q学习算法求取较优订货策略。通过生成样本随机数来模拟需求量,对比研究Q学习算法订货和传统方法订货的差别。通过多次数值实验,发现使用强化学习方法订货相比于传统订货方法(定量订货法、移动平均预测、指数平滑法)平均利润提高约7%~22%,且多次实验下强化学习方法订货相比于理想状态的平均利润相差约8%。这些发现验证了强化学习解决库存问题的有效性和可行性。本文还研究了相关参数变化对总利润的影响,发现利润随着贪婪率(ε)增加而降低、随着学习率(α)的增加而增加。该结论能够为解决相关库存问题提供新的思路。

摘要： 针对无人机影像目标跟踪过程中常出现的目标方向变化、目标遮挡变化、样本多样性不足等问题,提出了一种基于形态自适应网络的无人机航空影像目标跟踪算法.首先使用基于数据驱动的方法对数据集进行扩增,添加了遮挡样本和多旋转角度样本,提高样本多样性;提出的形态自适应网络模型通过旋转不变约束改进深度置信网络,提取强表征能力的深度特征,使得模型能够自动适应目标形态变化,利用深度特征变换算法获取待检测目标的预定位区域,采用基于Q学习算法的搜索机制对目标进行自适应精准定位,使用深度森林分类器提取跟踪目标的类别信息,得到高精度的目标跟踪结果.在多个数据集上进行了对比实验,实验结果表明该算法能够达到较高的跟踪精度,可以适应目标旋转、目标遮挡等形态变化情况,具有较好的准确性和鲁棒性.

摘要： 针对无人机辅助采集无线传感器网络数据时各节点数据产生速率随机和汇聚节点状态不一致的场景,提出基于Q学习的非连续无人机轨迹规划算法Q-TDUD,以提高无人机能量效率和数据采集效率.基于各节点在周期内数据产生速率的随机性建立汇聚节点的汇聚延时模型,应用强化学习中的Q学习算法将各汇聚节点的延迟时间和采集链路的上行传输速率归一化到奖励函数中,通过迭代计算得到最佳非连续无人机飞行轨迹.实验结果表明,与TSP-continues、TSP、NJS-continues和NJS算法相比,Q-TDUD算法能够缩短无人机的任务完成时间,提高无人机能效和数据采集效率.

摘要： 以BIM模型的数据结构为基础,融合建筑设计静态数据、室内环境数据和设备运行数据,采用自适应动态规划方法,建立基于BIM的建筑-环境-运行数据多元表达模型,构建面向环境舒适度与建筑能效提升的建筑运行节能管理系统.并通过实例验证测试,评估系统在建筑运行节能中的有效性.

摘要： 以最小化平均消耗功率为目标,提出了一种具有多媒体服务质量保障的用户调度和功率分配机制.每个用户维持一个用于存储多媒体数据包的播放队列,用户的服务质量要求被刻画成用户播放队列为空的概率,即播放中断的概率.针对无线信道和播放队列长度的动态变化,将用户调度和功率分配刻画成一个带有约束条件的马尔可夫决策问题.为了应对系统难以精确获取信道分布参数的情况,采用Q学习算法求解马尔科夫决策问题,进而提出了一种在线学习的用户调度和功率控制算法.系统通过在线学习进行用户调度和功率分配,以实现平均消耗功率的最小化目标.

摘要： 以最小化平均消耗功率为目标,提出了一种具有多媒体服务质量保障的用户调度和功率分配机制.每个用户维持一个用于存储多媒体数据包的播放队列,用户的服务质量要求被刻画成用户播放队列为空的概率,即播放中断的概率.针对无线信道和播放队列长度的动态变化,将用户调度和功率分配刻画成一个带有约束条件的马尔可夫决策问题.为了应对系统难以精确获取信道分布参数的情况,采用Q学习算法求解马尔科夫决策问题,进而提出了一种在线学习的用户调度和功率控制算法.系统通过在线学习进行用户调度和功率分配,以实现平均消耗功率的最小化目标.

摘要： 以最小化平均消耗功率为目标,提出了一种具有多媒体服务质量保障的用户调度和功率分配机制.每个用户维持一个用于存储多媒体数据包的播放队列,用户的服务质量要求被刻画成用户播放队列为空的概率,即播放中断的概率.针对无线信道和播放队列长度的动态变化,将用户调度和功率分配刻画成一个带有约束条件的马尔可夫决策问题.为了应对系统难以精确获取信道分布参数的情况,采用Q学习算法求解马尔科夫决策问题,进而提出了一种在线学习的用户调度和功率控制算法.系统通过在线学习进行用户调度和功率分配,以实现平均消耗功率的最小化目标.

摘要： 以最小化平均消耗功率为目标,提出了一种具有多媒体服务质量保障的用户调度和功率分配机制.每个用户维持一个用于存储多媒体数据包的播放队列,用户的服务质量要求被刻画成用户播放队列为空的概率,即播放中断的概率.针对无线信道和播放队列长度的动态变化,将用户调度和功率分配刻画成一个带有约束条件的马尔可夫决策问题.为了应对系统难以精确获取信道分布参数的情况,采用Q学习算法求解马尔科夫决策问题,进而提出了一种在线学习的用户调度和功率控制算法.系统通过在线学习进行用户调度和功率分配,以实现平均消耗功率的最小化目标.

摘要： 以最小化平均消耗功率为目标,提出了一种具有多媒体服务质量保障的用户调度和功率分配机制.每个用户维持一个用于存储多媒体数据包的播放队列,用户的服务质量要求被刻画成用户播放队列为空的概率,即播放中断的概率.针对无线信道和播放队列长度的动态变化,将用户调度和功率分配刻画成一个带有约束条件的马尔可夫决策问题.为了应对系统难以精确获取信道分布参数的情况,采用Q学习算法求解马尔科夫决策问题,进而提出了一种在线学习的用户调度和功率控制算法.系统通过在线学习进行用户调度和功率分配,以实现平均消耗功率的最小化目标.

摘要： 以最小化平均消耗功率为目标,提出了一种具有多媒体服务质量保障的用户调度和功率分配机制.每个用户维持一个用于存储多媒体数据包的播放队列,用户的服务质量要求被刻画成用户播放队列为空的概率,即播放中断的概率.针对无线信道和播放队列长度的动态变化,将用户调度和功率分配刻画成一个带有约束条件的马尔可夫决策问题.为了应对系统难以精确获取信道分布参数的情况,采用Q学习算法求解马尔科夫决策问题,进而提出了一种在线学习的用户调度和功率控制算法.系统通过在线学习进行用户调度和功率分配,以实现平均消耗功率的最小化目标.

摘要： 将区域电网作为参与电网调度的单元,通过联络节点的电价建立区域电网与整体的联系,以避免集中调度中对风电不确定性建模的复杂过程.建立了一种基于Q学习的区域电网风电调度模型,Q学习控制器以长期运营成本最小为目标,随着历史信息时间序列的推移不断进行学习与决策的循环,使其能够在无需获取风电出力概率分布的情况下,根据经验给出合理的风电计划出力值.算例验证了该模型在解决区域电网风电调度问题上具有一定的优越性.

摘要： 将区域电网作为参与电网调度的单元,通过联络节点的电价建立区域电网与整体的联系,以避免集中调度中对风电不确定性建模的复杂过程.建立了一种基于Q学习的区域电网风电调度模型,Q学习控制器以长期运营成本最小为目标,随着历史信息时间序列的推移不断进行学习与决策的循环,使其能够在无需获取风电出力概率分布的情况下,根据经验给出合理的风电计划出力值.算例验证了该模型在解决区域电网风电调度问题上具有一定的优越性.

摘要： 将区域电网作为参与电网调度的单元,通过联络节点的电价建立区域电网与整体的联系,以避免集中调度中对风电不确定性建模的复杂过程.建立了一种基于Q学习的区域电网风电调度模型,Q学习控制器以长期运营成本最小为目标,随着历史信息时间序列的推移不断进行学习与决策的循环,使其能够在无需获取风电出力概率分布的情况下,根据经验给出合理的风电计划出力值.算例验证了该模型在解决区域电网风电调度问题上具有一定的优越性.

摘要： 将区域电网作为参与电网调度的单元,通过联络节点的电价建立区域电网与整体的联系,以避免集中调度中对风电不确定性建模的复杂过程.建立了一种基于Q学习的区域电网风电调度模型,Q学习控制器以长期运营成本最小为目标,随着历史信息时间序列的推移不断进行学习与决策的循环,使其能够在无需获取风电出力概率分布的情况下,根据经验给出合理的风电计划出力值.算例验证了该模型在解决区域电网风电调度问题上具有一定的优越性.

摘要： 对利用以往的散点图无法判定的细胞种类进行判定。一种使用神经网络结构的深度学习算法对生物试样所含的细胞进行分析的细胞分析方法，包括：使前述细胞在流路中流过，取得关于在前述流路内通过的各个细胞的信号强度，将与取得的关于各个细胞的信号强度对应的数值数据输入深度学习算法，基于从深度学习算法输出的结果，对每个细胞判定取得了信号强度的细胞的种类；利用前述细胞分析方法，解决了课题。

摘要： 本发明涉及一种用于训练机器学习算法的方法，方法包括以下步骤提：供具有与医学技术成像系统的安全数据连接和在该数据连接之外在网络中的中央计算装置的训练装置，提供数据接口，所述数据接口设计为用于从所述训练装置将数据发送至所述中央计算装置，创建多个基于图像记录的训练数据集，所述训练数据集分别配备有基本事实或者在数据技术方面与基本事实链接，经由所述安全数据连接将所述训练数据集发送给所述训练装置，借助于所述训练装置借助所述训练数据集训练所述机器学习算法，经由所述数据接口将经训练的所述机器学习算法的参数数据集发送给所述中央计算装置。本发明还涉及相应的机器学习算法、控制装置、成像系统以及设备复合体。

摘要： 系统(100)包括一个或多个处理器(110)和一个或多个存储设备(120)，其中系统(100)配置为通过由一个或多个处理器(110)执行的语言识别机器学习算法生成基于生物学相关语言的输入训练数据(102)的第一高维表示。此外，系统(100)配置为通过语言识别机器学习算法根据第一高维表示生成基于生物学相关语言的输出训练数据，根据基于生物学相关语言的输入训练数据(102)和基于生物学相关语言的输出训练数据的比较调整语言识别机器学习算法。此外，系统(100)配置为通过由一个或多个处理器(110)执行的视觉识别机器学习算法生成基于生物学相关图像的输入训练数据(104)的第二高维表示，根据第一高维表示和第二高维表示的比较调整视觉识别机器学习算法。

摘要： 本发明提出一种深度学习算法的选择方法，该方法包括：获取待处理的问题类型；依据所述问题类型选择相应的数据集，并将所选数据集分为训练数据和测试数据；计算所述训练数据的相似度；依据所述相似度调整所述训练数据的批次大小；依据所述问题类型选择多种深度学习算法，并利用所述训练数据训练所选择的所述深度学习算法以获取相应的算法模型。上述方法降低了深度学习算法的选择难度且通用性强。本发明同时提供一种深度学习算法的选择装置。

摘要： 本申请提供了一种组件发布及基于图形化机器学习算法平台的组件构建方法、图形化机器学习算法平台。图形化机器学习算法平台能够将功能模型发布或构建为新的组件，因此，在用户需要重复使用某一项功能的情况下，可以直接使用新的组件，而无需再重复建立功能模型，从而方便用户的使用。

摘要： 本发明属于深度学习方向的个性化路径推荐算法领域，涉及一种基于深度学习引导的A*算法的个性化路径推荐算法，包括：对数据进行预处理，从用户历史出行信息中提取可用数据；CNN+LSTM神经网络通过提取出的数据学习其中隐含的用户的个性化偏好特征，利用CNN+LSTM神经网络进行路径规划，得到备选路径；选路径的评测标准作为A*搜索算法的估算函数，用于A*搜索算法的迭代过程中下一时刻结点选取的依据；经A*搜索算法规划出的路径为最终求解结果即为用户推荐的个性化路径。该算法为现代导航系统的路线推荐功能提供了新的选择，能为用户提供更契合用户需要的路线建议，提升用户对导航服务的满意度，提高交通出行的质量。

摘要： 本发明公开了本发明提供的基于历史数据及自动学习动态精度收缩算法实现的里程时长预估算法，通过获取目标时间和位置信息，所述位置信息包括起始点经纬度和终点经纬度；根据目标时间和位置信息加载对应的索引和历史行程数据；根据索引在历史行程数据中检索；若检索命中目标行程数据，则将目标行程数据作为行程预估结果返回。本发明通过基于位置和时间的索引在历史行程数据中进行精准检索，将命中的行程数据作为预估结果反馈。历史行程数据具有真实的里程数据，和更具参考价值的时长数据，本发明与现有技术截然不同，索引精度和预估进度会跟随着数据量的积累逐步提升。

摘要： 本发明公开了一种基于松鼠优化算法和机器学习算法的玻璃硬度预测方法，涉及电数字数据处理领域；方法包括：构建不同组分玻璃材料的硬度数据库；构建特征描述符；提供训练集样本，初始化松鼠搜索算法的参数；设定松鼠搜索算法优化参数，运用其优化Catboost算法参数，得到最佳Catboost算法参数，建立玻璃硬度预测模型；输入测试样本数据，预测玻璃硬度。本发明构建了独特的描述符，将松鼠搜索优化算法用于优化Catboost算法参数寻优，结构简单，提高收敛速度和精度，且寻优得到的最优Catboost算法参数可以较明显地提高Catboost算法的性能，对于提高预测玻璃硬度的准确性具有现实意义。

摘要： 本发明涉及极限学习机分类算法技术领域，具体涉及基于改进乌鸦搜索算法的极限学习机分类算法；包括以下步骤：搭建ELM网络模型，采用ICSA算法，对ELM模型随机生成的输入权重和阈值进行优化通过引入AP值动态递变函数去平衡全局和局部搜索性能，引入莱维飞行搜索方法避免盲目搜索，引入多个体变因子加权学习方法保证种群多样性，引入邻代维度交叉方法增强最优个体藏食位置质量，避免获得局部最优值，从而实现准确预测结果。本发明弥补随机生成输入权重和阈值带来的一系列缺陷，提高ELM模型分类精度，并在对ELM模型参数进行优化时，基于传统CSA算法，通过引入AP值动态递变函数去平衡全局和局部搜索性能，引入莱维飞行搜索方法避免盲目搜索。

摘要： 本发明涉及一种基于深度强化学习算法的无人机辅助空地通信优化算法，属于无线通信技术领域。本发明首先构建分布有若干无人机基站和地面用户的三维场景，再建立无人机和地面用户的笛卡尔三维坐标模型，根据用户和空中基站的位置得到它们之间的距离和d和仰角θ，建立空地通信的系统模型，接着整理基站和用户之间的路径损耗，传输速率等影响因素，建立以吞吐量和公平性为目标的优化问题，然后确定模型所需的状态变量，动作变量以及奖励函数等，建立DDPG算法模型，最后根据算法，通过Python建立仿真，和其他算法进行对比。