KL散度

摘要： 针对传统协同过滤推荐算法在稀疏数据上推荐准确度低的问题,提出一种基于KL散度的ALS推荐算法KL-ALS。传统ALS算法计算物品相似度时只考虑了用户之间的共同评分项,得到的相似性与真实值会有一定的误差,而采用KL散度计算物品相似度时,对用户评论的数量不做任何限制,不依赖于用户共同评分项。KL-ALS算法首先将ALS算法计算物品相似度和KL散度计算的物品相似度按照一定权重混合,产生总体相似度,进而采用ALS算法训练模型,能够更加准确地度量物品间的相似度,改善推荐效果。实验选取亚马逊智能产品评论数据集,与传统的基于ALS的协同过滤推荐算法和基于物品的协同过滤推荐算法(Item-CF)进行对比,实验结果表明KL-ALS推荐算法能有效提高推荐的准确度和性能。

摘要： 高阻抗故障(HIF)主要与电弧现象有关,具有低电流、随机性、非线性和不对称性特征。配电网过流保护系统需要考虑HIF的低故障电流,检测功率损失、潜在火灾危险和电击风险。提出了一种基于变电站电流波形的时域HIF检测算法,利用Kullback-Leibler散度相似性度量,量化了电流波形两个故障后半周期的非线性和不对称性特征作为HIF检测的判据,此判据也被用来区分HIF与负荷、电容器、馈线和分布式能源投切事件以及电压骤降和浪涌事件。利用IEEE13节点和IEEE34节点测试系统进行了大量的时域仿真,验证了所提HIF检测算法的优越性。

摘要： KL散度在机器学习领域被广泛地用于模型损失函数之中来度量分布的距离。在稀疏自编码器中,KL散度被用作损失函数的惩罚项来度量神经元输出与稀疏参数的距离,使得神经元输出趋近稀疏参数,从而抑制神经元的激活以得到稀疏编码。在WGAN中,Wasserstein距离被用于解决GAN的梯度消失和模式塌陷问题,使得GAN的训练更加稳定。得益于Wasserstein距离在GAN中的成功应用,提出了基于EMD距离的稀疏自编码器SAE-EMD。实验结果表明,相比于使用KL散度与JS散度,使用EMD距离作为惩罚项的稀疏自编码器可以使得真实样本与重构样本之间的重构误差减小,并且随着惩罚参数的增大,编码更加稀疏。

摘要： 储能的高投资成本是限制其商业化发展的主要障碍,通过储能聚合商协调储能设备运行,提高储能的利用率并降低成本。首先,综合考虑了微电网中的火电机组、充电站、可中断负荷等可调节灵活性资源的成本以及共享储能的费用分摊,以各方效益最大化为目标,构建了各微电网与共享储能聚合商的博弈优化运行模型。其次,采用了多智能体强化学习方法求解多主体下博弈问题,引入KL散度优化智能体的学习率,提高算法的收敛性。最后,以3个相邻微电网的算例分析,共享储能模式下提升了各主体的经济效益,验证了共享储能模式的优越性与算法改进的有效性。

摘要： 线性判别分析是一种统计学习方法.针对线性判别分析的小样本奇异性问题和对污染样本敏感性问题,目前许多线性判别分析的改进算法已被提出.本文提出了基于Kullback-Leibler(KL)散度不确定集的判别分析方法.提出的方法不仅利用了Ls范数定义类间距离和Lr范数定义类内距离,而且对类内样本和各类中心的信息进行基于KL散度不确定集的概率建模.首先通过优先考虑不利区分的样本提出了一种正则化对抗判别分析模型并利用广义Dinkelbach算法求解此模型.这种算法的一个优点是在适当的条件下优化子问题不需要取得精确解.投影(次)梯度法被用来求解优化子问题.此外,也提出了正则化乐观判别分析并采用交替优化技术求解广义Dinkelbach算法的优化子问题.许多数据集上的实验表明了本文的模型优于现有的一些模型,特别是在污染的数据集上,正则化乐观判别分析由于优先考虑了类中心附近的样本点,从而表现出良好的性能.

摘要： 互补集合平均经验模态分解(complementary ensemble empirical model decomposition,CEEMD)作为一种时频特征分析方法,可以较好地提取复杂非线性非平稳信号的故障特征,但其存在虚假分量,很大程度限制诊断过程中的准确性。针对该问题,提出一种基于KL散度(Kullback-Leibler divergence,KLD)的CEEMD虚假分量识别方法(KL-CEEMD)。该方法在原有CEEMD方法基础之上,进一步计算各分量IMF与原信号之间的KL散度值,从而量化各分量与原信号之间的相关性。最后通过对各个IMF的KL散度值进行聚类分析,找出虚假分量和真实分量,最终解决CEEMD的虚假分量问题。为验证KL-CEEMD的有效性,研究搭建风力机传动系统振动试验台,基于该方法对实验台实验数据以及仿真数据进行验证性研究,最终证明所提方法可以很好改善CEEMD的虚假分量问题,能够有效提取出故障信号的真实特性。

摘要： 文章提出一种基于自适应滤波的多目标检测方法。将雷达回波等分成回波矩阵X_(i),计算X_(i)的协方差矩阵并进行特征值分解;利用特征值矩阵D计算奇异谱,估计主分量个数N_(ev),以N_(ev)>3作为门限判断回波矩阵X_(i)是否包含目标;通过特征矢量矩阵V构成的自适应滤波器对X_(i)滤波,估算滤波后回波脉冲的Pareto模型参数,生成Pareto随机序列;采用K-L散度识别目标回波,用峰值检测法确定各个目标位置。通过实测海杂波数据实验,验证了所提方法的有效性。

摘要： 传统的图正则化方法使用欧氏距离度量样本空间的相似度,并不能准确考察复杂数据集的邻域信息,容易导致模型在复杂形状数据和非凸数据集中的泛化性能下降。提出一种改进的图正则算法,使用等距特征映射保留样本空间的邻域信息,帮助模型进行流形学习,同时结合使用KL约束进一步使得数据表示的外部结构变得光滑,从而捕获到更稀疏和高级的特征表示。在MNIST和YaleB等数据集上的实验结果表明,相比于流行的几种特征提取算法,该算法能够提取到更有意义和稳健的特征。在分类任务和聚类任务上具有优势,同时具有更好的抗干扰性能。

摘要： 为了解决噪声干扰Prony算法提取谐波参数问题,提出了一种集成局部均值分解(ELMD)-奇异值分解(SVD)-Prony的谐波分析方法(ELMD-SVD-Prony)。首先采用ELMD分解含噪信号,对获得的一系列乘积函数(PF)采用K-L散度来确定含噪分量与有效分量之间的分界点,去除噪声分量并保留有效分量,对有效分量通过相空间重构Hankel矩阵,运用奇异值分解进行二次降噪并重构。最后将重构的信号与ELMD余项叠加得到去噪后的谐波信号,结合Prony算法检测谐波的频率、幅值与相位。仿真实验结果表明,该方法能有效降噪并提取谐波特征参数。

摘要： 为应对风电场出力的波动性和随机性给机组组合带来的问题,提出了基于Kullback-Leibler(KL)散度的含储能机组组合的两阶段分布鲁棒优化模型。在电池储能的运行模型的基础,将电池储能模型嵌入到传统的火电机组组合模型中,建立了含储能的机组组合两阶段优化模型;基于KL散度构建了风电场出力的模糊集,形成了含储能机组组合的两阶段分布鲁棒优化模型,通过对偶变换和广义Benders分解将其转化成易于求解的混合整数凸优化模型进行求解。通过IEEE RTS 24节点系统仿真结果表明,所提出的分布鲁棒优化方法保守性优于鲁棒优化方法,经济性接近随机优化方法,且随着KL散度增大,机组组合成本缓慢增加。

摘要： 区间符号数据目前已经在数据表达与数据处理中有着广泛而实际应用,特别是在数据挖掘、人工智能这些新兴领域.本文定义了一个基于KL散度的相似性度量,希望尽可能的利用区间符号数据的内部信息,而不是仅仅利用其边界值,并将这一新的相似性度量方法用于动态聚类算法中.为了评估这个聚类算法的优越性,文中通过仿真数据和真实公交数据分别进行了实验,并将这一新的度量方法与其他三种相似性度量(Hausdorff距离、City-block距离和Wasserstein距离)比较.仿真生成的数据通过各种不同的分布来体现原始类别的差异,并引入ARI这一指标来衡量每种相似性度量下的聚类效果.由于ARI指标对聚类算法中的度量定义不敏感,所以能够客观地给出效果评价.仿真生成的数据的实验结果很好地说明了基于KL散度的相似性度量比其他三种度量方法有着更高的聚类准确度.最后,文中把这一度量方法用于真实的公交车站点数据,采用基于路况相似性的方法来预测公交车的到站时间,并且和其他度量方法比较最终的预测准确度.真实数据实验的结果也表明这一新的相似性度量方法比现存的三种方法有着更好的表现.

摘要： 区间符号数据目前已经在数据表达与数据处理中有着广泛而实际应用,特别是在数据挖掘、人工智能这些新兴领域.本文定义了一个基于KL散度的相似性度量,希望尽可能的利用区间符号数据的内部信息,而不是仅仅利用其边界值,并将这一新的相似性度量方法用于动态聚类算法中.为了评估这个聚类算法的优越性,文中通过仿真数据和真实公交数据分别进行了实验,并将这一新的度量方法与其他三种相似性度量(Hausdorff距离、City-block距离和Wasserstein距离)比较.仿真生成的数据通过各种不同的分布来体现原始类别的差异,并引入ARI这一指标来衡量每种相似性度量下的聚类效果.由于ARI指标对聚类算法中的度量定义不敏感,所以能够客观地给出效果评价.仿真生成的数据的实验结果很好地说明了基于KL散度的相似性度量比其他三种度量方法有着更高的聚类准确度.最后,文中把这一度量方法用于真实的公交车站点数据,采用基于路况相似性的方法来预测公交车的到站时间,并且和其他度量方法比较最终的预测准确度.真实数据实验的结果也表明这一新的相似性度量方法比现存的三种方法有着更好的表现.

摘要： 区间符号数据目前已经在数据表达与数据处理中有着广泛而实际应用,特别是在数据挖掘、人工智能这些新兴领域.本文定义了一个基于KL散度的相似性度量,希望尽可能的利用区间符号数据的内部信息,而不是仅仅利用其边界值,并将这一新的相似性度量方法用于动态聚类算法中.为了评估这个聚类算法的优越性,文中通过仿真数据和真实公交数据分别进行了实验,并将这一新的度量方法与其他三种相似性度量(Hausdorff距离、City-block距离和Wasserstein距离)比较.仿真生成的数据通过各种不同的分布来体现原始类别的差异,并引入ARI这一指标来衡量每种相似性度量下的聚类效果.由于ARI指标对聚类算法中的度量定义不敏感,所以能够客观地给出效果评价.仿真生成的数据的实验结果很好地说明了基于KL散度的相似性度量比其他三种度量方法有着更高的聚类准确度.最后,文中把这一度量方法用于真实的公交车站点数据,采用基于路况相似性的方法来预测公交车的到站时间,并且和其他度量方法比较最终的预测准确度.真实数据实验的结果也表明这一新的相似性度量方法比现存的三种方法有着更好的表现.

摘要： 区间符号数据目前已经在数据表达与数据处理中有着广泛而实际应用,特别是在数据挖掘、人工智能这些新兴领域.本文定义了一个基于KL散度的相似性度量,希望尽可能的利用区间符号数据的内部信息,而不是仅仅利用其边界值,并将这一新的相似性度量方法用于动态聚类算法中.为了评估这个聚类算法的优越性,文中通过仿真数据和真实公交数据分别进行了实验,并将这一新的度量方法与其他三种相似性度量(Hausdorff距离、City-block距离和Wasserstein距离)比较.仿真生成的数据通过各种不同的分布来体现原始类别的差异,并引入ARI这一指标来衡量每种相似性度量下的聚类效果.由于ARI指标对聚类算法中的度量定义不敏感,所以能够客观地给出效果评价.仿真生成的数据的实验结果很好地说明了基于KL散度的相似性度量比其他三种度量方法有着更高的聚类准确度.最后,文中把这一度量方法用于真实的公交车站点数据,采用基于路况相似性的方法来预测公交车的到站时间,并且和其他度量方法比较最终的预测准确度.真实数据实验的结果也表明这一新的相似性度量方法比现存的三种方法有着更好的表现.

摘要： 针对非对称语料库情况下的语音转换,本文提出了一种基于混合高斯归一化的语音转换方法.首先,通过背景说话人模型,分别自适应训练得到源说话人和目标说话人模型.然后,利用训练得到的模型自适应参数,提出了基于高斯归一化的特征映射方法,为了进一步提高转换效果,进而提出了混合高斯归一化的方法.同时,针对说话人模型中未被更新的参数,采用KL散度(Kullback-Leibler divergence)方法进行了优化.最后,通过主客观实验对提出的算法的有效性进行了仿真和验证.实验结果表明,本文提出的基于混合高斯归一化的语音转换方法,无论是倒谱失真度、还是转换语音的目标倾向度以及感知质量,都在很大程度上获得了接近基于对称语音库的传统高斯混合模型(Gaussian mixture model,GMM)方法的效果.

摘要： 针对非对称语料库情况下的语音转换,本文提出了一种基于混合高斯归一化的语音转换方法.首先,通过背景说话人模型,分别自适应训练得到源说话人和目标说话人模型.然后,利用训练得到的模型自适应参数,提出了基于高斯归一化的特征映射方法,为了进一步提高转换效果,进而提出了混合高斯归一化的方法.同时,针对说话人模型中未被更新的参数,采用KL散度(Kullback-Leibler divergence)方法进行了优化.最后,通过主客观实验对提出的算法的有效性进行了仿真和验证.实验结果表明,本文提出的基于混合高斯归一化的语音转换方法,无论是倒谱失真度、还是转换语音的目标倾向度以及感知质量,都在很大程度上获得了接近基于对称语音库的传统高斯混合模型(Gaussian mixture model,GMM)方法的效果.

摘要： 针对非对称语料库情况下的语音转换,本文提出了一种基于混合高斯归一化的语音转换方法.首先,通过背景说话人模型,分别自适应训练得到源说话人和目标说话人模型.然后,利用训练得到的模型自适应参数,提出了基于高斯归一化的特征映射方法,为了进一步提高转换效果,进而提出了混合高斯归一化的方法.同时,针对说话人模型中未被更新的参数,采用KL散度(Kullback-Leibler divergence)方法进行了优化.最后,通过主客观实验对提出的算法的有效性进行了仿真和验证.实验结果表明,本文提出的基于混合高斯归一化的语音转换方法,无论是倒谱失真度、还是转换语音的目标倾向度以及感知质量,都在很大程度上获得了接近基于对称语音库的传统高斯混合模型(Gaussian mixture model,GMM)方法的效果.

摘要： 针对非对称语料库情况下的语音转换,本文提出了一种基于混合高斯归一化的语音转换方法.首先,通过背景说话人模型,分别自适应训练得到源说话人和目标说话人模型.然后,利用训练得到的模型自适应参数,提出了基于高斯归一化的特征映射方法,为了进一步提高转换效果,进而提出了混合高斯归一化的方法.同时,针对说话人模型中未被更新的参数,采用KL散度(Kullback-Leibler divergence)方法进行了优化.最后,通过主客观实验对提出的算法的有效性进行了仿真和验证.实验结果表明,本文提出的基于混合高斯归一化的语音转换方法,无论是倒谱失真度、还是转换语音的目标倾向度以及感知质量,都在很大程度上获得了接近基于对称语音库的传统高斯混合模型(Gaussian mixture model,GMM)方法的效果.

摘要： 针对非对称语料库情况下的语音转换,本文提出了一种基于混合高斯归一化的语音转换方法.首先,通过背景说话人模型,分别自适应训练得到源说话人和目标说话人模型.然后,利用训练得到的模型自适应参数,提出了基于高斯归一化的特征映射方法,为了进一步提高转换效果,进而提出了混合高斯归一化的方法.同时,针对说话人模型中未被更新的参数,采用KL散度(Kullback-Leibler divergence)方法进行了优化.最后,通过主客观实验对提出的算法的有效性进行了仿真和验证.实验结果表明,本文提出的基于混合高斯归一化的语音转换方法,无论是倒谱失真度、还是转换语音的目标倾向度以及感知质量,都在很大程度上获得了接近基于对称语音库的传统高斯混合模型(Gaussian mixture model,GMM)方法的效果.

摘要： 考虑多传感器带有不确定统计模型系统稳健估计融合问题.考虑的不确定类是以Kullback-Leibler散度来刻画实际模型与名义模型之间的差异.给定一个名义的统计模型的情形下,在上述不确定类中找到了最不利统计模型对应的线性最小方差无偏估计.文中严格证明了名义统计模型下的线性最小方差无偏估计关于相对熵不确定性来说是稳健的.

摘要： 本发明涉及一种基于KL散度衡量资源配置合理度方法、装置、设备及介质，其包括获取目标办税服务厅的历史业务明细原始数据，根据历史业务明细原始数据确定目标办税服务厅办理各类业务的难度系数；根据预测时间点，获取目标办税服务厅的历史业务量数据或未来业务量数据；根据历史业务量数据或未来业务量数据，确定目标办税服务厅在衡量时间段内各类业务的难度系数业务量序列；获取目标办税服务厅在衡量时间段内各类业务的相对可办理窗口数量序列；根据各类业务的难度系数业务量序列和相对可办理窗口数量序列，利用KL散度方法计算资源配置系数，以衡量目标办税服务厅的资源配置合理度。本发明能够有效衡量办税资源配置合理度，提高办税资源的利用率。

摘要： 本发明涉及一种基于KL散度衡量资源配置合理度方法、装置、设备及介质，其包括获取目标办税服务厅的历史业务明细原始数据，根据历史业务明细原始数据确定目标办税服务厅办理各类业务的难度系数；根据预测时间点，获取目标办税服务厅的历史业务量数据或未来业务量数据；根据历史业务量数据或未来业务量数据，确定目标办税服务厅在衡量时间段内各类业务的难度系数业务量序列；获取目标办税服务厅在衡量时间段内各类业务的相对可办理窗口数量序列；根据各类业务的难度系数业务量序列和相对可办理窗口数量序列，利用KL散度方法计算资源配置系数，以衡量目标办税服务厅的资源配置合理度。本发明能够有效衡量办税资源配置合理度，提高办税资源的利用率。

摘要： 本发明属于图像处理领域，为提出一种无参考对比度失真图像质量评价方法，该方法与主观评价分数有着较高的一致性，能够有效地评价对比度失真图像。为此，本发明采取的技术方案是，最大熵和KL散度无参考对比度失真图像质量评价方法，步骤如下：(1)最大熵计算；(2)平均强度直方图计算；(3)度量强度分布的改变；(4)质量评价。本发明主要应用于图像处理场合。

摘要： 本发明提供了一种使用带权重直方图优化KL散度的方法、系统及介质，包括：对卷积神经网络进行前向推理，记录所有量化数据集在前向推理中每层的activation数据，根据每层的activation数据计算得到直方图，根据直方图计算得到每层的KL散度，根据KL散度计算得到每层的截断值；其中，根据每层的activation数据的数据量动态划分直方图的间隙数，把卷积神经网络下层参数作为权重值，代入当前层的activation数据中，带入递增函数作为新的数据来计算直方图。本发明考虑本层大值的影响以及上下层之间的关联性，将下一层相关权重附加到本层的输出值中，生成带有权重的直方图，从而提高KL散度的量化效果。

摘要： 本发明涉及一种基于KL散度与相邻关系的改进加权质心定位方法，属于无线通信领域。该方法包括以下步骤：部署待定位节点和锚节点，并初始化节点设置；锚节点向待定位节点传播信号建立RSS矩阵并计算KL散度值衡量近似程度；KL散度值经过观察与多次样本值累加得到KL散度矩阵；利用自适应的邻居选择阈值设定，确定用于定位的锚节点；根据KL散度矩阵，为待定位的邻居锚节点设置权值；利用加权值和锚节点的坐标，得到待定位节点的坐标。

摘要： 本发明公开一种基于多分辨率KL散度和投票机制的带噪语音端点检测方法，包括：对采样的语音信号样点按时间顺序进行分帧；对当前帧按不同颗粒度进行频带划分，在每种颗粒度下得到多个子带；分别计算不同颗粒度下子带能量分布的KL散度，将每种颗粒度的KL散度与第一阈值比较后，得到每种颗粒度的判别值；根据不同颗粒度的判决值得到综合值，根据综合值与第二阈值的比较，得到语音和噪声的判别结果。有效解决噪声频谱在临近子带起伏而导致的噪声被误判为语音的问题，从而有效提高语音端点检测的准确率。

摘要： 本发明涉及神经架构搜索领域，公开了一种基于KL散度的神经网络模型性能评估方法，首先由需要评估的神经网络模型加载测试样本，然后提取出神经网络的特征，并用t‑SNE的方法对提取出的特征进行降维，最后，根据降维后的真实数据概率分布和噪声数据概率分布计算出KL散度，并基于KL散度对模型进行评估。本发明公开的方法流程完善，实用性强，很好解决了传统神经网络模型评估计算资源占用高、评估时间长的问题，为神经网络的设计和优化提供了很好的参考和依据。

摘要： 本发明涉及全球导航卫星系统干扰检测领域，为提出一种对小幅值突变式欺骗干扰和缓变式欺骗干扰检测灵敏度较高、检测延时较短的基于KL散度的紧组合导航欺骗式干扰检测方案，本发明基于KL散度的紧组合导航欺骗式干扰检测装置和方法，包括全球导航卫星系统GNSS/惯性导航系统INS紧组合导航模块与欺骗式干扰检测模块；在欺骗式干扰检测模块中，利用基于KL散度的紧组合导航欺骗式干扰检测方法对GNSS是否受欺骗式干扰进行检测，若检测到GNSS受欺骗式干扰，进行告警，否则由组合导航卡尔曼滤波器输出组合导航信息，并对INS输出校正信息，进行反馈校正。本发明主要应用于设计制造场合。

摘要： 本发明公开了一种基于KL散度评价的组合神经网络电力负荷预测方法。本发明首先收集某个区域内连续多日的历史数据并进行预处理，之后对预处理的数据集按照需求划分为训练集和测试集；再构建CNN‑BiLSTM神经网络结构；之后先由CNN对输入数据进行初步特征提取，再将提取得到的特征作为BiLSTM的输入数据，输入BiLSTM进行接下来的特征提取；最后利用测试集对建立的电力负荷预测神经网络进行验证测试，并通过KL散度去评价构建的神经网络。本发明结合了CNN和BiLSTM两种神经网络的优点，使得预测过程中的训练速度更快，鲁棒性更强，且预测精度也明显提高。

摘要： 本申请实施例提供了一种基于优化的kl散度的模型量化方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及人工智能技术领域。该方法包括：先获取原始模型中任一层的初始kl散度集，然后根据预设滤波算法对初始kl散度集进行去噪处理，得到任一层对应的优化kl散度集，由于该优化kl散度集是通过预设滤波算法去噪后获得，因此，相邻的截断阈值所对应的kl散度值并不会相差太大，符合相邻的截断阈值对应的分布是极为相似的原理，在此基础上，根据该优化kl散度集确定出的目标截断阈值更准确。若基于该方法量化原始模型，量化所得模型的处理效果和原始模型的处理效果相差不大。