交叉熵

摘要： 通过指定期望结果项集数量挖掘top-k频繁项集,可解决频繁项集挖掘中支持度阈值难以设定的问题。由于能在较短的时间内得到足够多的精确结果,因此利用启发式方法挖掘项集的工作受到了越来越多的关注,但利用启发式方法来挖掘top-k频繁项集却鲜有研究。提出了一种基于交叉熵的top-k频繁项集挖掘算法KCE。首先,给出了将交叉熵应用于top-k频繁项集挖掘的建模方法;其次,提出了基于过滤支持度的搜索空间剪枝策略;第三,设计了利用按位交叉来产生下一代项集的策略,以提高样本的多样性。实验结果表明,KCE算法在运行时间和空间消耗上都有优势,且挖掘结果的平均精度在95%以上。

摘要： 针对光照不均匀、突发噪声背景下,采用单一图像阈值分割方法兼顾所有像素,会造成图像分割效果较差、噪声平滑程度较低,导致降噪处理图像所丢失的细节较多的问题。提出低光照强噪声背景下图像多阈值分割方法。优化自适应灰度直方图多阈值,采用相应矩阵滤波处理低光照强噪声图像,根据直方图上点的界定,获取图中的背景与目标区域,根据区域对应的频率密度函数分布,得到相关概率公式与方差向量公式,依据不同灰度值的初始图像定义,构建直方图阈值等价判定准则函数,实现最优分割阈值的选取。实验结果表明,在对低光照强噪声的图像处理时,所提方法的图像分割效果较好,噪声平滑程度较高,降噪处理图像所丢失的细节较少。

摘要： 针对传统沥青路面抗滑性能预测模型的不足及BP神经网络学习效率低的问题,文章采用交叉熵代价函数对神经网络的学习方法进行改进,建立基于交叉熵神经网络的沥青路面抗滑性能预测模型。同时,以某高速公路2014—2020年路面抗滑指标SRI为预测目标,以路面使用年限、年平均交通量、气温、降雨量以及日照时长为考虑因素,建立预测模型,并利用Matlab软件构建模型的网络拓扑结构及网络训练,对路面抗滑性能进行预测。结果表明:相同预测精度下,交叉熵神经网络模型较一般的均方差神经网络模型收敛速度更快;相同训练次数下,交叉熵神经网络模型较一般的均方差神经网络模型预测精度更高,更适用于路面抗滑性能的预测。

摘要： 光电功率预测对电网的安全稳定运行以及调度等方面具有重要意义。针对单一预测方法精度较低的问题,提出了一种基于交叉熵理论的光伏发电功率组合预测方法,以单一预测方法和最小化组合预测方法的“差值”为依据,动态地改变不同预测方法的权重,提高组合预测的精度。以某光伏电场为算例进行分析,结果表明,该模型针对不同的天气,具有较强的预测适应性,可以提高预测精度,减少预测误差的出现。

摘要： 为了提高指纹识别算法的准确率,文中提出一种基于改进的残差网络的指纹识别算法。该算法首先对指纹图像进行预处理,包括裁剪、旋转等操作,旨在增强数据的多样性;然后设计深度卷积网络,此网络是由多个改进的残差单元连接组成,专为指纹识别而设计,用于提取指纹图像的特征;最后针对深度卷积网络,采用交叉熵作为损失函数,利用Adam算法进行优化。实验结果表明:文中算法的识别准确率达到98.79%,识别时间约为60 ms,模型大小约4.29 MB;与AlexNet及VGG相比,该算法准确率更高,模型更小,在减少处理时间的同时不会过度拟合,可显著提高指纹识别的性能。

摘要： 针对目前基于模糊函数提取的几何学特征,在低信噪比时表征能力弱,导致识别准确率不高的问题,提出了一种基于EEMD降噪和模糊函数奇异值向量的识别方法。选取合适的EEMD参数,对时域信号进行降噪,提取模糊函数矩阵奇异值向量,求解其交叉熵作为特征,实现雷达辐射源信号识别。仿真实验表明,信噪比大于-5 dB时,所提方法对于BPSK、QPSK、MSEQ、BFSK、FMCW和LFM-BC六类典型调制信号,能达到大于90%的平均识别准确率,基本满足实际复杂电磁环境需求。

摘要： 针对传统信用风险预测模型存在对非违约样本识别过度、对违约样本识别不足的问题,将平衡损失Class Balanced Loss函数引入信用风险评价,构建Class Balanced Loss修正交叉熵的非均衡样本信用风险评价模型。利用所建模型与交叉熵神经网络、支持向量机、决策树、随机森林和K最近邻5种分类模型进行对比,验证BPNN-CBCE对中国某金融机构1 534笔农户贷款数据信用风险预测的有效性;在此基础上,利用UCI公开的德国信贷数据验证BPNN-CBCE模型的稳健性。研究表明:对于农户数据,BPNN-CBCE模型在AUC、违约召回率Default recall方面普遍优于BPNN-CE、SVM、DT、RF和KNN模型,其中,BPNN-CBCE的Default recall相比5种对比模型提升了41.3个百分点,AUC相比5种对比模型提升了15.6个百分点;对于德国数据集,BPNN-CBCE评级模型在AUC、违约召回率Default recall方面也均优于5种对比模型。因此,BPNN-CBCE信用评价模型对农户不均衡信贷数据中的违约样本具有较好的识别能力,可有效降低金融机构客户误判带来的损失。创新与特色:①利用Class Balanced Loss中的平衡因子ω,增大违约样本在目标损失中的权重、降低非违约样本在目标损失中的权重,客观调节正负样本损失在目标损失中权重,弥补交叉熵函数无法调节两类样本损失权重的缺陷,克服由样本不均衡带来的评价模型对非违约样本识别过度、对违约样本识别不足。②通过考虑数据重叠,利用随机覆盖方法,分别对贷款数据中违约、非违约样本进行不放回采样,以对全样本空间X_(违约)、X_(非违约)进行不重叠覆盖,计算两类贷款客户的有效样本数量。既反映由于真实数据之间的内在相似性,随着样本数量的增加,新添加样本很可能是现有样本近似重复的客观事实,也保证基于有效样本对两类样本损失进行重新加权的客观性。将图像识别领域中的Class Balanced Loss函数引入信用评价领域,既拓展了Class Balanced Loss的使用边界,也为解决不均衡样本的信用风险评价提供了新的研究思路。

摘要： 典型相关分析(CCA)是利用综合变量对之间的相关关系反映两组指标之间整体相关性的多元统计方法。传统的CCA方法无法有效利用样本的标签信息,导致准确率降低。将类信息融入到深度学习与CCA相结合的深度典型相关分析中,提出一种监督型降维方法DL-SCCA,用于处理带标签的非线性可分数据。在2个独立的深度神经网络(DNN)结构上,增加1个公共的输出维数与数据集类别数相同的全连接层,并且以softmax函数作为该层的激活函数,输出带有概率意义的编码向量。在此基础上,利用全连接输出与样本标签信息之间的交叉熵对DNN进行训练,获得分类性能较优的低维特征。实验结果表明,该方法采用最近邻分类器和网络本身结构得到的分类准确率分别为98.00%和97.82%,相比CCA、DisCCA、DCCA等方法,能够有效利用样本的标签信息,并且具有较优的分类性能。

摘要： 武器目标分配问题是军事领域中重要的研究课题,其主要任务是在一定的条件下将武器与来袭目标合理分配,以达到最大的作战收益.提出了一种将遗传算法融入交叉熵算法的混合算法.首先,通过交叉熵算法将原本的武器目标分配优化问题与估计问题联系起来,构建满足武器目标分配方案解的离散概率分布矩阵,进而根据矩阵生成代表解的多个样本.然后,利用遗传算法中的选择、交叉、变异操作增加样本的多样性.最后,利用推导出最优解的迭代公式来更新矩阵,当满足迭代终止条件时输出的矩阵即为最优解.分别针对二维单目标函数优化问题和武器目标分配问题进行计算对比,计算结果验证了交叉熵-遗传算法的有效性.

摘要： 为保证电力物联网视频分析类业务的实时性,业界通常将基于神经网络的智能应用部署于边缘设备。由于电力物联网边缘设备资源有限,当系统中存在多个视频分析任务时,需合理分配资源,以期在满足输出精度的要求下尽可能降低任务处理时延。文章深入分析了视频分析任务在电力物联网中的运行特征,考虑了任务之间的依赖,探究了输出精度与时延的关系。引入李雅普诺夫优化框架,为视频分析构建一系列相互关联的在线决策问题,并设计了基于交叉熵的资源分配策略,使得在系统长期运行过程中,任务处理的总体完成时延近似于最佳。实验结果表明,与通用调度方法相比,文章提出的资源配置策略能够将性能提高40%。

摘要： 为了改善人工蜂群算法对大规模多变量问题的求解性能,并提升阵列天线方向图综合优化计算的效率,提出了一种并行交叉熵人工蜂群算法.在以交叉熵改进人工蜂群观察蜂机制的基础下,提出一种粗粒度环形并行交叉熵蜂群算法.数值实验结果验证了该算法与串行人工蜂群算法相比具有更好的性能,并应用到阵列天线方向图综合上,验证了新算法的有效性.

摘要： 针对电子设备的测试和故障识别提出了一种基于性能退化数据的缓变故障检测方法。首先,结合电子设备退化特点和试验系统的退化数据,选取合适的线性模型近似设备参数退化轨道,得出退化数据与初始数据交叉熵随时间变化的分布曲线；然后,通过与超限概率建立关系,确定故障判定的阈值；最后,利用该试验系统的退化轨迹产生时变随机样本进行仿真验证。通过仿真分析:交叉熵方法可以比较准确的检测设备的缓变故障及老化,并且相对于检测超限概率提高了检测精度,减少了运算量；同时,交叉熵直接采用样本点进行故障检测,避免了需要拟合分布曲线计算超限概率的误差；最后,分析了样本数对交叉熵的影响,说明了为了兼顾稳定性和精确度,并不是样本数越多越好。

摘要： 测试数据生成是组合测试的一个关键问题.文中提出以数理统计为基础的交叉熵方法和以仿生学为基础的粒子群优化算法来生成两两组合测试数据,交叉熵方法采用最优选择概率产生测试数据,而粒子群算法则在可行解空间中搜索具有最优适应值的测试数据.文章给出了交叉熵方法最优选择概率的理论推导,并对两种算法所生成的测试数据集进行约简.将两种算法和现有的贪心方法、代数方法及其它启发式搜索方法进行比较,实验表明交叉熵方法和粒子群算法具有一定的优势和特点.

摘要： 脉冲耦合神经网络(PCNN)是20世纪90年代形成和发展起来的一种可有效地用于图像分割的新型神经网络。然而PCNN模型图像分割效果不但取决于PCNN模型中各个参数的合理选择,而且同时还取决于循环迭代次数的确定选择准则。本文对现有的PCNN模型进行了改进,即从原始图像与分割图像的目标与背景之间的差异性出发,提出了一种基于最大类间交叉熵准则的PCNN图像分割新方法。该方法能够自动确定循环迭代次数和自动选取最佳阈值。实验结果表明,该算法有很强的适应性。

摘要： 从一个小灵通通信系统中，提取了两个小时的通话时长数据，用最大似然估计法和最小交叉熵方法，对通话时长的概率密度参数进行计算，用得到的参数对此系统的通话时长分布和话务量分布进行预测。结果表明，两种方法求得的参数结果一致。从最小交叉熵的角度看，对数正态分布比指数分布更接近实际通话时长分布。

摘要： 本文对文本检索中的查询生成模型进行了扩展,提出一种基于交叉熵(Cross-Entropy)的CELM检索模型.通过统计语言建模技术,CELM模型把用户的信息需求和文档集中的每篇文档表示成词项(term)上的一个概率分布,分别称为用户信息需求语言模型和文档语言模型,然后根据这两个概率分布的交叉熵来对文档集中的文档进行排名.CELM检索模型把用户的信息需求直接引入到模型中,有效地解决了实际应用系统中信息需求与查询之间的不匹配问题.

摘要： 电力系统状态估计是能量管理系统的关键基础环节.实际电力系统的真实状态无法获得,因此对其状态估计精度进行评价就非常重要.本文分析了广泛使用的合格率指标存在的问题,提出了一种基于交叉熵和零注入失配量的状态估计精度评价准则.本文通过9节点系统的示例说明了传统合格率指标的不足以及本文提出的评价准则的合理性,并通过118节点系统的大量数值试验从统计意义上证明了本文所提出的评价准则的优越性.本文通过分析一个实际系统案例说明了合格率指标在现场存在的问题和本文研究的实际意义.

摘要： 目前的推荐系统大都基于商品的关联性或相似性向用户推荐相似或者相关的产品,鲜有将用户在购买时间上的规律应用到推荐策略的考量范围之内。本文提出了一种基于用户购买周期的个性化推荐策略,首次将购买周期反映出的时间特点作为用户个性化推荐的时间策略。本研究利用交叉熵发现用户的购买周期,通过寻找时间轴上某一特定用户的购买规律,在合适的时间向该用户推荐可能购买的产品, 帮助消费者完成购买。

摘要： 本文采用Edgeworth展开方法来逼近各种场景下的SAR图像统计分布模型，并引入信息论中的交叉熵作为两种分布差异的衡量因子来计算两个时相SAR图像的变化情况，从而进行变化检测，通过实际星载SAR图像的变换检测试验说明了方法的可行性。

摘要： 在信息检索领域,针对相关文档和用户查询之间的词不匹配问题,相关反馈和查询扩展可以有效提高检索性能.近来学者们将单词之问的关联关系融入到统计语言模型中,但都是利用WordNet或共现关系进行查询扩展,前者效果不明显而后者易引入很多"噪音".本文提出一种基于局部词语搭配关系的查询扩展方法,即从前N篇相关文档中反馈具有句法和语义关系的搭配单词加入原查询.在TREC数据集的试验结果表明:本文提出的基于词语搭配关系的查询扩展方法不仅比传统语言模型方法性能有很大的提高.而且也优于目前流行的查询扩展方法.

摘要： 本发明公开了一种基于信息熵的期望交叉熵特征选择文本分类系统及方法。本发明系统包括依次相联的数据收集及预处理单元、特征选择单元、特征权重计算单元、分类器单元、分类选优单元；数据收集及预处理单元，用于从互联网上收集不同类别语料，分为训练语料和测试语料，并对语料进行预处理，预处理包括文本分词和去停用词；特征选择单元，用于选择语料中的特征项，根据特征选择评估函数从特征项表中选择出不同数目的特征项，组成特征项集合；特征权重计算单元，用于计算特征项的权重值；分类单元，用于对语料文本进行分类；分类选优单元，用于对比不同分类结果，找到最佳分类效果时的特征项数目。本发明能够提高文本分类的精度，改善分类效果。

摘要： 本发明公开了一种基于最大熵原理与交叉熵重要抽样的电网可靠性评估方法。本发明引入最大熵原理，建立重要抽样概率密度函数在满足先验信息约束条件下信息熵最大的优化模型，耦合重要抽样概率密度函数的交叉熵最小的优化模型，构造连续型随机变量重要抽样分布估计的多目标规划模型，并通过最优化理论得到该问题的多劣解，即重要抽样概率密度函数的一般表达式。本发明建立的连续型随机变量重要抽样概率密度函数完全基于先验信息的各阶矩约束条件，不需对重要抽样概率密度函数的分布形式作任何假设，因此更加灵活通用。有望解决现有概率评估技术实时性差的问题，从而显著提高电力运行校核的准确性与合理性。

摘要： 本发明公开了一种基于交叉熵及客观熵权法的电‑热互联综合能源系统风险评估方法，包括以下步骤：S1：建立电‑热互联综合能源系统潮流模型；S2：采用高斯混合模型建立电‑热负荷以及新能源出力的随机概率密度函数；S3：基于交叉熵法对电‑热互联综合能源系统各个指标风险水平进行计算；S4：基于客观熵权对各个指标权重进行计算；S5：将各个指标的风险指数和权重相乘得到系统运行综合风险评估指标。本发明能够有效处理输入变量随机性影响下的电‑热互联综合能源系统风险指标评估问题，具有准确、实用的优点，对综合能源系统安全、稳定运行具有一定指导意义。

摘要： 本发明公开了一种基于信息熵的期望交叉熵特征选择文本分类系统及方法。本发明系统包括依次相联的数据收集及预处理单元、特征选择单元、特征权重计算单元、分类器单元、分类选优单元；数据收集及预处理单元，用于从互联网上收集不同类别语料，分为训练语料和测试语料，并对语料进行预处理，预处理包括文本分词和去停用词；特征选择单元，用于选择语料中的特征项，根据特征选择评估函数从特征项表中选择出不同数目的特征项，组成特征项集合；特征权重计算单元，用于计算特征项的权重值；分类单元，用于对语料文本进行分类；分类选优单元，用于对比不同分类结果，找到最佳分类效果时的特征项数目。本发明能够提高文本分类的精度，改善分类效果。

摘要： 本发明公开了一种基于交叉熵的水电机组振动信号降噪方法及系统，涉及信号处理技术领域，包括以下步骤：利用经验模态分解法对原始振动信号进行分解处理，获得若干模态分量；计算若干模态分量与所述原始振动信号的交叉熵并计算阈值，筛选有效分量；利用奇异值分解法对所述有效分量进行二次降噪，得到二次降噪后的分量；将所述二次降噪后的分量进行重构，得到降噪后的振动信号。本发明结合经验模态分解法、奇异值分解法对振动信号进行降噪处理，具有一定的鲁棒性，可避免信号中有效信息的损失。

摘要： 本发明属于遥感图像处理技术领域，尤其涉及一种基于加权交叉熵损失的遥感图像场景分类和语义分割方法；本发明通过构建遥感图像场景分类和语义分割的深度卷积神经网络模型；并将预处理后的训练集用于训练深度卷积神经网络模型；构建基于深度卷积神经网络模型训练结果的交叉熵损失加权机制，以调整简单样本和难分样本对损失的贡献，使得网络更加关注困难样本的学习，提升网络训练的效率。

摘要： 本申请公开了基于交叉熵重要抽样的元件可靠性参数优化解析方法，包括：输入参数；采用交叉熵重要抽样产生系统失负荷事件，并进行系统可靠性评估；建立基于交叉熵重要抽样的系统可靠性指标解析模型；建立可靠性参数优化解析模型；将优化解析模型分解为上层问题和下层问题；求解上层问题得到解析模型系数并对系统元件进行重要度排序；依次求解上层问题与下层问题，得到被优化元件投资费用及被优化后的不可用率；输出被优化元件集合及其中各元件的投资费用及被优化后的不可用率。本发明的解析计算精度与传统可靠性优化方法十分接近，在保证计算精度的前提下，极大的提高了可靠性参数优化问题的计算效率。

摘要： 一种基于交叉熵理论的天然气管网供气可靠性检测方法及装置，所述方法包含：根据目标天然气管网的需求侧分析获得用户需求预测和用户分级结果；根据历史失效数据库对目标天然气管网的预设区域进行可靠性评估获得系统状态转移模拟的输入数据；根据所述输入数据通过基于交叉熵的时序蒙特卡洛方法对目标天然气管网状态转移过程进行模拟，获得时序状态转移序列；根据各需求点所含用户的用气特性和所述时序状态转移序列计算结果获得状态转移后目标天然气管网的供气量；根据所述用户需求预测结果和所述供气量分析获得目标天然气管网的供气可靠性检测数据。

摘要： 本发明公开了一种基于改进交叉熵算法的鲁棒泊位岸桥分配方法，S1：构建离散概率分布矩阵M；S2：生成样本；S3：计算最早靠泊时间tbj(ES)；S4：插入缓冲区；S5：计算样本的目标函数值；S6：选择H个精英样本，更新M矩阵：为提高样本的多样性，改善传统交叉熵CEA过早收敛的现象，提高算法的局部搜索能力，对搜索过程中找到的H个精英解的邻近区域进行更深入的搜索；S7：令迭代次数tce＝tce+1，判断是否满足M矩阵中只有0、1元素的终止条件，是则终止迭代输出最优解，否则返回第S2步继续迭代；本方法解决现有泊位岸桥分配方法中存在难以求解计划期长、船舶数量较多和未考虑到实际场景中的不确定因素的问题，以提高集装箱码头作业效率。

摘要： 一种基于最小交叉熵准则融合主客观评价的评价方法，包括以下步骤：S1、明确评价对象与评价目标，对评价过程进行抽象化处理，建立评价对象集合、与评价目标相关的数据项的属性集合、专家集合及评价对象在数据项下的原始数据的数据集合；S2、对原始数据进行归一化处理，计算贡献度矩阵，通过熵权法得到各数据项的客观评价权重；S3、获取专家对各数据项的评价结果，并利用最小交叉熵准则融合各专家的评价结果，得到各数据项的主观评价权重；S4、利用最小交叉熵准则融合主观评价权重与客观评价权重，得到综合评价权重，最后将综合评价权重与原始数据相乘并求和，得到评价目标的综合评价结果。本设计提高了评价结果的准确度。