基于互信息的软测量变量选择

摘要

针对软测量建模中的变量选择问题，提出了一种结合信息论中最大熵和互信息的方法。该方法采用最大熵原理，对软测量中各辅助变量和主导变量的概率分布进行估计，得到主导变量和各辅助变量间的互信息，这些互信息间接的反映了主导变量和各辅助变量间的相关性，包括线性相关和非线性相关。然后产生随机样本并计算和主导变量间的互信息，重复多次该过程就可以得到一个无关变量和主导变量间的互信息样本，用t检验寻找一个阈值作为判断相关性的标准。对于互信息小于阈值的变量作不相关变量处理，并结合测试效果筛选出最佳的软测量辅助变量。仿真结果证明：基于互信息的软测量变量选择方法具有直观、简单实用和可靠性高的优点，并且有效的改善了模型的估计精度。