近红外光谱LASSO特征选择方法及其聚类分析应用研究

摘要

近红外光谱技术是一种通过分析样本的特征光谱数据,实现定性或定量分析的无损检测方法,特征数据的完整性和代表性决定了所建模型的性能,而现有分析方法只能实现光谱子区间特征筛选,导致分析模型稳定性差、且难以再优化。为实现近红外光谱区间高维数特征提取,有效提高近红外光谱定性分析模型的精度和稳定性,提出一种基于最小绝对收缩和选择算法(LASSO)的光谱特征筛选方法,并以我国特色高值外贸产品云南松茸为分析对象进行聚类应用研究,讨论了该方法对于高维光谱特征筛选的有效性、分析对比了LASSO筛选特征变量及主元分析(PCA)降维算法所建松茸真伪甄别及食用菌分类模型的预测精度及稳定性。通过调研发现,云南产鲜松茸因其独特外形易于分辨,而片状的干松茸失去其独有的外形特征,导致国内干松茸掺假事件屡禁不止。选取云南产松茸、杏鲍菇、老人头、姬松茸四种干样共166样本数据进行分析,采用光谱范围为900~1700 nm的NIRQuest512型近红外光谱仪获得166×512维原始光谱数据,剔除异常数据后采用标准正态变换对光谱数据进行预处理。在此基础上,利用LASSO筛选出全光谱区间的特征变量,再使用Kennard-Stone法并结合典型线性(KNN)和非线性建模(BP)算法,构建松茸真伪甄别模型和食用菌分类模型,对两种模型进行盲样测试,并分析了LASSO与PCA算法的不同点,最后使用蒙特卡罗方法检测两种模型的稳定性。实验结果表明基于LASSO光谱特征选择的松茸真伪甄别模型和食用菌分类模型预测精度和稳定性均高于PCA方法,其中基于原始光谱数据所建真伪甄别模型的预测准确率为69.57%(BP)和60.87%(KNN),食用菌分类模型准确率为67.39%(BP)和65.22%(KNN),基于LASSO特征筛选的真伪甄别模型预测准确率分别达到100%(BP)和78.26%(KNN),食用菌分类模型预测准确率分别达到89.13%(BP)和80.43%(KNN),对两种模型进行10次蒙特卡罗实验,其结果平均值分别为99.93%和97.22%,由此可知,与PCA等数据降维算法相比,LASSO可实现全光谱区间的光谱特征选择和数据降维,有效地提高了近红外定性分析模型的预测性能,为近红外分析提供了一种新的特征筛选方法。