一种具有双线性低秩子空间的线性判别分析方法

摘要

本发明公开了一种具有双线性低秩子空间的线性判别分析方法。包括以下步骤：针对矩阵数据样本集，保留原本矩阵的形式作为输入数据，构建基于矩阵的判别分析模型，采用基于矩阵的最小二乘方法构建损失函数，引入核范数正则项对映射矩阵集进行低秩约束，采用乘法器的交替方向算法(ADMM)框架对损失函数进行求解，以探求矩阵样本集的双线性低秩子空间，从而对矩阵样本集进行降维。本发明所述的具有双线性低秩子空间的线性判别分析方法比其他方法在矩阵样本集降维效果上有明显提升，评价指标综合表现很好。

说明书

技术领域

本发明设计了一种具有双线性低秩子空间的线性判别分析方法，涉及机器学习，数据降维，数据挖掘技术领域。

背景技术

随着大数据的快速发展，数据挖掘、机器学习和人工智能等相关技术得到广泛的应用。人们对数据的要求变得越来越复杂，因为人们在保存数据信息和探索数据背后的结构相关性方面有了更多的需求，这导致模型结构的复杂性和模型训练的低效性。因此，获取数据之间的相关性以减少数据冗余度和计算复杂度十分必要。

减少数据冗余度的一种直观的方法是通过降维获得数据之间的结构相关性。PCA和LDA是两种常见的降维方法，被广泛用于模式识别领域中的特征提取，例如Eigenfaces和Fisherfaces，以及信号处理中的信号结构相关性分析，PCA和LDA在降维处理中已获得很大成功。

PCA和LDA是通过对协方差矩阵或散列矩阵进行特征值分解，因此两者可以等效为广义特征值分解问题。经典的PCA和LDA将输入数据样本表示成向量或标量，基于这些向量进行建模，出求得映射矩阵。然而，图像、脑电图(EEG)等数据，其本身是矩阵形式，如果将其表示成为向量，会使数据维数很高。在这种情况下，经典的PCA和LDA进行特征值分解时将会变得异常困难同时引起巨大的计算量。对于LDA而言，甚至会出现欠采样问题，而导致无法求解特征值；另外，对于这类矩阵数据，将其表示成向量形式，会破坏其原有的内部行列结构信息。

为了克服上述缺陷，已有研究者提出了几种基于数据矩阵的降维方法。例如IMPCA，2DPCA，(2D)2PCA，2DLDA，2D-LDA和BDCA。然而，这些成分分析方法仍然需要进行特征值分解计算，计算代价很大。由于在一定条件下，线性判别分析可以等价于线性回归，因此可以采用最小二乘法构建线性判别分析的损失函数，从而避免特征值分解引起的巨大的计算量。

发明内容

本发明为解决上述问题提供一种更为有效的具有双线性低秩子空间的线性判别分析方法(Linear Discriminant Analysis with Bilinear Low-Rank Subspace，BLR-LDA)。本发明是针对矩阵样本数据集，构建基于矩阵的判别分析模型，采用带有特定指示器矩阵的最小二乘方法构建损失函数，并通过引入核范数正则项对映射矩阵集进行低秩约束，以获取输入样本矩阵内部的结构相关性，能取得更好的判别分析效果。

本发明通过以下技术方案来实现上述目的：

一种具有双线性低秩子空间的线性判别分析方法，包括以下步骤：

(1)针对矩阵数据样本集，将其以原本矩阵的形式作为输入数据。

(2)构建基于矩阵的判别分析模型，采用基于矩阵的最小二乘方法构建损失函对矩阵样本集进行矩阵判别分析，以探求矩阵样本集的双线性子空间。

(3)通过在损失函数中加入核范数正则项对映射矩阵集进行低秩约束，从而获得矩阵数据样本内部的行列相关性。

(4)假设映射矩阵集中的每个映射矩阵相互独立，将原损失函数转化为求解k个子损失函。

(5)采用乘法器的交替方向算法(ADMM)求解映射矩阵，使矩阵数据样本集映射到低秩子空间。

附图说明

图1是经典LDA框架示意图

图2是本发明BLR-LDA框架示意图

具体实施方式

下面结合附图对本发明作进一步说明：

图1是经典LDA框架示意图，包括以下步骤：

(1)输入n个由矩阵形式表征的数据样本集，将每个数据样本矩阵变换为向量形式：

其中，表示第i个输入数据样本矩阵，x_i表示其对应的向量形式。则n个数据向量组成了数据矩阵

(2)使用映射矩阵将由向量表示的原始数据样本集映射到低维子空间，通过X^TW操作，得到映射后的数据向量

图2是本发明BLR-LDA框架示意图。包括以下步骤：

(1)输入n个由矩阵形式表征的数据样本X_i以保留其结构信息，相应地，经典LDA中的映射矩阵W的每一列对应着一个映射矩阵：d＝p×q，j＝1,…,k。则经典LDA中的映射矩阵W由一组新的映射矩阵集W_j表示。

(2)在一定条件下，经典的LDA可以等价为线性回归，这使得经典LDA可以直接转化为最小二乘问题，避免了由特征值分解引起的巨大的计算量。经典LDA可以表示如下：

其中，是中心化的指示器矩阵，其定义如下：

其中，n是总样本数量，n_j是第j类样本数量。

(3)基于以上等式关系，映射矩阵由如下公式计算得到：

其中，是第i个数据样本向量，w_j是经典LDA中映射矩阵W的第j列。

(4)为了保留数据矩阵的结构信息，我们将数据样本向量转换为数据样本矩阵相应地，经典LDA中投影矩阵的第j列转换为矩阵形式因此，上式中的表示如下：

(5)为了获得数据样本矩阵的结构信息，我们对每一个W_j单独使用核范数正则化。基于映射矩阵最优化问题的损失函数指定如下:

其中，τ是通过交叉验证得到的超参数。

(6)在BLR-LDA框架中，我们假设每一个W_j是相互独立的。因此，上述最优化问题可以表示为k个子损失函数：

我们使用乘法器的交替方向(ADMM)算法来解决上述最优化问题，将其裂变为关于W_j裂变和辅助变量S_j两个子问题。上式可以等价地写为：

s.t.W_j-S_j＝0

其中，G(S_j)＝τ||S_j||_*。

(7)使用增广拉格朗日乘子法解决上述问题：

其中，Λ_j是拉格朗日乘子矩阵，ρ＞0是超参数。

首先，关于辅助变量S_j子问题的解决方法如下：

最优解S_j^(t)通过如下解析表达式的第t次迭代得到：

其中，ρW_j-Λ_j＝UΣV^T是奇异值分解形式。对于任意的τ＞0，是奇异值阈值算子，S_τ(Σ)_ii＝max(Σ_ii-τ,0)。

然后我们解决第二个子问题W_j，表达式如下：

W_j是一个明确的凸优化问题，我们采取梯度下降来解决它。使用如下形式进行迭代来更新W_j：

其中，α＞0为学习速率，是一个超参数。W_j的部分推导公式如下：

另外，拉格朗日参数Λ_j以如下单个梯度步长更新：

(8)采用ADMM算法，不断交替迭代更新W_j、S_j、Λ_j直至收敛，即可求得一组最优的映射矩阵集，W_j，从而将矩阵样本集映射到双线性低秩子空间。