一种基于插件式模型的可重用、可扩展机器学习方法

摘要

本发明公开了一种基于插件式模型的可重用、可扩展机器学习方法，以轻量级特征学习模型作为基本单元，构造可复用、插件化模型实现目标部件定位与属性分析，为描述部件特征与部件组成方式提供生成式语义描述框架所必需的语义内容，形成样本数据的时、空间概率分布，并作为目标模式匹配的重要依据，完成目标的智能分析、学习与精准、快速辨识任务，本发明方法可在有限的样本与计算资源条件下，精简模型自身复杂度，大幅提升数据样本的利用效率。

说明书

技术领域

本发明属于机器学习的技术领域，具体涉及一种基于插件式模型的可重用、可扩展机器学习方法。

背景技术

当前，很多成熟的“智能化”模型设计在本质上属于基于“大数据、小任务范式(bigdata for small task)”的范畴。数据在规律上的复杂性给通识化特定任务带来了巨大挑战：“噪声”干扰下的数据类间差异小易导致模式识别系统的虚警，而数据纷繁变化下的类内差异大则容易导致辨识失败。

于是，基于“大数据、小任务范式”的模型通常以海量数据来催生、塑造智能系统和模型。而现有的深度学习网络模型结构复杂庞大，参数繁多，模型的训练与实际运行计算开销巨大，依赖如FPGA、GPU等集群并行计算平台，因此有限的星上计算与存储资源势必会影响到模型运行效能。同时，以高容量、参数多为特点的模型必须需要基于大量样本训练进而防止过拟合现象，因此高价值训练样本的匮乏极易导致模型过拟合，丧失泛化能力。

发明内容

有鉴于此，本发明提供了一种基于插件式模型的可重用、可扩展机器学习方法，能够解决现有的“大数据、小任务范式(big data for small task)”的通识化特定任务。

实现本发明的技术方案如下：

一种基于插件式模型的可重用、可扩展机器学习方法，以轻量级特征学习模型作为基本单元，构造可复用、插件化模型实现目标部件定位与属性分析，为描述部件特征与部件组成方式提供生成式语义描述框架所必需的语义内容，形成样本数据的时、空间概率分布，并作为目标模式匹配的重要依据，完成目标的智能分析、学习与精准、快速辨识任务。

进一步地，具体包括以下步骤：

步骤一、设计基于模型复杂度控制的轻量级特征学习模型；

步骤二、提取样本复杂度控制的目标基础视觉概念；

步骤三、得到样本、模型复杂度协同控制的共性特征学习与生成模型。

进一步地，步骤一具体为：

步骤1.1对深度学习网络进行压缩、调优处理；

步骤1.2设计基于多层条件随机投影的特征学习网络。

进一步地，步骤1.1具体为：

首先分析嵌入式平台在资源方面对轻量级模型的需求，接着根据特征学习网络自身的结构特点，在初始权重随机的条件下，研究网络结构变换、压缩技术，最后在结构压缩的基础上，对网络中参数进行压缩、调优处理。

进一步地，步骤1.2具体为：

对特征数据进行随机投影，并通过投影后数据的标签信息寻找类内最优的投影方向，以此使得不同类别的数据投影方向差异最大，以此来达到区分不同类别的目的，通过VC维与隐层节点数量之间的关联，将VC维进行近似改进，使其成为凹函数，通过寻找最低点来找到最优的节点数，通过分析各个节点上参数权重的概率分布，寻找最优的节点参数进行网络训练，实现具有指向性的特征映射模型，增强非线性随机特征的类间可分性。

有益效果：

本发明与以深度学习技术为典型代表的“大数据、小任务范式”设计理念相比，本发明方法可在有限的样本与计算资源条件下，精简模型自身复杂度，大幅提升数据样本的利用效率，针对外部数据的模型响应行为，快速、高效地进行样本数据分析、推理与目标共性概念归纳，从而更加鲁棒地应对复杂多变的遥感地物目标信息处理。

附图说明

图1为本发明提供的一种基于插件式模型的可重用、可扩展机器学习方法流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于插件式模型的可重用、可扩展机器学习方法，本发明延续通过拟合提升特征表征力度的特征学习思想，但又同时结合海面典型目标特性与已掌握的“人类视觉认知”特性、常识与知识，从模型复杂度控制与样本复杂度控制两方面出发，设计适用于天基平台的小样本低复杂度特征学习模型。具体来说，以轻量级特征学习模型作为基本单元，构造可复用、插件化模型实现目标部件定位与属性分析，为描述部件特征与部件组成方式提供生成式语义描述框架所必需的语义内容，形成样本数据的时、空间概率分布，并作为目标模式匹配的重要依据，完成海面典型目标的智能分析、学习与精准、快速辨识任务。如图1所示，本发明的具体步骤如下：

步骤1，针对模型复杂度控制的轻量级特征学习模型设计：

考虑空天平台计算资源实际受限情况，尤其是存储资源和计算资源的限制与当前深度学习网络模型复杂度之间的矛盾，拟以模型复杂度与特征性能平衡机理为基础，设计面向嵌入式平台的轻量级特征学习模型，权衡模型精简可能导致的特征性能下降问题，最终获得一种轻便化的特征拟合方法，为后续工作奠定基础。主要包含两方面：

步骤1.1深度学习网络压缩技术。

当前成熟的深度学习网络通常存在层数多、带优化参数量大的问题，由此需设计轻量级深度学习压缩模型。首先分析嵌入式平台在资源方面对轻量级模型的需求，接着根据特征学习网络自身的结构特点，在初始权重随机的条件下，研究网络结构变换、压缩技术，最后在结构压缩的基础上，对网络中参数进行压缩、调优处理。

步骤1.2基于多层条件随机投影的特征学习网络设计

深度学习网络中待优化的隐层节点参数众多是导致模型复杂度高、模型训练与测试时间冗长的直接原因。隐层节点参数随机预设可以缓解上述问题，进而实现输入样本的非线性随机特征提取。然而，样本独立的随机特征映射缺少有监督条件下的标签信息引导，无法控制目标样本在特征空间中的类内与类间差异。因此，采用标签信息引导下的条件随机投影方法，通过优化隐层节点参数的概率分布，实现具有指向性的特征映射模型，增强非线性随机特征的类间可分性。

所述标签引导下的条件随机投影具体为：对特征数据进行随机投影，并通过投影后数据的标签信息寻找类内最优的投影方向，以此使得不同类别的数据投影方向差异最大，以此来达到区分不同类别的目的。

所述优化隐层节点参数的概率分布具体为：通过VC维与隐层节点数量之间的关联，将VC维进行近似改进，使其成为凹函数，通过寻找最低点来找到最优的节点数，通过分析各个节点上参数权重的概率分布，寻找最优的节点参数进行网络训练。

步骤2.样本复杂度控制的海面典型目标基础视觉概念提取与描述

当前的深度学习网络主要依靠大规模端到端(输入样本到输出标签)拟合的方式获取目标特征，弱化了对经典图像特征(颜色、运动、深度、几何结构、纹理等)显式分析的必要性。特征学习通过模型自身“强力”的数据拟合能力实现了某些经典图像特征的表达，

在特征学习的框架体系下，适当利用经典图像特征有利于减少模型参数寻优空间，提升特征拟合效率；同时，还考虑到人在目标的识别过程中存在“部件识别”、“组合关系”推理、“基于部件与组合关系推理新视觉概念”等行为。因此，拟结合上述先验知识并根据海空背景中的典型目标(如舰船、飞机)的特点，利用轻量级特征学习模型构建轻小型特征学习插件，将船首舷、船尾舷、前部机身、机翼、水平尾翼等部件作为目标的基本视觉概念进行几何结构、纹理定位与描述，为后续的插件复用、组合奠定基础。

步骤3.样本、模型复杂度协同控制的共性特征学习与生成式模型表达

当前成熟的深度学习网络本质上是一种针对有监督目标分类任务的判别式模型。该模型以区分类间差异为主要目的，以排除“负样本”的方式确认“正样本”，同时完成特征学习。为了区分目标类间差异，判别式模型通常会依靠提高模型容量以及模型正则化等手段增强自身分类能力与泛化性能。合理的目标辨识过程应当根据目标模式(模型训练得到)与待测目标的匹配相似度得出辨识结果(而非以排除“负样本”的方式确认“正样本”)——此过程更加符合人类视觉的认知习惯。为此，采用基于Bayesian网络推理与概率句法模型描述特定类目标部件的组合方式，接着统计并强化该类目标“部件特征”与“组合方式”的共性，形成特定类目标模式。在实际检测过程中，待辨识目标与特定类目标模式在部件特征与组合方式上进行比对，最终输出待辨识样本的匹配置信度作为最终的辨识结果。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。