度量学习

摘要： 近年来,深度学习模型已在医疗领域的预测任务上得到广泛应用,并取得了不错的效果.然而,深度学习模型常会面临带标签训练数据不足、整体数据分布偏移和类别之间数据分布偏移的问题,导致模型预测的准确度下降.为解决上述问题,提出一种基于域对抗和加性余弦间隔损失的无监督域适应方法(additive margin softmax based adversarial domain adaptation,AMS-ADA).首先,该方法使用带有注意力机制的双向长短程记忆网络来提取特征.其次,该方法引入了生成对抗网络的思想,以域对抗的形式减少了整体数据之间数据分布偏移.然后,该方法引入了度量学习的思想,以最大化角度空间内决策边界的方式进一步减少了类别之间的数据分布偏移.该方法能够提升域适应的效果与模型预测的准确度.在真实世界的医疗数据集上进行了重症监护病人死亡风险预测任务,实验结果表明:由于该方法相较于其他5种基线模型能够更好地解决数据分布偏移的问题,取得比其他基线模型更好的分类效果.

摘要： 现有元学习方法的初始模型在训练过程中会偏向于某些任务,从而影响元学习方法的泛化能力。针对以上不足,提出了基于正则化元学习算法(Regularized Meta Learning,REML)用于小样本图像分类。该算法通过在元学习的目标函数中添加正则化项,以阻止元学习的初始模型偏向于部分训练任务,使元学习模型具有更强适应新任务的能力。此外针对元学习过程中涉及二阶求导使得计算量较大的不足,采用一阶导数近似二阶导数,以减小元学习模型训练所需计算量。在mini Image Net、CUB-200和CIFAR-100这3个数据集上进行的实验验证本文算法性能。实验结果表明,提出的算法能够增强元学习的泛化能力,从而提高小样本图像分类的性能,同时减小元学习算法训练参数的计算量。

摘要： 摄像机拍摄同一个行人受到光照、行为姿态等因素的影响,导致其外观出现明显的差别,为行人再识别研究带来一定的挑战。依托深度及度量学习提出行人再识别方法。基于深度学习对图像进行去雾处理,通过局部最大特征及距离度量学习完成特征提取以及距离计算。根据实验发现,所使用的行人再识别算法非常有效,具有较高的识别率和匹配率。

摘要： 针对传统云图检索方法难于获得理想的检索精度且检索效率低的问题,提出了一种基于深度度量学习的云图检索方法。首先设计了残差3D-2D卷积神经网络,以提取云图的空间及光谱特征。鉴于传统基于分类的深度网络所提取的特征可能存在类内差异大、类间差异小的问题,采用三元组训练网络,依据云图之间的相似性将云图映射到度量空间中,以使同类云图在嵌入空间中的距离小于非同类云图。在模型训练时,通过对无损三元组损失函数增加正样本对间距离的约束,改善了传统三元组损失的收敛性能,提高了云图检索的精度。在此基础上,通过哈希学习,将度量空间中的云图特征变换成哈希码,在保证检索精度的条件下提高了检索效率。实验结果表明,在东南沿海云图数据集和北半球区域云图数据集上,本文算法的平均精度均值(mean average precision,mAP)分别达到75.14%和80.14%,优于其他对比方法。

摘要： 多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明:基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。

摘要： 度量学习是机器学习领域的重要研究内容。度量结果的优劣会直接影响后续机器学习算法的性能。目前大多度量学习的研究工作都是在有监督环境下进行的。然而,实际应用中往往存在大量数据没有标记或需要付出昂贵代价才能获得标记的问题。针对这一问题,提出一种适用于半监督环境的基于支持向量机的主动度量学习算法(ASVM;L)。首先,从待学习无标记样本中随机选择少量样本交予专家标注,再利用这些样本训练支持向量机度量学习器;然后,根据度量学习结果,采用不同K近邻分类器对剩余未标记样本进行分类评估,选择表决差异最大的样本交予专家标注,再加入训练集重新进行度量学习;重复执行上述步骤至满足终止条件,以保证在有限的标记样本子集下能获得最佳的度量学习矩阵。在标准数据集上的对比实验验证了所提ASVM;L算法能在不影响分类精度的前提下,利用最少的标记样本获得更多的标记信息,因而具有更好的度量性能。

摘要： 高精度自主定位目标器官和病灶是手术机器人领域的关键技术之一。近年来,基于监督学习的方法在此任务上取得了良好的表现,但是高昂的标注成本限制了这类方法的临床应用。混合监督学习可以同时利用少量强标签与大量弱标签,实现精度与成本之间的平衡。然而,现有的混合监督方法存在任务间和任务内不一致性问题,导致分割性能较差。本文设计了一个全新的基于混合监督学习的医疗图像分割框架,利用少量精确掩模标注和大量图像级别类标注,实现了低成本高精度图像分割。具体而言,为了解决多任务间不一致性问题,本文设计了全参数硬共享策略,保证了任务之间的收敛速度一致。为了解决任务内不一致性问题,本文设计了基于度量学习的分割模块,保证前景特征的一致性及前背景特征的差异性。为了减少不同分支之间的独立参数,本文设计了单卷积分类模块,负责弱监督分支的特征解码。最后,本文所提方法在公开的LiTS数据集上进行了实验,与现有方法相比取得了最佳的分割表现。

摘要： 针对野外复杂环境下面部表情特征不一致导致识别率低的问题,提出一种基于卡方距离度量学习的凸优化算法用于面部表情识别。将卡方距离引入KNN分类技术中用于度量学习优化的损失函数,采用随机梯度下降法求解修正的凸优化损失函数,为避免过度拟合训练数据,算法将Dropout技术用于度量学习,使用特征权重系数,调整不同特征对表情识别的贡献度。实验结果表明,相比其它算法,所提算法在面部表情识别中更具优势,提高了面部表情识别准确度。

摘要： 回环检测是同步定位与地图构建系统的组成模块,目前大多数回环检测算法从数据帧提取特征描述子,通过描述子之间的欧氏距离搜索回环,未对提取的特征描述子进行特征增强.针对上述问题,文中提出基于度量学习的回环检测描述子提升算法.设计轻量级算法模块,对生成的描述子进行特征空间变换,增强描述子的区分能力,有效提升回环检测性能.通过位姿和描述子结合的方式成组制作三元组数据集,解决标签模糊的问题.提出扩充数据集的思路,解决回环样本显著不足的问题.基于三元组损失函数改造损失函数,适配回环检测场景,训练用于特征空间变换的神经网络模块.在KITTI、NCLT数据集上的测试表明,文中算法具有较强的泛化能力.

摘要： 隐式反馈具有数据获取成本小、形式广泛的特点,因此在现代推荐系统中被广泛使用.由于用户的隐式反馈通常是稀疏,不平衡,且含义不明确的.因此,想要准确学习用户和物品之间的复杂交互具有挑战性.传统的基于矩阵分解的推荐方法只能建模用户-物品之间的相似性.同时,矩阵分解使用点积运算作为相似度评估方式,而点积运算不满足三角不等式,即不能将用户-物品相似性传递到用户-用户以及物品-物品的相似性建模.因此,矩阵分解不足以在隐式反馈中充分建模用户和物品的关系.尽管现在有基于隐式反馈使用欧式距离来度量用户-物品相似度的度量学习方法,使得对应的推荐方法能够满足三角不等式.但是,现有的度量方法通常会将每个用户或者物品表示为度量空间中的单个点,进而在单个空间内通过用户-物品之间的距离来表征用户-物品之间的相似性.由于在不同的环境下,用户对于同一种类型的物品的偏好也可能存在差异.基于单个空间的用户、物品嵌入向量有可能无法满足用户具有的多种偏好和物品具有的多种属性,进而限制了推荐系统的性能.为了充分刻画用户和物品,我们尝试从多个侧面对于用户和物品进行表示,并提出了一个基于多空间的度量学习(MML)框架.通过设计整合多个空间相似性的度量方式,我们将用户和物品投影到多个空间中进行细粒度的表示.另外,我们设计了一种经过校准的优化策略,包括经过校准的最大间隔损失函数和经过校准的采样方法.在保持多空间度量学习表示能力的同时,确保框架的有效性.最后,模型通过训练好的用户、物品向量,对于稀疏的用户-物品交互矩阵进行填补.在动态更新空间权重的同时,可以赋予模型新的训练视角,最终实现端到端的训练.通过四个真实世界推荐数据集上进行的大量实验表明,MML可以在Recall和nDCG衡量指标上将目前最优的对比算法提高40%以上.

摘要： 针对图像理解中的图像间相似度的关系，提出了基于度量学习的图像理解方法。通过成对约束的度量学习算法，以及在优化目标中增加原空间数据分布的约束，得到一个能够反映当前训练数据的参数化距离函数，并在KNN分类器上使用该距离函数构建学习器。在真实数据集和ALOI图片数据集上的实验表明，基于度量学习的算法能够有效识别图像主题和特定的对象，相比传统的基于欧氏距离的算法有更高的正确率和泛化能力。

摘要： 如今,机械装备的加工制造正朝着高速、高精、高效的方向发展,机械关键零部件状况的好坏将直接影响到加工零件的质量,其中滚动轴承的故障劣化将直接影响到加工精度.随着机器学习在诸多领域取得的成果,可以利用机器学习算法能够从自然信号中自适应地提取出最能够表征信号本质的特征.所以本文提出一种将深度学习与相似性度量学习相结合的方法来实现无监督地轴承故障预测.该方法摆脱了以往依赖于人工诊断经验利用信号处理技术与传统方法来提取特征的困扰,并从振动信号中自适应地提取出故障特征.最后通过设计试验且实验结果表明,本文提出的方法可以实现大样本、多类型的轴承故障的特征自适应地无监督提取和准确识别.

摘要： 行人重识别技术广泛应用于辅助驾驶、公共安全、智能医疗、工业检测等多个领域.行人重识别是指在跨区域的摄像头即不同摄像头视角下中匹配同一个目标人物的过程.首先简单介绍使用传统方法的局限性,其次列举一些使用深度学习方法解决行人重识别的数据集,再次详细的总结一下几种典型的解决行人重识别的深度学习方法,如基于表观特征、基于度量学习的方法,对于跨域、泛化能力方面,对于基于特征学习解决遮挡、姿势变换等问题方面,最后展望行人重识别的发展趋势和发展方向.

摘要： 行人重识别是实现跨摄像机场景大范围追踪行人的关键技术,利用该技术可以把行人的碎片化多场景轨迹连接起来.本文首先回顾了行人重识别的发展,列举了目前行人重识别研究的主要难点和挑战.然后进一步介绍了作者所在研究团队针对行人重识别发展的非对称度量学习理论,及基于非对称度量理论和思想所开展的面向开放性行人重识别的非对称行人重识别建模.与现有用于行人重识别的度量学习算法相比,现有算法通常忽略了摄像机特征变化的特性,而非对称度量的优点是可以学习具备建模不同视域特点非一致性能力的特征变换.非对称建模除了应用在一般的行人重识别问题上,还可以应用在跨模态行人重识别、低分辨率行人重识别、基于属性与图像匹配的行人重识别、无监督行人重识别和不完整行人重识别等问题上.最后,本文讨论了行人重识别未来的发展.

摘要： 目的：利用基于度量的支持向量机分类算法,并将该技术用于骨质疏松骨组织纹理分析的识别,提高识别准确率.方法：分别对4倍显微镜和10倍显微镜下拍照的假手术组(SHAM组)和去卵巢组(OVX组)的骨组织切片图像获取纹理特征参数,再进行基于度量的SVM分类算法.结果：基于度量的SVM分类算法比单独使用度量学习或SVM的识别率都要高.结论：基于度量的SVM分类算法,用于骨质疏松骨切片的纹理分析,具有较高的识别率.

摘要： 本发明公开了一种融合学习特征和学习网络结构特性的学习者关系强度度量方法和装置，包括：(1)采集并提取学习者数据和课程数据的特征，得到特征集合C＝{LA,CA,LI}；(2)根据特征集合C构建学习网络LLN＝{V,E,P}；(3)根据集合LA，计算两个学习者之间的个人特征相似度las(u,v)；(4)根据集合CA，计算学习者之间的所学课程方面相似度cas(u,v)；(5)根据las(u,v)和cas(u,v)计算学习者之间的静态特征相似度sim[u,v]；(6)根据学习网络LLN，计算学习者之间的共同邻居节点数和共同邻居节点边权关系cnl[u,v]；(7)根据cnp[u,v]和cnl[u,v]计算学习者之间的动态特征相似度js[u,v]；(8)根据sim[u,v]和js[u,v]计算学习者之间的综合相似度值，以该综合相似度值作为学习者之间关系强度的度量值。

摘要： 本发明公开了一种融合学习特征和学习网络结构特性的学习者关系强度度量方法和装置，包括：(1)采集并提取学习者数据和课程数据的特征，得到特征集合C＝{LA,CA,LI}；(2)根据特征集合C构建学习网络LLN＝{V,E,P}；(3)根据集合LA，计算两个学习者之间的个人特征相似度las(u,v)；(4)根据集合CA，计算学习者之间的所学课程方面相似度cas(u,v)；(5)根据las(u,v)和cas(u,v)计算学习者之间的静态特征相似度sim[u,v]；(6)根据学习网络LLN，计算学习者之间的共同邻居节点数和共同邻居节点边权关系cnl[u,v]；(7)根据cnp[u,v]和cnl[u,v]计算学习者之间的动态特征相似度js[u,v]；(8)根据sim[u,v]和js[u,v]计算学习者之间的综合相似度值，以该综合相似度值作为学习者之间关系强度的度量值。

摘要： 本申请实施例提出了一种联邦学习梯度量化方法、高效通信联邦学习方法及相关装置，涉及机器学习领域。根据本申请的第一方面提出了一种联邦学习梯度量化方法，包括：获取来自服务器的待训练模型；使用本地的私有数据对待训练模型进行本地训练，得到本轮训练模型；根据本轮训练模型，获得本轮训练模型的第一参数，第一参数为本地训练模型的模型参数或梯度；根据预设的最大量化等级，计算本轮训练模型与上一轮模型的量化更新量；根据量化更新量，确定第一参数的量化等级，并根据量化等级量化第一参数；将量化后的第一参数发送到中央服务器。能够减少联邦学习训练过程中的非必要通信轮次和每个通信轮次需要传输的数据总量。

摘要： 本发明公开了一种基于度量学习的用户轨迹相似性度量方法，结合度量学习方法通过计算用户轨迹距离得到用户轨迹之间的相似性。首先生成每个用户的地点‑时间联合概率分布矩阵。接下来通过KL散度计算基于用户分布矩阵的不同用户轨迹之间的初始相似性，并通过谱聚类的方法生成用户轨迹的初始类别(即将用户轨迹按照相似性矩阵划分为不同的类别，以便利于后续的相似性度量函数计算)。最后在初始相似性矩阵S和轨迹初始类别集合C基础上，结合度量学习技术，获取具备用户偏好模式且具有相同维度的用户轨迹的相似性表征向量和度量函数数，在此基础上，计算用户轨迹之间的距离，得到用户轨迹相似性。

摘要： 本发明公开了一种基于多尺度度量学习的小样本学习方法，包括以下步骤：步骤一、建立数据集；步骤二、生成多尺度特征映射层；步骤三、迁移学习：转化模块对样本多尺度特征进行二次映射；步骤四、生成多尺度特征映射对；步骤五、计算多尺度特征映射对在多尺度关系生成网络中的关系得分；步骤六、采用多尺度度量学习模型对样本相似度进行度量。本发明结构简单、设计合理，通过迁移学习获得多尺度特征映射对，使得训练出来的模型具有迁移性，在均方差损失函数的基础上添加了样本间距给整体模型所带来的损失项构成新的损失函数，实现度量学习，以适应小样本学习的训练。

摘要： 本发明提供了一种基于对比学习和度量学习的接地网不开挖腐蚀预测模型，其包括以下步骤，（1）选择用于预测模型的数据采样区域及其数据采样点，建立采样点样本库；（2）通过将对比学习和度量学习相结合建立神经网络，形成预测模型；（3）对步骤（2）形成的预测模型进行验证。本发明显著减小了拟合函数的压力与复杂性，提高预测精度。

摘要： 本发明公开了一种融合局部度量的半监督多标记距离度量学习方法，对任一多标记应用场景提取训练数据，并对少量数据进行标注；对于已标注数据，过滤掉标记占有率小于设定阈值的样本，对于未标注数据，通过聚类等操作去除异常点，提高样本质量；将待学习的距离度量表示为组合距离度量形式；基于距离度量表示构造优化项；构建多标记损失项和流形正则化项联合优化模型，学得距离度量；将原数据映射到距离度量空间，然后使用已有半监督多标记学习算法进行学习，从而得到融合局部度量的半监督多标记分类器；将待预测样本输入上述分类器，得到标注样本。采用本发明可以降低人力标注成本，促进了多标记学习框架的实际应用。

摘要： 本发明提供基于度量学习的语音时序数据相似性度量方法，属于数据分类技术领域。本发明首先获取语音时序数据；结合马氏距离和斯皮尔曼线性相关性系数计算语音时序数据的局部距离，然后使用动态时间弯曲算法得到动态时间弯曲距离的表达式；再根据PGDM度量学习框架建立以马氏矩阵为参数的损失函数；求解损失函数计算出针对当前训练集样本的马氏矩阵；最后将步骤四中求得的马氏矩阵代入动态时间弯曲距离的表达式，得到每两个语音时序数据样本的相似性度量。本发明解决了现有语音时序数据相似性度量不准确的问题。本发明可用于语音时序数据的相似性度量。

摘要： 本发明公开了一种基于度量学习的用户轨迹相似性度量方法，结合度量学习方法通过计算用户轨迹距离得到用户轨迹之间的相似性。首先生成每个用户的地点‑时间联合概率分布矩阵。接下来通过KL散度计算基于用户分布矩阵的不同用户轨迹之间的初始相似性，并通过谱聚类的方法生成用户轨迹的初始类别(即将用户轨迹按照相似性矩阵划分为不同的类别，以便利于后续的相似性度量函数计算)。最后在初始相似性矩阵S和轨迹初始类别集合C基础上，结合度量学习技术，获取具备用户偏好模式且具有相同维度的用户轨迹的相似性表征向量和度量函数数，在此基础上，计算用户轨迹之间的距离，得到用户轨迹相似性。

摘要： 本发明公开了一种基于度量学习的自引导式混合数据表征学习方法及系统，本发明方法包括针对P引导机和C引导机两个相互耦合的三层神经网络进行交替训练的步骤，且每一轮交替训练包括：计算P引导机中三元组所对应的表征，根据所得表征计算指导信息并输入C引导机中指导C引导机的训练，更新C引导机中的参数，计算C引导机中三元组所对应的表征，再根据C引导机中的表征计算指导信息传入P引导机中指导P引导机的训练，更新P引导机中的参数。本发明不仅能从特征层面反映特征之间的耦合关系、可学习到包含离散特征和连续特征耦合关系的混合数据表征，也能有效反映数据对象之间的差别、通过相互学习机制可以实现数据对象之间的区分性。