表示学习

摘要： 在属性网络中,与节点相关联的属性信息有助于提升网络嵌入各种任务的性能,但网络是一种图状结构,节点不仅包含属性信息还隐含着丰富的结构信息。为了充分融合结构信息,首先通过定义节点的影响力特性、空间关系特征;然后根据链接预测领域基于相似度的定义构建相似度矩阵,将节点二元组中的关联向量映射到相似度矩阵这一关系空间中,从而保留与节点相关的结构向量信息;再基于图的拉普拉斯矩阵融合属性信息和标签特征,将上述三类信息集成到一个最优化框架中;最后,通过二阶导数求局部最大值计算投影矩阵获取节点的特征表示进行网络嵌入。实验结果表明,提出的算法能够充分利用节点二元组的邻接结构信息,相比于其他基准网络嵌入算法,本模型在节点分类任务上取得了更好的结果。

摘要： 目前,基于表示学习的知识图谱嵌入方法旨在将知识图谱中的实体和关系映射到一个低维的向量空间中,例如,翻译模型如TransE及其变体在近年来已显示出可喜的结果,它们将实体与实体之间的关系表示为实体向量之间的平移操作。这些工作中的大多数都专注于对单一关系进行建模,因此没有充分利用知识图谱的图结构信息。在本文中,我们提出了TransE的扩展,它通过添加相应的翻译向量来对关系的组合进行建模。我们的实验结果表明,我们的方法可以提高预测单个关系以及它们的组合的性能。

摘要： 生活中似是而非的手语表达语义含糊,欠规范的手势动作易混淆,同时从有限样本中难以获得充足特征用于训练手语识别模型,模型容易过拟合进而导致识别准确率较低.针对此问题,提出一种在有限样本条件下扩充欠规范手语识别容错特征的表示学习方法.该方法基于手语表达时人体骨架的运动信息,面向手语的时空关联性构建自编码器,从手语语料库中少量原始样本提取标准特征;然后利用生成对抗网络从标准特征产生大量欠规范样本,再通过自编码器扩充容错特征,构建新的容错特征集用于后续任务.实验结果表明:该方法在有限样本条件下,产生的欠规范手语样本语义清晰,新的容错特征集中不同类别的特征易于划分.在中文手语数据集上利用该方法构建容错特征集,训练手语识别模型达到97.5%的识别准确率,证明其具有广泛的应用前景.

摘要： 目前知识图谱的推理方法中,表示学习尤其是基于翻译的TransE系列算法取得了优异表现.其相关论文大都关注实体推理,然而关系推理作为知识图谱补全的关键技术值得受到关注与研究.与此同时,在规模不断扩大、知识来源更加多样化的知识图谱中,关系种类繁多且类型复杂,单个关系在全体三元组中的出现频率进一步降低,这为关系推理增加了难度.因此针对多关系型知识图谱,基于TransE模型并侧重知识图谱三元组中关系的推理,提出一种新的关系建模方法,通过调整向量空间中实体向量与关系向量间的组织结构,缓解多映射属性关系中不同种类的关系争抢同一向量的问题.然后又与其他方法结合,使新的模型在实体推理上具备可行性.通过在公开的FB15k数据集以及自行从网络中抽取得到的中文数据集上展开的知识推理实验,从关系推理准确率与实体推理准确率等指标与相似方法进行对比,均取得了良好的表现,成功验证了算法的有效性与先进性.

摘要： 蛋白质是一切生命体的物质基础,是生命活动的主要承担者,参与各种生理功能的调节。设计具有特定功能的蛋白质在蛋白质工程、生物医药、材料科学等领域具有重要意义。蛋白质序列设计的目标是设计能够折叠成期望结构并具有相应功能的氨基酸序列,是所有理性蛋白质工程的核心问题,具有极其重要的研究和应用潜力。随着蛋白质序列数据的指数型增长和深度学习技术的快速发展,生成模型越来越多地被应用于蛋白质序列设计。本文简要介绍了蛋白质序列设计的重要意义和主要方法,概述了应用于蛋白质序列设计的主要生成模型,介绍了近年来生成模型在蛋白质序列表示、生成和优化方面的最新研究和应用现状,并对未来的发展方向进行讨论与展望。

摘要： 稀疏表示分类器(Sparse Representation based Classification,SRC)求解过程较为复杂,所耗时间较长,协同表示分类器(Collaborative Representation based Classification,CRC)将全体训练样本作为字典来表示待识别样本,字典较大且未考虑样本的类别信息,线性回归分类器(Linear Regression based Classification,LRC)并未考虑不同类样本间的差异,且忽视了样本间的距离关系和潜在的邻域关系。针对以上基于表示学习的图像分类算法的问题和不足,提出了一种基于局部正则二次线性重构表示的人脸识别方法。该方法首先计算待识别样本的类内近邻样本;其次利用类内近邻样本线性重构待识别样本;然后将待识别样本表示成所有类内重构样本的线性组合,同时根据待识别样本与类内重构样本的误差对表示系数施加约束;最后,利用拉格朗日乘子法求解表示系数并根据待识别样本重构误差与表示系数的比值判断待识别样本的类别。在AR,FRGC和FERET数据集上的实验表明,该算法具有优越的识别准确率、时间复杂度和鲁棒性。

摘要： 随着互联网视频平台的快速发展以及短视频平台的兴起,个性化推荐技术始终处于新媒体领域研究的热点。传统的推荐算法只考虑影视作品的浅层特征、依赖惯用数据,难以有效解决推荐内容的多样性和冷启动问题。本文提出一种融合图嵌入、表示学习及时间注意力的智能推荐算法(FBNT),通过图嵌入和表示学习对节目做特征提取,并对提取的特征进行融合,同时引入时间注意力机制,以客观反映用户兴趣,有效挖掘节目深层次的联系,提高推荐精度,同时推荐结果有较好的可解释性。实验表明,相比较于单一的基于图嵌入模型或表示学习模型,FBNT的推荐准确率最大提高了12.343%,召回率最大提高了6.369%。算法已实际应用于某省广电热点媒资推荐系统。

摘要： 预测进阀温度的变化趋势对阀冷系统中设备运行的安全可靠性具有重要的参考价值.针对传统方法特征提取困难、预测精度低等问题,提出了一种用于预测进阀温度的T2VNN (Time2Vec neural network)模型,该模型首先通过时间序列表示学习方法 Time2Vec对进阀温度进行特征提取,然后结合TCN和双向LSTM的优势,并且使用分位数回归来实现概率预测.最后设计了不同时间步和分位数在多个典型模型上的对比实验,实验结果验证了T2VNN模型具有更高的预测性能,并且通过消融实验证明了模型中各个组成部分的有效性.

摘要： 针对传统的基于模型的协同过滤推荐算法未能有效利用用户与项目的属性信息以及用户之间与项目之间的关系结构信息,本文提出一种基于图注意力网络表示学习的协同过滤推荐算法.该算法使用知识图谱表示节点的属性特征信息和节点间的关系结构信息,并在用户和项目的同质网络上进行节点的图注意力网络表示学习,得到用户和项目的网络嵌入特征表示,最后构建融合网络嵌入信息的神经矩阵分解模型获得推荐结果.本文在Movielens数据集上与相关算法进行对比实验,实验证明该算法能优化模型的推荐性能,提高推荐的召回率HR@K和归一化折损累计增益NDCG@K.

摘要： 深度神经网络在分类任务上不断取得性能突破,但在测试中面对未知类样本时,会错误地给出一个已知类预测结果.开放集识别任务旨在解决该问题,要求模型不仅精确地分类已知类,同时对未知类样本进行准确判别.现有方法虽然取得了不错的效果,但由于未对开放集识别任务的影响因素进行分析,因而大多基于某种假设启发式地设计模型,难以保证对于实际场景的适应性.分析了现有方法的共性,通过设计一个新的决策变量实验,发现模型对已知类的表示学习能力是其中的一个关键影响因素.基于该结论,提出了一种基于模型表示学习能力增强的开放集识别方法.首先,由于对比式学习已展示出的强大表示学习能力以及开放集识别任务所包含的标签信息,引入了监督对比式学习方法,提高模型对已知类的建模能力;其次,考虑到类别间的相关性是在类别层次上的表示,且类别之间往往呈现分层结构关系,设计了一种多粒度类相关性的损失函数,通过在标签语义空间构建分层结构并度量多粒度类相关性的方式,约束模型学习不同已知类间的相关关系,进一步提高其表示学习能力;最后,在多个标准数据集上进行了实验验证,证明了所提出方法在开放集识别任务上的有效性.

摘要： 随着社交网络的兴起,越来越多用户在不同的社交网络同时拥有多个社交账号.在不同社交网络间关联相同的用户身份有益于跨社交网络的信息传播、跨域推荐等应用.跨网络的用户身份关联就是在不知道用户真实身份的情况下找出不同网络中属于同一用户的账号.大多数现有的身份关联方法,包括监督和无监督的方法,仅仅利用社交网络中的用户信息,比如用户属性信息、内容信息,而没有利用网络固有的结构信息,因此它们的效率通常受特征空间的高维度和稀疏性影响较大.本文提出了一个创新的EUIA模型,基于网络表示学习的方法,将网络的结构信息用低维向量表示,利用已知的跨网络用户身份对,即锚链接作为监督信息,学习两个网络间的映射关系,并且提出了高效率的优化方案提高了模型的精度.通过在facebook数据集上的实验,证明提出的EUIA模型在准确率方面相较其他现有算法有显著的提高.

摘要： 信息抽取研究已经从传统的限定类别、限定领域信息抽取任务发展到开放类别、开放领域信息抽取.技术手段也从基于人工标注语料库的统计方法发展为有效地挖掘和集成多源异构网络知识并与统计方法结合进行开放式信息抽取.关系抽取(relation extraction,RE)作为信息抽取的一部分,其任务是从自由文本中将给定实体对的关系抽取出来.本文在关系抽取研究历史的基础上,重点介绍弱指导实体关系抽取的任务、难点、方法、评测、技术水平和存在问题,并结合课题组的研究积累,对实体关系抽取发展方向以及在网络知识工程、问答系统中的应用进行分析讨论.

摘要： 词表示装置具备存储部和词表示生成部，存储部关于构成流谱的多个流线结构，存储各流线结构与其字符的对应关系，词表示生成部具备根决定机构、树表示构成机构和COT表示生成机构，根决定机构决定给定的流谱的根，树表示构成机构从给定的流谱的最内部至按顺序到达根为止地反复执行如下处理，由此构成给定的流谱的树表示，其中，所述处理是提取给定的流谱的流线结构、基于存储部中存储的对应关系而向该提取出的流线结构赋予字符并删除该提取出的流线结构这样的处理，COT表示生成机构将由树表示构成机构构成的树表示变换成COT表示来生成给定的流谱的词表示。而且，使学习完成AI计算使其周围产生所希望的流谱的结构物形状。

摘要： 一种计算机实现的训练神经网络的方法。该方法包括：利用目标神经网络处理训练数据项(例如图像)的第一变换视图以生成目标输出，利用在线神经网络处理训练数据项(例如图像)的第二变换视图以生成目标输出的预测，更新在线神经网络的参数以最小化目标输出的预测和目标输出之间的误差，以及基于在线神经网络的参数更新目标神经网络的参数。该方法可以有效地训练编码器神经网络，而不使用带标签的训练数据项，并且不使用对比损失，即不需要包括不同数据项的变换视图的“负样例”。

摘要： 本发明公开了一种基于图谱表示学习的知识表示学习方法，其包括以下步骤：S1、基于知识图谱三元组和谓词获取标准图；S2、根据标准图获取知识图谱实体与关系的向量表示；S3、将深度学习分类任务的标签作为目标实体，根据知识图谱实体与关系的向量表示，基于相似性度量计算目标实体间的相似度，得到目标实体的图关联矩阵。本方法结合了实体之间的关系本身包含的信息，并将推理规则融合进来，因此容纳了大量的关联信息，使得学习得到的表示质量更佳。

摘要： 本发明公开了一种基于图谱表示学习的知识表示学习方法，其包括以下步骤：S1、基于知识图谱三元组和谓词获取标准图；S2、根据标准图获取知识图谱实体与关系的向量表示；S3、将深度学习分类任务的标签作为目标实体，根据知识图谱实体与关系的向量表示，基于相似性度量计算目标实体间的相似度，得到目标实体的图关联矩阵。本方法结合了实体之间的关系本身包含的信息，并将推理规则融合进来，因此容纳了大量的关联信息，使得学习得到的表示质量更佳。

摘要： 本发明提供的提高网络表示学习表示能力的方法、模型训练方法和系统，根据图网络得到各个子图的集合；将表示子图的邻接矩阵和特征矩阵输入到图卷积神经网络中，得到子图的网络表示学习的初始向量；根据子图中中心节点与每个非中心节点之间的关系，计算中心节点与每个非中心节点之间的注意力权重；根据初始向量和每个非中心节点之间的注意力权重，得到子图节点与关系组合后的具有权重的节点知识表示向量；采用注意力机制计算得到各个非中心节点之间关系的注意力权重；根据节点知识表示向量以及各个关系的注意力权重，得到子图的加权聚合向量。用加权聚合向量表示节点，使节点知识嵌入具有更丰富的语义信息，提升了异构网络的知识计算和推理能力。

摘要： 在当今电子信息化时代，大规模学术数字图书馆在学术界的重要性日趋明显，如知网、万方、DBLP等。在这些系统中收录了以百万计的学术文献记录，但是正因如此，大量学术文章不能很好的匹配其作者，存在明显的同名歧义问题。为了解决上述问题。本发明提供了一种基于网络表示学习和词向量表示进行同名排歧的方法。该方法主要是利用论文的文本信息，如题目、关键词等；论文的关系信息，如作者等。通过以上信息结合网络表示学习以及文本嵌入学习生成表示论文的向量；在通过计算两两向量(文章)之间的相似性生成相似性矩阵；对生成的论文相似性矩阵进行聚类，不同的作者的文章被分配到不同簇中，从而实现了学术论文中同名排歧。

摘要： 本发明提供了一种基于交互表示学习的药物特征表示方法，通过异构图表示学习和分子图表示学习的双向循环交互机制，充分整合利用多尺度的药物特征表示，使药物多尺度的药物特征互补和融合，实现了从多尺度的药物描述数据中获取药物的特征表示的功能。本发明针对丰富的药物描述数据，循环利用药物的宏观和微观特征，同时开展药物的异构图表示学习和分子图表示学习，充分利用药物不同尺度的特征交互，融合药物的宏观维度数据和微观维度数据，从药物描述数据中获取药物的特征表示，对下游的药物发现和药物设计具有重要的指导意义。

摘要： 本发明涉及一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置。本发明通过全局层面和局部层面的两个子任务预训练图神经网络模型，以从未标注的数据中学习输入数据的通用表征；将预训练的图神经网络模型迁移到目标任务的训练过程中，在预训练的图神经网络模型之后添加一个与目标任务相关的输出层，并利用有标签数据对预训练的图神经网络模型的参数进行微调，得到最终的图神经网络模型。本发明在节省人工标记成本的基础上有效结合无标签数据和有标签数据，提升了模型的泛化能力，能够简化目标任务的训练过程，达到更快收敛的目的；本发明充分利用了迁移学习的思想，能够节省大量的计算资源和计算时间，提高计算效率。

摘要： 本发明提供一种用于自监督视频表示学习的时域对比图学习系统及方法，该系统引入时空知识发现模块(STKD)，它是基于离散余弦变换的频域分析从视频中提取运动增强的时空表示；为了显式地构建未标记视频的多尺度时域相关性模型，将关于帧和片段顺序的先验知识集成到图结构中，即片段内/片段间时域对比图(TCG)。然后，设计特定的时域对比图学习模块，以最大化不同图视图中节点之间的一致性；为了生成未标记视频的监控信号，引入了自适应顺序预测模块，该模块利用视频片段之间的相关知识来学习全局上下文表示，并自适应地重新校准通道特征。

摘要： 本发明涉及一种基于自监督学习的动态图表示学习方法，包括：对动态图进行采样，分别得到时空子图、非时序子图、非空间子图；利用时空权重编码器分别得到三个子图的节点级以及图级别的表征；设计时空对比学习，分别从时间和空间的角度定义总损失函数；通过总损失函数完成时空权重编码器的训练，最后将动态图中所有的节点送入训练好的时空权重编码器中，得到动态图的节点表征，并将其应用到动态图模型类应用场景中分类、推荐、链路预测等任务中。本发明融合了动态图的时间和空间信息，增强了动态图表示方法的性能；具有良好的可解释性、可验证性、表征性能和可迁移性。并且本发明在现实中可以应用于电商网络，用以预测用户可能购买的商品。