特征融合

摘要： 基于社区问答CQA(community-based question and answering)的知识分享已成为互联网时代的主流交互平台,然而随着大量用户参与和大量问题的涌入,普遍存在问题回复慢而领域专家又难以发现合适的问题回答的“回答饥饿”(answer hungry)现象。已有的专家推荐方法多基于提问者、问题、答案、回答者、社交网络等中的局部视角进行特征提取,并没有分析哪一类特征或特征组合是所需的推荐特征;同时,采用机器学习或深度学习进行专家推荐时,其推荐标签特征仅区别“best answer”和非“best answer”,而不能评价非“best answer”的回答者真实知识水平,存在推荐质量不高问题。本工作充分利用用户对答案的反馈评价作为答案质量细粒度评分,设计一种考虑特征组合与交互的FM回归模型进行专家推荐,并在此基础上评价每类特征在专家推荐的作用。在爬取的Stack Overflow数据集上,按真实时间序列进行专家推荐,较主流基准算法有不同程度提升,也实证了提问者、问题、答案、回答者这几类特征组合对专家推荐的价值。

摘要： 近年来,基于深度学习的脑功能连接分类方法已成为一个研究热点.为了进一步提高脑功能连接的分类准确率,获得与疾病相关的鉴别性特征,本文提出了一种基于原型学习与深度特征融合的脑功能连接分类方法.该方法首先使用栈式自编码器从脑功能连接中提取从低层次到高层次的深度特征;然后利用原型学习在自编码器的各隐层中提取表示样本类别信息的距离特征;最后采用深度特征融合策略将这些距离特征融合,并将该融合特征用于脑功能连接的类别标签预测.在ABIDE数据集上的实验结果表明,与其他同类方法相比,该方法不仅具有较高的分类准确率,而且能够更加准确地定位与疾病相关的脑区.

摘要： 现有的基于深度学习的单张图像超分辨率(single image super-resolution, SISR)模型通常是通过加深网络层数来提升模型的拟合能力,没有充分提取和复用特征,导致重建图像的质量较低。针对该问题,提出了基于特征融合和注意力机制的图像超分辨率模型。该模型在特征提取模块使用残差中嵌入残差(residual in residual, RIR)的结构,该网络的特征提取模块由包含多个残差块的残差组构成,并且在每个残差组内进行局部特征融合,在每个组之间进行全局特征融合。此外,在每一个残差块中引入坐标注意力模块,在每一个残差组中引入空间注意力模块。经验证,该模型能充分提取特征并且复用特征。实验最终结果表明,该模型在客观评价指标和主观视觉效果上都优于现有的模型。

摘要： 与具有大量标注数据的光学图像相比,合成孔径雷达(Synthetic Aperture Radar,SAR)图像缺乏足够的标记样本,限制了监督学习的SAR目标识别算法的性能。而无监督识别方法又难以满足实际需求,因此本文提出了基于自注意力特征融合的半监督生成对抗网路。首先,在构建生成器和判别器时引入自注意力层,克服卷积算子不具有长距离特征提取的问题;其次,判别器采用多层级特征融合,捕获SAR图像的关键信息;最后,在训练过程中采用谱归一化,提升模型的收敛稳定性。为了验证所提方法的有效性,在运动与静止目标获取和识别(Moving and Stationary Target Acquisition and Recognition,MSTAR)数据集上进行了实验。实验结果表明,所提方法能从未标记样本中学习有价值的信息,有效地解决标注不足的问题。

摘要： 为了满足海洋生物检测对精度和实时性的要求,提出了一种基于改进SSD算法(single shot multibox detector)的海洋生物检测算法。针对SSD算法浅层特征层语义信息不足、小目标检测效果差等问题,设计了特征融合模块和特征增强模块。特征融合模块通过融合不同特征层,丰富了浅层特征层的语义信息以及深层特征层的细节信息,综合上下文信息提高检测效果。为了进一步提高浅层特征层的语义信息,提出了特征增强模块,通过引入空洞卷积以及多尺度的卷积核,综合不同感受野信息以提高改进算法对小目标的检测效果。改进算法在仅增加少量计算量和参数量的情况下,全面提高了算法对海洋生物目标的检测准确率。结果表明,改进算法在海洋生物数据集中的平均精度(mAP)达80.8%,比原始网络提高了5%,检测速度(FPS)为74,略低于SSD算法,但远高于其他改进算法。改进算法能在保持实时性的同时取得较高的检测精度,能够满足海洋生物检测要求。

摘要： 针对目标检测中多类别、多尺度和背景复杂而导致的SSD (Single Shot Multibox Detector)算法检测精度不高的问题,提出了一种多尺度特征增强的改进SSD目标检测算法。首先将SSD网络模型的高层特征依次向下与浅层特征融合,构造一种多尺度目标检测结构。然后利用注意力机制对特征进行进一步的优化,从而达到增强网络模型特征提取的目的。最后用DIoU-NMS来处理图像目标中冗余框的问题,减少目标的漏检。在公开的NWPU VHR-10遥感数据集上将该方法与其他算法进行对比实验,其m AP较传统的SSD算法提高了6.7%。最后将改进后的算法应用于地铁安检图片检测,并在此数据集上进行消融实验来验证此算法每一阶段的有效性。

摘要： 语义分割任务是对图像进行像素级别的分类预测,其难点在于对像素级别的准确预测和物体的边缘划分.现有方法大多采用基于编解码结构的网络模型,通过下采样快速扩充网络的感受野,但连续的下采样对特征图的空间信息造成了不可逆转的损失,为此,提出一种基于语义重定位的并行网络.设计了一条全局空间路径,在保持高分辨率的情况下提取丰富的空间信息并缓解多次下采样带来的信息丢失.在另一条上下文信息提取路径中,采用一个特征提取器,通过快速下采样扩充网络的感受野.此外,设计基于物体类别的语义重定位模块弥补多次下采样造成的上下文信息缺失,使用粗分割结果中该类目标区域的所有像素分别对目标区域中的每个像素进行引导.同时,采用Dice loss缓解数据中存在的正负样本不平衡问题,以获得更好的分割性能.最后,在Cityscapes和CamVid数据集上对所提网络进行了评价.实验结果表明,与已有分割网络相比,在CamVid数据集上,SRPNet在mIoU指标上能提升3.1%,在Cityscapes数据集上,SRPNet在mIoU指标上能提升1.8%.

摘要： 针对单个传感器获取信息有限导致诊断精度不足的问题,提出一种基于多传感器两级特征融合的故障诊断方法,并将其应用于不同工况下的滚动轴承故障诊断中。首先,在第一阶段特征融合中,通过变分模态分解计算每个传感器振动信号的本征模态函数(intrinsic mode function,IMF),消除噪声等冗余信息;再根据IMF提取时域、频域和多尺度熵特征,在一维特征层面融合成一个多域特征集。其次,在第二阶段特征融合中,首先构建基于Swish激活函数和log(cosh)损失函数改进的深度自编码网络,在此基础上进一步融合多域特征集并进行故障分类。将所提模型应用于不同工况下的滚动轴承故障诊断数据集,试验结果表明,与现有方法相比,所提方法具有更高的分类准确率和鲁棒性。

摘要： 液滴图像的精确分割是高精度接触角测量的重要环节,针对在液滴分割过程中存在的目标不准确、轮廓不完整以及固-液-汽3项交点和边界细节效果不佳的问题,文中提出了一种适用于液滴分割的神经网络模型。该模型以U-Net网络为基础,在其输入处加入1×1卷积层汇总图像特征,避免从初始图像中丢失信息;并采用Resnet18结构作为U-Net的特征学习编码器,增强了网络的表达能力,促进了梯度的传播。在解码过程中引入密集连接的特征融合技术,在提升分割目标细节信息的同时降低了网络参数。最后在每个卷积层后都添加批量归一化操作,进一步优化了网络性能。实验结果表明,改进的U-Net模型能够有效提高液滴识别的准确率,提升分割效果,在接触角测量领域具有一定的参考价值。

摘要： 在双模态维度情感识别中,存在由于信息不全面而导致预测性能不高的缺陷,且使用决策级融合方法进行融合大多依赖支持向量回归算法,但该算法无法有效处理大样本情况。为了解决以上问题,在语音和文本模态的基础上增加动作捕捉(motion capture,Mocap)数据,并针对该多模态数据提出一种基于随机梯度下降(stochastic gradient descent,SGD)的决策级融合维度情感识别方法。结合多任务学习机制,利用不同的深度学习模型分别对语音、文本和Mocap特征进行训练,并基于决策级融合方法实现多模态维度情感识别。在IEMOCAP数据集上的实验结果表明,Mocap数据更有助于提高效价维的值,结合更多情感数据有助于提升维度情感识别的预测性能,基于SGD进行决策级融合得到的一致性相关系数均值高于其他回归算法。

摘要： 零样本学习是指通过学习对象类别的语义描述和图像的视觉描述的嵌入空间来识别从未见过的图像类别.现有零样本学习模型一般是对视觉和语义空间的映射关系进行研究,侧重于映射过程中嵌入空间的选择,却忽视了判别性区域特征在零样本学习中的重要性.为了充分发挥判别性区域特征在零样本学习中的作用,提出了一种基于判别性区域特征融合的零样本分类方法,除了提取全局特征,还提取了关键特征,并将二者进行有效融合,使得判别性区域特征更加明显;采用可学习的端到端的深度度量—关系网络学习视觉特征和语义属性特征之间的关系;最后,根据相似性得分对从未见过的图像类别进行分类.将所提算法在两个具有挑战性的数据集上进行了实验,结果表明了所提方法的有效性.

摘要： 在高分遥感影像城区建筑物变化检测中,如何充分利用丰富的空间信息和时序信息仍是目前亟待解决的问题.本文基于2015年和2017年分别获取的广东省某地区0.65米分辨率的卫星遥感影像,进行新增建筑物识别的研究,利用卷积神经网络和循环神经网络分别提取空间特征和时序特征以提高变化检测精度,并对比了卷积神经网络与不同循环神经网络的两种组合方式.在本文实验中,使用循环神经网络融合高层时间特征相比于原始变化检测网络节省了26.5％的时间成本,相比于融合底层时间特征节省了75.2％的时间成本,使用长短期记忆网络进行高层特征融合使得建筑物变化检测的F1得分提高了0.19,并将总体精度提高至95.0％.结果表明,在卷积神经网络中引入循环神经网络实现了时间序列高层特征融合,提高了高分遥感影像中建筑物变化检测的速度和精度.

摘要： 针对运动目标跟踪中,仅采用单一特征描述目标和传统模型更新方法难以适应目标的遮挡、形变以及各种复杂的场景变化.为解决此问题,提出一种多特征融合和选择性更新模型的相关滤波器跟踪算法.首先,分别利用方向梯度直方图和颜色特征训练滤波器模型,在检测阶段根据不同特征响应图的峰值旁瓣比加权融合两种特征;根据每帧最终目标位置响应图的峰值旁瓣比,判断目标是否发生遮挡,发生遮挡时则不更新模型,下一帧中继续使用当前模型进行跟踪.选取公开测试视频集中12段有挑战性的视频序列与多个前沿运动目标跟踪算法进行了对比实验,结果显示,相对于次优的基于颜色特征(Color Names,CN)的算法,平均中心位置误差减少了25.12像素,平均跟踪精度提高了29.31％.实验结果表明,在目标发生尺度变化、遮挡和光照变化等情况下,该算法可以稳定、准确跟踪.

摘要： 为了充分利用图像中所隐藏的特征信息,提出将低级纬度特征融合在全连接层,构建出融合了高低级纬度特征的双通道卷积神经网络.首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,这样就使得提取得到的初级和高级特征图在全链接层上进行融合,融合后的数据输入到softmax分类器进行分类.不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本模型获得了较高的分类准确率.

摘要： 针对车辆检测准确率低、实时性差的问题,文中提出基于CenterNet检测算法改进的车辆检测方法.在原有网络的基础上,增加了特征融合模块和注意力机制模块,在保证检测速度的前提下提高了检测准确率.相比原有网络,所提方法的平均检测精度提高了2.1％,mAP达到了87.9％,可用于对车辆的实时检测.

摘要： 深度伪造的图像及视频对个人隐私、社会稳定和国家安全构成了严重威胁.对深度伪造的图像和视频进行鉴别和判断并提供鉴定意见,是依法处置此类违法犯罪的前提.文章主要介绍了深度伪造的识别方法、鉴定的相关要求、现有影像鉴定方法、在深伪鉴定领域的不足,并进一步提出了利用传统影像鉴定、影像载体的电子数据鉴定、鲁棒可信的识别模型、多特征融合、源头追溯认证等方法,作为开展深度伪造影像鉴定的参考.

摘要： 相干变化检测利用合成孔径图像的相干性进行场景变化检测,无论传统相干变化检测算法还是改进相干变化检测算法都是利用对应区域内一定数量的像素点对图像相干度进行估计.相干度越低,估计偏差越大,虽然可以通过增加估计窗尺寸来获得更好的性能,但是会降低差异图像的分辨率,微弱或小尺寸的变化会被湮没.本文提出了一种基于多视角融合的相干变化检测算法,利用相干变化检测差异图像中痕迹目标的多视角图像信息,通过将多个视角的差异图像进行融合处理形成新的差异图像,相对于单视角检测提升了差异图像对比度,有利于目标与背景的分类判决,提升场景变化检测性能,理论分析和实测数据处理结果证实了该方法的有效性.

摘要： 相干变化检测利用合成孔径图像的相干性进行场景变化检测,无论传统相干变化检测算法还是改进相干变化检测算法都是利用对应区域内一定数量的像素点对图像相干度进行估计.相干度越低,估计偏差越大,虽然可以通过增加估计窗尺寸来获得更好的性能,但是会降低差异图像的分辨率,微弱或小尺寸的变化会被湮没.本文提出了一种基于多视角融合的相干变化检测算法,利用相干变化检测差异图像中痕迹目标的多视角图像信息,通过将多个视角的差异图像进行融合处理形成新的差异图像,相对于单视角检测提升了差异图像对比度,有利于目标与背景的分类判决,提升场景变化检测性能,理论分析和实测数据处理结果证实了该方法的有效性.

摘要： 相干变化检测利用合成孔径图像的相干性进行场景变化检测,无论传统相干变化检测算法还是改进相干变化检测算法都是利用对应区域内一定数量的像素点对图像相干度进行估计.相干度越低,估计偏差越大,虽然可以通过增加估计窗尺寸来获得更好的性能,但是会降低差异图像的分辨率,微弱或小尺寸的变化会被湮没.本文提出了一种基于多视角融合的相干变化检测算法,利用相干变化检测差异图像中痕迹目标的多视角图像信息,通过将多个视角的差异图像进行融合处理形成新的差异图像,相对于单视角检测提升了差异图像对比度,有利于目标与背景的分类判决,提升场景变化检测性能,理论分析和实测数据处理结果证实了该方法的有效性.

摘要： 相干变化检测利用合成孔径图像的相干性进行场景变化检测,无论传统相干变化检测算法还是改进相干变化检测算法都是利用对应区域内一定数量的像素点对图像相干度进行估计.相干度越低,估计偏差越大,虽然可以通过增加估计窗尺寸来获得更好的性能,但是会降低差异图像的分辨率,微弱或小尺寸的变化会被湮没.本文提出了一种基于多视角融合的相干变化检测算法,利用相干变化检测差异图像中痕迹目标的多视角图像信息,通过将多个视角的差异图像进行融合处理形成新的差异图像,相对于单视角检测提升了差异图像对比度,有利于目标与背景的分类判决,提升场景变化检测性能,理论分析和实测数据处理结果证实了该方法的有效性.

摘要： 本发明公开了一种基于纹理特征与形状特征相融合的水声图像特征提取方法，主要步骤包括图像分割，边界提取，生成基元阵，计算灰度‑基元共生矩阵，获取五项个特征量等几个关键步骤。本发明着手于海底底质水声图像的图形学特征，利用海底底质水声图像的边界形状特征及其灰度相关性，应用并结合边界提取与灰度‑基元共生矩阵法，实现海底底质的水声图像特征提取。本发明不仅能够保证平移、旋转和缩放不变性，并且对噪声不敏感，既可以描述闭合区域，对于非闭合区域也能很好的完成特征提取，实现了基于海底底质水声图像图形学特征的间接识别及提取。

摘要： 本发明涉及一种融合用户时间特征和个性特征的数据特征提取方法，属于人工智能技术领域；本发明基于多用户的批量时序数据，通过时间卷积神经网络建模数据的序列关系，同时引入时间通道和个性特征通道注意力机制自动选择与预测下一个数据点所密切相关的数据特征，从而获取用户的综合数据特征，在此基础上，可以利用现有神经网络模型提供基于用户历史习惯的相关服务。对比现有技术，本发明有效解决了传统神经网络模型在使用数据时效率低下的问题，通过时间通道和个性特征通道两种注意力机制，强调了时间信息和用户个性对于特征提取的重要性，提高了特征提取的有效性。

摘要： 本发明公开了一种切削信号多域特征高质融合及融合特征性能评价方法，涉及机械加工过程监测技术领域，根据切削信号特征集和辨识目标向量计算每个特征向量与辨识目标向量的皮尔逊相关系数，得到多域相关系数集；根据自动叠加函数计算每个特征向量对应的融合特征分量，得到多域融合特征分量集；对多域融合特征分量集中各融合特征分量矩阵计算平均向量，得到多域融合矩阵；分别计算多域融合矩阵的各维数据与辨识目标向量的皮尔逊相关系数，得到多域融合矩阵与辨识目标向量的融合相关向量；经计算输出最终的多域融合矩阵。本发明能够提高融合特征表现能力，同时通过建立性能评价指标，实现能够在训练识别模型之前预先判断融合后的特征性能的评价方法。

摘要： 本发明提供一种基于多模态特征融合的三维对象融合特征表示方法。本发明将三种模态的三维模型特征表示，都做了一个非常细致的实现和复现：三维模型的多视图特征表示、点云特征表示以及网格特征表示。对多模态三维数据进行了处理、增强和融合，并基于此提取出了三维对象的融合特征表示。本发明能实现非常优秀的多模态信息融合，实现更加鲁棒的三维模型特征表示，供给其他三维对象任务使用。

摘要： 本发明提供一种基于显著图引导的分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数的方法。该方法联合使用线性光谱聚类超像素方法和多尺度区域分组方法处理得到的特征表示图，避免有用信息的丢失，然后搭建一个三分支的分层密集特征融合网络进行前景特征、背景特征的提取和融合，用于提取乳腺病变超声图像多尺度融合特征参数。前景和背景两个进行性密集特征提取分支网络以原始图像和相应的显著图共同作为输入，分别用来有效地提取与该分类任务相关的前景和背景特征。根据前景和背景之间已知的相关性和补充性信息，分层特征融合分支网络将上述前景和背景信息进行多尺度的融合，获得更加准确，更加显著的多尺度融合特征参数。

摘要： 本发明公开了一种基于特征筛选和深度融合的卷积神经网络特征融合算法。方法包括如下步骤：(1)、将来自同一幅影像的多个不同的卷积特征按照通道进行拼接。然后对拼接后的特征进行批量归一化，来调整各层输出特征的分布。(2)对融合后的综合特征进行包括挤压、激励和注意三个过程的特征筛选。(3)通过一维卷积对多个特征进行深度融合，进一步挖掘各个特征的信息和特征信息之间的关系。(4)最后对深度融合的特征进行激活，通过激活函数把激活的特征保留并映射出来。本发明可以明显提升深度学习方法中多特征(多尺度特征融合、注意力特征融合等)相关类别算法模型的精度，提高图像分类、语义分割和目标检测等任务的识别效果。

摘要： 本发明公开了一种电子病历中异构数据特征融合方法及基于融合特征的预测方法、系统及可读存储介质，所述方法包括：步骤1：将患者的电子病历数据进行处理构成患者的就诊向量；步骤2：将每类数据的就诊向量作为原始输入数据，分别利用Bi_LSTM模型和CNN模型提取时序特征和非时序特征；步骤3：分别综合每类数据的时序特征和非时序特征得到综合特征；步骤4：利用所述综合特征挖掘每类数据的之间的作用信息得到每类数据对应的最终特征。其中，利用得到最终特征可以用于疾病风险预测，本发明综合了不同类型医学数据各自的时序和非时序特征及其之间的相互关系，以获得更准确的患者表示特征，进而提高了疾病风险预测结果的可靠性。

摘要： 本发明提供一种基于多模态特征融合的三维对象融合特征表示方法。本发明将三种模态的三维模型特征表示，都做了一个非常细致的实现和复现：三维模型的多视图特征表示、点云特征表示以及网格特征表示。对多模态三维数据进行了处理、增强和融合，并基于此提取出了三维对象的融合特征表示。本发明能实现非常优秀的多模态信息融合，实现更加鲁棒的三维模型特征表示，供给其他三维对象任务使用。

摘要： 本发明公开了非负特征融合方法和基于非负特征融合的模式分类方法，包括以下步骤，获取原始数据的多种非负特征，定义并建立特征矩阵；对特征矩阵进行非负特征分解，得到基础特征和特征融合因子；使用基础特征和特征融合因子进行融合特征重建，得到融合特征；基于融合特征，建立基于正规化F范数误差的融合单特征分类器；使用融合特征Boosting算法对融合特征进行提升，得到融合单特征提升权重矩阵和融合多特征提升权重矩阵；基于提升权重矩阵，建立融合多特征分类器。本发明提出非负特征分解与融合特征重建的两步特征融合方法，为原始数据多种非负特征的融合提供了技术手段，实现多种特征的优势互补，基于融合特征建立的分类器能够得到更高的分类准确率。

摘要： 提供一种基于深度神经网络的人工特征与卷积特征融合的特征提取方法，所述方法包括：获取电动液压舵机的故障预测数据；对所述故障数据进行综合预处理，以得到训练数据集和测试数据集；将所述训练数据集分别送入卷积神经网络一次自编码器和基于专家知识的人工时域特征提取模块；在所述卷积神经网络一次自编码器中进行基于卷积神经网络的特征提取，获得卷积特征集；在所述人工时域特征提取模块进行基于专家知识的时域特征提取，获得人工时域特征集；对所述卷积特征集和所述人工时域特征集进行特征拼接，得到融合特征；将所述融合特征送入二次自编码器和解码器，进行基于堆叠自编码器的深度特征融合。