多模态融合

摘要： 提出了一种基于多模态融合的人群流量预测算法(multimodal fusion for crowd flow prediction,MFCFP).首先使用图卷积算子来探索区域之间的相关性以建立多模态,不同的模态可以捕捉不同的影响因素.然后进行多模态融合,并将带有注意力机制的基于图卷积神经网络应用于本文模型,以更好地建立相关区域关联.在真实数据集的实验证明了所提模型可以准确地预测人群活动流量.

摘要： 对于谣言给社会造成的恐慌,现有谣言检测方法不能有效提高检测精确性.因此,提出一种基于双向树多模态融合谣言检测方法,首先使用预先训练数据向量化,构建端到端的神经网络,以双向树实现特征提取;然后将它输入到全连接层并进行多模态特征拼接,最后采用交叉熵损失函数进行训练.对比传统模型,实验结果表明,该方法能有效提取特征并提高谣言检测的精确性.

摘要： 针对无人驾驶系统环境感知中的车辆检测精度低的问题,本文提出一种基于多模态特征融合的三维车辆检测算法。该算法通过毫米波雷达与摄像机联合标定,匹配2个传感器间的坐标关系并减小采样误差;采用统计滤波剔除毫米波雷达数据冗余点,减少离群点干扰;构造多模态特征融合模块,利用逐像素平均融合点云与图像信息;加入特征金字塔提取融合后的高级特征信息提升复杂道路场景下的检测精度;建立特征融合区域建议结构,根据高级特征信息生成区域建议;使用非极大值抑制去除冗余检测框后,通过检测框顶点匹配输出车辆检测结果。经KITTI数据集实验结果表明:所提出的方法能够快速、准确地实现车辆检测,平均检测时间为0.14 s,平均检测精度为84.71%。该算法具有重要的理论和应用价值,可为无人驾驶系统的车辆检测提供有效方案。

摘要： 人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障。传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题。鉴于此,该文提出一种多模态融合卷积神经网络模型,通过融合不同模态上的人脸特征来实现鲁棒的人脸反欺骗。首先根据通道注意力网络设计了多模态共享分支网络来实现特征提取过程中不同模态间的信息交互,然后在通道注意力融合网络的基础上提出了多模态通道注意力融合网络来融合不同模态的特征,最后利用融合后的多模态特征进行分类。在CASIA-SURF数据集上的大量实验结果表明,与主流的多模态人脸反欺骗方法(multi-scale fusion)相比,该方法在APCER和ACER指标上分别降低了1.1%和0.4%,充分证明该方法可以有效融合不同模态的特征,提高模型的鲁棒性。

摘要： 哈希作为一种有效的数据表征技术,已经在应对爆炸式增长的多媒体数据中扮演了重要的角色.它由于低存储和高效率的优势,在多媒体检索领域受到了越来越多的关注.目前多模态哈希学习方法在多媒体检索任务中得到了较好的研究和发展.然而,多数的方法通过编码特征的内积重构成对相似度来保持原始数据的结构信息,但是带来较复杂的优化问题.此外一些模型缺乏判别性使得检索性能的提升受到限制.为了克服上述问题,本文提出一种新型的多模态融合哈希方法,在类别信息的监督下利用Hadamard矩阵为数据生成目标编码,通过松弛严格的二值约束增大类间的间隔,同时采用图嵌入的方式促进类内的紧凑性.本文提出的方法既保证了模型具有很好的判别能力也简化了优化过程.在3个公开数据集上的实验结果表明,本文提出的方法在多媒体数据检索中是非常有效的,平均性能上相比最优的对比方法提高了8.47%.

摘要： 针对虚假信息检测中图片特征提取不充分,以及忽视了单模内关系以及单模与多模之间交互作用的问题,提出一种基于文本和图片信息的多模态深度融合(MMDF)模型。首先,用双向门控循环单元(Bi-GRU)提取文本的丰富语义特征,用多分支卷积−循环神经网络(CNN-RNN)提取图片的多层次特征;然后,建立模间和模内的注意力机制以捕获语言和视觉领域之间的高层交互,并得到多模态的联合表征;最后,将各模态原表征与融合后的多模态联合表征依据注意力权重进行再融合,以加强原信息的作用。该模型与多模态变分自动编码器(MVAE)模型相比,在中国计算机学会(CCF)竞赛和微博数据集上的准确率分别提升了1.9个百分点和2.4个百分点。实验结果表明,所提模型能够充分融合多模态信息,有效提高虚假信息检测的准确率。

摘要： 作为一个交叉领域的研究任务,多模态抑郁症检测在自然语言处理、计算机视觉、心理健康分析等研究领域吸引了越来越多研究人员的关注。目前存在的研究工作主要致力于利用用户产生的社交网络数据进行抑郁症检测。然而,由于社交网络数据量通常较大,已有的研究方法存在捕捉长距离依存信息(即全局信息)不足的缺陷。因此,如何获取用户的全局信息来帮助检测抑郁症成为一个亟需解决的问题。另外,考虑到社交媒体数据不仅包含文本信息,还包含图片等信息,如何同时融合多个模态的全局信息来帮助检测抑郁症成为另一个亟需解决的问题。为了解决上述困境,该文提出了一种基于层次化动态路由机制的多模态抑郁症检测方法。通过层次化的结构来获取用户的全局信息,并且通过基于动态路由机制的融合方法,来动态地根据任务调整多模态融合特征来帮助检测抑郁症。实验结果表明,该文方法能有效地捕捉用户全局信息,并能进一步融合多模态信息,从而显著提高抑郁症检测任务的性能。

摘要： 网络社交媒体已经成为人们获取和共享信息的重要平台,同时也为虚假信息产生与快速传播提供了渠道。网络虚假信息检测技术的研究迫在眉睫。通过梳理近10年该领域的国内外相关研究,根据所基于的数据对象不同,从基于信息内容、用户画像、传播结构的虚假信息检测3个方面进行了阐述与分析。其中,基于信息内容的方法又分为基于文本、基于图像和基于文本图像多模态融合的方法。进而,介绍了国内外主要的虚假信息检测平台与系统。最后对网络虚假信息检测中面临的主要挑战及未来研究方向进行了讨论。

摘要： 从脑电/脑磁、功能磁共振以及同步脑电-功能磁共振三种具有代表性的非侵入性神经影像典型技术出发,回顾了不同模态的发生发展,梳理了每个模态相关研究的主要研究进展,强调了多模态融合分析技术的重要性,结合多模态神经影像分析平台、脑影像大数据平台建设和辅助临床诊断治疗等方面的实践应用,探讨多模态神经功能成像新技术面临的技术挑战及其在促进脑科学发展中的意义,同时对神经影像技术发展做出总结和展望。

摘要： 基于深度学习的方法,利用多模态信息融合技术,将汽车等目标的声音、图像信息融合,用于对测试目标的判断。利用改进Inception网络对图像识别技术展开研究,分别比较了单纯图像信息情况的辨识、单纯声音信息情况的辨识,以及多模态融合情况下的辨识。通过试验分析和比较,证明该方法可以有效提高用户的图像识别能力,将特种车辆的平均识别精确度提升到97%以上,可用于特种车辆紧急避让等情况,具有很好的应用价值。

摘要： 面对异构信息空间中具有时间信息的大量相互关联的异构实体数据如作者、论文、产品、电影等,提出一个以实体及关联关系为中心的多层的时态数据模型,即多层的时态实体关联网络MTE-Network,它能有效捕捉异构实体和关联关系的时间信息.基于此时态数据模型,提出了实体搜索的多模态融合的查询模型,其支持用户搜索异构信息空间中的任何类型的实体及相关实体,支持在实体级、实体聚类级和时间轴上的实体搜索,并且满足用户多模态融合实体搜索的信息需求.在真实数据集上的实验结果证明了该时态数据模型和查询模型的可行性和有效性.

摘要： 视频兴趣度预测有着广泛的应用前景,比如提高视频检索和视频推荐的性能.由于每个人的喜好不同,想要找到通用的兴趣度准则是十分困难的.在本文中,构建了基于多模态特征融合和成对排序模型学习的预测系统.系统能利用视频中的听觉和视觉信息,并且模型的训练模拟人的评判过程,从而能够利用数据之间丰富的信息使兴趣度预测更加可靠.通过在MediaEval2016兴趣度预测比赛数据集上的实验比较,提出的预测系统可以更好的利用数据和标签并超越分类或回归的基线系统.

摘要： 本文讨论了嵌入式多媒体系统的几个应用.在对多媒体技术研究的基础上,提出了嵌入式视频-音频多模态融合处理芯片,嵌入式视频摘要生成芯片等新的想法.鉴于技术的日趋成熟,更多的嵌入式多媒体处理系统将会问世.

摘要： 本发明涉及跨模态检索领域，具体是基于模态内及模态间混合融合的图像菜谱检索方法，包括如下步骤：步骤1.准备图像数据和菜谱数据；步骤2.构建整体网络；步骤3.对步骤2的整体网络进行训练，并设置损失函数；步骤4.利用训练好的整体网络对食物和菜谱进行跨模态检索；解决了跨模态检索效果差的问题。

摘要： 本申请涉及基于融合模态内和模态间关系的数据处理方法及系统，包括：获取社交网络指向目标分类的样本数据，并将样本数据划分为训练集、验证集和测试集，获得训练集样本数据、验证集样本数据和测试集样本数据；构建预设分类模型，所述预设分类模型包括特征提取网络，与所述特征提取网络相连的目标分类主任务网络和多模态主题信息辅助任务网络；将所述训练集样本数据输入所述预设分类模型并利用预设的损失函数进行训练，使用门控机制融合主任务和辅助任务的输出，得到社交数据分类模型，所述社交数据分类模型用于对输入的待分类数据进行分类。本申请能够有效的提升社交网络数据指向目标分类的性能。

摘要： 本发明公开了基于模态异质性弥合与多模态动态图融合的情感分析方法，方法包括：获取不同模态的情感数据，所述不同模态包括视频模态、音频模态和文本模态；基于模态间异质性弥合与多模态动态图融合，构建情感分析模型；根据所述情感分析模型，对待分析数据进行情感分析，得到情感分析结果，本发明的准确性高，可广泛应用于计算机技术领域。

摘要： 本发明属于自然语言处理领域。技术方案是：一种基于多任务学习与层叠跨模态融合的多模态情感分析方法，其具体执行步骤如下：步骤1：将原始视频拆剪为视频片段，提取可被模型识别的文本、音频与视觉特征；步骤2：将步骤1)提取的文本、音频和视觉特征首先输入至单模态特征提取模块，得到具有上下文语义信息的单模态隐藏层特征，再将这些单模态隐藏层特征输入至层叠跨模态特征融合模块，进行特征融合与提取，得到多模态高层特征；步骤3：将步骤2所得的多模态高层特征与单模态高层特征进行拼接，通过多层感知机，输出最终的情感分类结果。该方法能在保留模态异质性的前提下，连贯融合不同模态的特征，有效识别复杂场景下的多模态情感。

摘要： 本发明提出了基于跨模态注意与分层融合的多模态情感分析方法及系统，提取待分析视频中的文本特征、视觉特征和声学特征；将文本特征与声学特征、文本特征与视觉特征交叉注意，获得声学模态表征和视觉模态表征；门控循环分层融合网络对声学模态表征、视觉模态表征和文本特征两两交互提取信息，得到一维向量，用于情感分析预测；本发明基于分布匹配思想，使模态在时间交互阶段获得对整体情感取向具有协同作用的表征信息，对三个特征对组合进行模态间交互信息提取，并通过门控机制剔除冗余信息，以实现有效的多模态表征融合。

摘要： 本申请提供了一种多模态腔内成像系统及多模态数据融合方法。多模态腔内成像系统包括：第一扫频光源、第二扫频光源、第一光纤耦合器、时分复用器和成像导管；所述第一扫频光源与所述第一光纤耦合器相连接；所述第一光纤耦合器的样品臂通过所述时分复用器与成像导管光信号连接；所述第二扫频光源通过所述时分复用器与所述成像导管光信号连接；其中，所述第一扫频光源和所述第二扫频光源可发出不同中心波长的光；所述成像导管可根据所述第一扫频光源和所述第二扫频光源发出的光对腔内组织进行探测成像。基于本申请提供的多模态腔内成像系统及多模态数据融合方法，可以对病患血管内脂质斑块的脂质程度进行准确地评估。

摘要： 本发明涉及跨模态检索领域，具体是基于模态内及模态间混合融合的图像菜谱检索方法，包括如下步骤：步骤1.准备图像数据和菜谱数据；步骤2.构建整体网络；步骤3.对步骤2的整体网络进行训练，并设置损失函数；步骤4.利用训练好的整体网络对食物和菜谱进行跨模态检索；解决了跨模态检索效果差的问题。

摘要： 本发明提供一种考虑模态间语义距离度量的多模态融合分类优化方法。针对模态信息融合中构建统一语义下的特征子空间存在的融合效果不稳定、改善作用比较有限的问题，本发明基于改进的CBAM注意力机制进行自适应特征细化，采用横向结构，聚合空间及通道维度上的有效信息，进行局部语义特征加强；在此基础上，构建基于模态间语义距离的语义逼进模型，引入对模态间语义一致性判断的显式度量，减小相同语义特征对之间的分布距离，同时扩大不同语义特征对之间的分布距离；最终结合考虑模型分类性能目标与模型语义逼近目标，进行多模态信息下的线性融合，从而使模型更好地搜寻到公共特征子空间，提高多模态融合模型诊断的效能。

摘要： 本发明公开了一种基于模态动态特征融合和跨模态关系提取的信息检测方法，包含：多模态特征提取器提取文本特征rt、图像特征rv和用户特征ru；跨模态关系提取器依据各模态之间的关联对文本特征rt、图像特征rv和用户特征ru进行更新从而得到增强文本特征ut、增强图像特征uv和增强用户特征uu；多模态特征融合器接收文本特征rt、图像特征rv、用户特征ru、增强文本特征ut、增强图像特征uv和增强用户特征uu并通过动态路由机制动态的调配得到多模态融合特征aN；分类器接收多模态融合特征aN并输出预测结果。本发明的基于模态动态特征融合和跨模态关系提取的信息检测方法，通过构建跨模态关系和动态特征融合，实现了精度更高的谣言检测。

摘要： 本发明提供一种考虑模态间语义距离度量的多模态融合分类优化方法。针对模态信息融合中构建统一语义下的特征子空间存在的融合效果不稳定、改善作用比较有限的问题，本发明基于改进的CBAM注意力机制进行自适应特征细化，采用横向结构，聚合空间及通道维度上的有效信息，进行局部语义特征加强；在此基础上，构建基于模态间语义距离的语义逼进模型，引入对模态间语义一致性判断的显式度量，减小相同语义特征对之间的分布距离，同时扩大不同语义特征对之间的分布距离；最终结合考虑模型分类性能目标与模型语义逼近目标，进行多模态信息下的线性融合，从而使模型更好地搜寻到公共特征子空间，提高多模态融合模型诊断的效能。