多模态

摘要： 文化术语是体现中华思想文化的重要载体,但因其历史性、抽象性及语境性等特点成为翻译的难点。数字媒介的发展为文化术语的传播提供了多元渠道,但模态的复杂性也为文化术语翻译带来了新的挑战。文章基于多模态翻译理论,聚焦数字媒介传播中的文化术语英译策略,通过收集整理权威数字媒介中的文化术语译文,归纳总结多模态语境下的文化术语英译策略,旨在为数字媒体时代的中华思想文化的英译及其传播提供新的思考方向。

摘要： 多模态输入方式能有效将写作教学从语言应用层面,提升到创造能力引导开发层面,从本质上提高学生二语写作的思维活跃性.文章通过定性、定量研究分析输入模态对大学生二语写作内容创造的影响.研究在使用测量指标的情况下,对比分析"文本+视频"、视频、文本等三类输入模态下大学生写作内容中的创造力,发现多模态输入下的作文内容创造力在流利性、新颖性、灵活性及丰富性等方面均优于单模态输入下的作文内容创造力.

摘要： 深度学习评价是多领域交叉形成的一个新方向,通过采集并构建深度学习数据库创设深度学习评价分析模型以达到优化教育评价的目的.根据目前的研究基础和研究问题,深度学习数据库根据"脑—行为—认知—环境—技术"五种模态进行数据的采集、标注与分析;学习绩效预测利用运动预测指标与课堂预测指标,为分析和量化运动、课堂行为与学习绩效之间的关系提供有力的评价支撑;深度学习评价分析基于"四个基本要素""四个基本原则"这一前提,保证其遵循教育规律、教育现实与教育发展.未来基于多模态数据的深度学习评价可从数据采集自动化、整合预测模型、深化教育应用、统一机理、增强决策智慧化等方面实施和改进.

摘要： 近年来,随着获取信息手段的增多,对高维度数据的聚类变得越来越难.利用深度学习与聚类分析相结合的方式,通过对深度聚类算法的深入调查与研究,提出了基于自编码器的多模态嵌入式聚类模型,该模型分别将自编码器、卷积自编码器、卷积变分自编码器模型提取的特征进行自适应特征融合,再将融合后的特征输入深度聚类层得到聚类结果.多模态数据有助于提取更全面的数据信息,自适应特征融合能够很好地计算每个模态提取特征对融合特征的贡献度,从而提高无监督聚类算法的稳定性.提出的模型在4种公开数据集上进行了实验,验证了该模型的有效性,聚类结果优于现有流行的算法.

摘要： 随着互联网推动数字化的普及以及计算能力的进一步提高,传统的大学英语教学模式已经不能适应人工智能时代教学的需求。单一或者较少模态逐渐被多模态这种新兴的教学模式所取代。多模态话语的研究是语言研究的新热点,也是英语课堂教学改革关注的重点问题。文章在分析大学英语教学文化、语境、内容(意义+形式)、表达等多模态实际应用困境的基础上,提出了人工智能时代大学英语课堂多模态话语教学革新路径。包括熟悉多模态融合教学平台工具,培养跨文化交际能力;借助现代信息技术,开发多模态语境授课方式;内容层面坚持多模态教学意义和形式统一协同;有效使用语言与非语言,优化多模态媒体层面学习感受。

摘要： 把英语学科核心素养与多模态大学英语教与学合二为一来研究,并探讨共同实现的途径。以核心素养为线,以多模态的形式与媒体表达为点与面,有机串联起各要素与教学环节,强化学生在多元外语学习环境下灵活把握语言知识技能的同时,实现学生综合素质能力的全面提高。研究表明:在核心素养语境下,以语言知识的学习为基础,在教学过程中引入多元学习方法,对学生在具备良好的语言能力及自主学习的能力的同时,掌握科学的思维方法,辩证性地认识并批判性地吸收中外优秀文化之精髓,在正确的世界观、人生观等方面都起到了积极影响的作用。

摘要： 跨文化交际能力体现外语学习者的综合语言运用能力,是外语教学中不可或缺的组成部分。介绍跨文化交际教学和跨文化交际多模态教学模型的建构。以ESA模式为指导,基于多模态教学理念,从跨文化交际的教学任务出发,以Communication manners主题教学为例,采用Engage(投入)、Activate(运用)、Study(学习)、Activate(再运用)模式,以促进语言学习者语言知识和跨文化知识记忆、跨文化学习意识培养和跨文化能力发展为目标,探索跨文化交际多模态教学设计,为多模态教学理念在英语教学中的运用提供参考。

摘要： 准确评估驾驶人脑力负荷状态对降低因驾驶人脑力负荷过载导致的交通事故具有重要意义.基于典型驾驶场景,结合N-back认知负荷次任务,设计不同难度的驾驶任务实验,研究驾驶人脑力负荷.实验收集驾驶人在任务完成过程中的多种模态生理信号(脑电、心电和皮电信号)及美国航空航天局任务负荷指数量表主观脑力负荷数据,提出基于多模态生理信号特征分析和模式识别的驾驶人脑力负荷分类模型,并比较不同模态生理信号及其组合在3种典型机器学习算法(随机森林、决策树和k最近邻模型)中的脑力负荷分类识别效果.研究表明,基于不同模态生理信号组合的脑力负荷分类模型具有不同的分类准确率.单一模态生理信号的分类模型中,基于皮电、心电和脑电信号的分类模型准确率依次增加;基于多模态生理信号的分类模型准确率普遍优于单一模态分类模型;基于脑电、心电及皮电3模态生理信号的随机森林分类模型具有最高的分类准确率.

摘要： 在双模态维度情感识别中,存在由于信息不全面而导致预测性能不高的缺陷,且使用决策级融合方法进行融合大多依赖支持向量回归算法,但该算法无法有效处理大样本情况。为了解决以上问题,在语音和文本模态的基础上增加动作捕捉(motion capture,Mocap)数据,并针对该多模态数据提出一种基于随机梯度下降(stochastic gradient descent,SGD)的决策级融合维度情感识别方法。结合多任务学习机制,利用不同的深度学习模型分别对语音、文本和Mocap特征进行训练,并基于决策级融合方法实现多模态维度情感识别。在IEMOCAP数据集上的实验结果表明,Mocap数据更有助于提高效价维的值,结合更多情感数据有助于提升维度情感识别的预测性能,基于SGD进行决策级融合得到的一致性相关系数均值高于其他回归算法。

摘要： 随着社会发展,社会对音乐人才有了不同层次的需求。多模态教学利用多媒体和信息技术丰富学生模态感知,为高等院校音乐教育提供了新的方向。本文针对高校音乐教育的特点,提出一种新型的多层次模态教学模式,包括强交互模态教学、弱交互模态教学、社交模态教学。通过不同层次教学模态的分析,探讨如何构建高等院校音乐教育的多层次教学体系,从而培养出具有多元能力水平的应用型人才。

摘要： 针对泵控电液伺服系统位置控制的快速性、稳定性和精确性存在矛盾的问题，本文提出了一种多模态可拓控制电液伺服系统，将可拓方法应用于系统设计中，多模态可拓控制切换器根据提取的系统特征信息，建立特征状态的关联函数，根据关联度划分测度模式将系统运动分为三段，分别由Bang—Bang控制器、模糊控制器和PID控制器进行分段控制。仿真结果显示系统具有较快的响应速度和抗参数变化的鲁棒性，并能实现高精度控制。

摘要： 基于二语习得对可理解性输入的要求,借助多模态化值日报告集文字、图片和音响等多种模态于一体的特性,将其引入大学英语课堂,把学习者置身于多模态语境,以期激发交际意识和语用潜能.从学习者话语量、学习者的话语意义建构、评价与反馈四方面分析学习者话语效度.研究表明,一方面,多模态化的值日报告有利于可理解性信息的强化输入,为学习者的知识内化和话语的有效输出创造了条件;另一方面,多模态值日报告以其个性化、协作化和超文本化体现了以学生为中心的人本主义教学理念,有助于提高学习者话语效度,值得在大学英语教学中推广.

摘要： 利用RFID技术设计一种多模态生物特征识别系统,即“士兵牌”。其具有便于携带、安全可靠、快速准确、价格低廉等特点。适用于士兵身份识别、定位搜救。该系统将填补我军类似“军人牌”或“士兵牌”在相关领域信患化的研究空白。

摘要： 探讨了基于高层数据融合“软判决”的多模态目标机动模型.本文第一次提出了依据战术机动特点建立了一个多模态目标机动模型库的思想,并充分利用高层数据融合的“软判决”结论等模糊信息作为战术机动的先验知识,通过设计一个模糊控制器对在线机动目标运动模型进行地实时地调整.通过了仿真试验,结果表明该方法的跟踪均值误差和均方差明显小于其它的机动目标运动模型,而且在目标进行战术机动的初始阶段,跟踪的滞后误差基本被消除,特别地,该方法对具有一定战术意图的机动目标有很好的跟踪性能,在战场机动目标跟踪上具有很强的针对性和实用性,仿真的结果令人鼓舞.

摘要： 由于线性鉴别分析(LDA)可以从高维特征空间中选择强鉴别属性的低维子空间，所以这种技术已经应用到很多的科学工程领域中。本文针对LDA的多模态问题，提出一种改进型LDA算法(ILDA)。此算法借鉴规则化的思想，重新定义类内散度矩阵和类间散度矩阵。同时针对实际问题，通过判断矩阵迹大小来优化求解LDA投影矩阵。实验结果表明，ILDA算法不仅保留LDA选择鉴别子空间的性能，而且ILDA算法还可以很好地解决某些多模态问题。

摘要： 视频和音频两个模态的信息在交际过程 中起着至关重要的作用，本研究关注的问题是 情感表达中不同文化背景的发音人和听者对情 感的表达（编码）、感知（解码）与这两个模 态（面部表情和情感声音）的关系，以及文化 背景对情感表达和感知的影响。分析了40位中 国听辨人(其中20位为日语学习者)以及40位日本听辨人（其中20位为汉语学习者）， 对2位中国发音人和2位日本发音人的7 情感 表达在三种模态（即只有面部表情、只有情感 声音和面部表情与声音同时存）情况下的情感 感知模式，比较了不同模态下情感感知模式的 异同，通过感知模式相似度的考察，发现语言 文化背景在不同模态下对情感感知的影响不 同，对声音模态的影响大于面部表情的影响。

摘要： 拉索由于质量轻、柔性大、阻尼小，在风荷载作用下或端部支座有移动的情况下，容易产生横向振动.如果拉索很长，想要通过安放在拉索锚座附近的被动、半主动控制装置来抑制这种振动是非常困难的.而在拉索的锚座处沿拉索轴向实施主动控制却是一种很好的方法.本文融合线性二次型最优控制(LQR)策略和传统的Bang-Bang单模态控制策略，提出了适用于柔性张紧拉索振动主动多模态控制的D-V-I Bang-Bang控制简化模型.仿真分析表明，轴向主动D-V-I Bang-Bang控制能够有效地抑制拉索的振动.

摘要： 近年来由于人们对自然和谐、友好智能的人机交互的向往,"情感计算"开始作为一个独立的课题受到研究者的普遍重视.本文针对"情感计算"领域中如何细致准确地获取真实的情感信息,设计实现了一个实验平台.实时准确地捕捉获取人们的多模态的情感信息(动作表情、情感语音,生理指标、情感评测数据),为下一步建立情感数据库提供了一个优越的平台.

摘要： 本文在悬挑屋盖脉动风模态位移自谱、互谱(包括实部和虚部)研究的基础上,指出模态位移互谱虚部对风激动力总响应不起作用,可只考虑模态位移互谱实部的影响,在此基础上重点研究了越南国家体育场屋盖前十阶脉动风模态位移自谱响应、自谱背景和共振风响应,同时分析了多个模态、特别是模态位移交叉项对风激动位移响应的影响,获得了下风向和上风向悬挑屋盖风激动位移响应的规律,对体育场悬挑屋盖的风激振动机理有了更深的认识,为频域内进一步研究和提出抗风实用分析方法提供了有价值的参考.

摘要： 本文分析了一个基于多模态元数据提取,具有开放架构并且支持无线移动存取的数字视频全内容管理系统——iView.讨论了iView系统的需求,体系框架设计实现,描述了其中涉及的关键技术思想,并对存在的问题和研究方向做了简单探讨.

摘要： 本发明涉及一种模态试验悬挂装置及模态试验系统，属于模态试验参数测量技术领域，解决了现有技术中模态试验边界条件模拟中空气弹簧操作复杂且应用范围小的问题。一种模态试验悬挂装置，包括：悬挂组件；所述悬挂组件包括多个钢弹簧，所述钢弹簧的技术参数根据所述试验件的重量及基频来确定；所述钢弹簧包括并联设置的多个，以及由多个所述钢弹簧并联连接的至少一组；还包括吊车横梁，所述吊车横梁上连接有多条吊链，每个所述钢弹簧及每组所述钢弹簧分别通过吊钩将所述试验件悬吊在所述吊链上。本发明通过设置的悬挂组件以及将试验件悬挂在悬挂组件上，能够方便较大体积、重量及基频低试验件的模态试验的高精度参数测量。

摘要： 本发明涉及一种模态试验悬挂方法以及模态试验方法，属于模态试验参数测量技术领域，解决了现有技术中模态试验边界条件模拟中空气弹簧操作复杂且应用范围小的问题。一种模态试验悬挂方法，包括如下步骤：设计悬挂组件所包含的钢弹簧的技术参数，所述技术参数包括钢弹簧的钢丝线径、弹簧外径、旋向、拉伸长度以及承载力；根据确定的所述技术参数采用悬挂组件对所述试验件进行悬挂以使所述试验件处于自由‑自由的边界条件。本发明根据试验件的重量及基频来确定钢弹簧的技术参数，能够使试验系统的刚体频率达到试验件的最低频率，从而提高模态的测试质量。

摘要： 本发明涉及一种多模态过程中模态辨识方法和过渡模态故障检测方法，辨识方法包括：基于慢特征分析法得到待辨识多模态过程数据集的最慢特征；从最慢特征中确定每个稳定模态的确定时间范围及其对应的数据，并采用KDE法，确定该稳定模态的数据阈值以进行稳定模态辨识。检测方法包括：基于慢特征分析法，得到待检测过渡模态数据集对应的慢特征及投影矩阵；基于过渡模态得到对应的多个子伪标准数据集并分别投影到所述投影矩阵，基于得到的多个慢特征计算每个采样时刻所有检验统计值，采用KDE法计算该采样时刻的数据阈值以进行故障判定。本发明基于慢特征分析，从整个轨迹的角度，考虑系统内部时变的动力学特征，有效提高稳定模态和过渡模态的辨识精度。

摘要： 一种模态试验中扭转模态和弯曲模态的识别方法，其技术要点是，包括以下步骤：1）在需要测试的汽车TB左右两侧的车身框架结构刚度较高的位置上对称设置若干个轮廓点；2）在车体右侧与防火墙结合处的前纵梁下端刚度较大的位置通过多点激励多点响应法施加激励，得到频率和加速度Z向幅值曲线，模态振型结果；3）处理上述曲线将左右两侧加速度幅值平均曲线相加或相减后取平均值，分别得到合成加速度均值曲线和差值加速度均值曲线；4）结合模态振型结果，当合成加速度均值曲线和差值加速度均值曲线同时出现峰值时，识别出相应的模态。解决了现有TB模态试验中扭转和弯曲模态在众多模态振型中难以准确识别的问题。提高了模态判定的效率和准确度。

摘要： 本发明公开了一种基于模态动态特征融合和跨模态关系提取的信息检测方法，包含：多模态特征提取器提取文本特征rt、图像特征rv和用户特征ru；跨模态关系提取器依据各模态之间的关联对文本特征rt、图像特征rv和用户特征ru进行更新从而得到增强文本特征ut、增强图像特征uv和增强用户特征uu；多模态特征融合器接收文本特征rt、图像特征rv、用户特征ru、增强文本特征ut、增强图像特征uv和增强用户特征uu并通过动态路由机制动态的调配得到多模态融合特征aN；分类器接收多模态融合特征aN并输出预测结果。本发明的基于模态动态特征融合和跨模态关系提取的信息检测方法，通过构建跨模态关系和动态特征融合，实现了精度更高的谣言检测。

摘要： 本发明公开了基于模态异质性弥合与多模态动态图融合的情感分析方法，方法包括：获取不同模态的情感数据，所述不同模态包括视频模态、音频模态和文本模态；基于模态间异质性弥合与多模态动态图融合，构建情感分析模型；根据所述情感分析模型，对待分析数据进行情感分析，得到情感分析结果，本发明的准确性高，可广泛应用于计算机技术领域。

摘要： 本发明提供一种基于跨模态记忆对比指称表达理解的多模态目标检测方法，其采用具有较强表达力的Transformer网络去融合视觉与语言特征，利用多模态特征编码来捕获长范围的句子以及图像中目标信息。同时，建立整个数据集中目标关系记忆存储机制，通过建模多模态记忆增强与更新过程，利用整个数据集中图像间目标相关的记忆特征去增强当前数据集的多模态特征，从而实现本发明提出的跨模态记忆对比的Transformer指称表达理解。基于跨模态记忆对比的Transformer指称表达理解所提取的特征在拉大与其他干扰特征的距离的同时，有效地拉近了当前图像与句子的目标特征与整个数据集的同类别目标特征之间的距离，提升特征的判别性与鲁棒性，进而提高指示表达理解的目标检测精度。

摘要： 本公开涉及多模态数据发送方法，包括：获取至少一份数据，其中，所述至少一份数据中的每份数据属于不同的模态；确定获取所述每份数据分别对应的获取时间信息；向集中处理单元发送所述至少一份数据和至少一个所述获取时间信息。根据本公开的，不仅可以将多模态数据发送至集中处理单元，还可以将每份数据的获取时间信息，发送至集中处理单元，以便集中处理单元能过根据获取时间信息确定在相同时刻或相同时间段获取到的每种模态的数据，从而将相同时刻或相同时间段获取到的每种模态的数据作为同一次处理过程的输入进行处理，进而得到准确的处理结果。

摘要： 一种多模态数据发送方法,包括:获取至少一份数据,其中,至少一份数据中的每份数据属于不同的模态；确定每份数据所属的模态对应的标识；向集中处理设备发送至少一份数据和至少一个标识。可以确定每份数据所属的模态对应的标识,进而不仅可以向集中处理设备发送至少一份数据,还可以将每份数据所属的模态对应的标识发送至集中处理设备,以便集中处理设备能够根据标识确定每份数据所属的模态,从而按照模态对应的处理方式对数据进行准确地处理,进而得到准确的处理结果。

摘要： 本发明公开了一种基于知识图谱和跨模态注意力的多模态反讽检测方法。本发明根据Bert模型构建跨模态注意力特征向量，以及运用多模态知识图谱来获取外部信息，并对外部信息进行筛选。跨模态注意力构建的是音频信息与文本句信息以及情感值向量三者的关系，通过音频信息向量与情感值向量之间的联系与影响来计算注意力，以此来关注句中的矛盾表达。而外部知识信息的筛选，则是运用文本抽取的信息与知识图谱检索的外部信息相似度进行。最后将获取的各个类型的特征向量，输入到分类层进行分类。本发明能够很好解决了不同模态信息的融合问题，能够关注句内的矛盾也能提取不同模态的不一致性特征，能够提高反讽检测任务的准确性。