多模态话语分析

摘要： 多媒体技术的迅速发展改变了人们交际的方式,多模态语篇如广告、网页、电影等在人们生活中扮演着重要作用。电影作为一个典型的多模态动态语篇,其中各种模态如图像、音乐、台词文本等相互交融,共同构建意义来塑造电影人物形象及揭示电影主题。该文尝试结合视觉语法理论和多模态隐喻理论对电影《鸟人》进行全面的多模态话语分析,力求推动多模态话语理论的实践应用以及提升读者对电影艺术的欣赏水平。

摘要： 由Jan Renkema和Christoph Schubert两位教授合作撰写的2018年版《语篇研究导论》对2009年版做了系统修订。该书涉及多模态话语分析、关联理论、认知文体学、语料库文体学、性别身份构建等语篇研究的前沿课题。全书各章按概念阐释、举例论证、提炼总结的顺序展开,理论扎实、例证丰富、跨学科性强,对学习者具有理论指导和研究示范意义。

摘要： 随着印刷企业技术的发展,现代英语教材已经发生了翻天覆地的变化,从黑白教材到彩色教材再到配有视频和音频的教材。教材在不断变化,教师要深入了解和研究教材,只有这样才能更好地利用教材。该文以Kress和van Leeuwen的视觉语法为理论基础,对外研社版小学英语三年级上册第一单元进行多模态话语分析。通过研究发现,该教材的图像和文字能够较好地相互配合构建语篇意义,同时对教材的不足提出改进措施。

摘要： 本文运用ELAN软件对《忘不了餐厅》第一季5位患有初期阿尔兹海默症的老人的口语情况进行多模态话语分析,并建立语料库,发现患病老人在发生回忆困难时,口语会出现冗余性重复、填塞语、话语缺损和口误这四类非流利现象,且经常伴有相关手势、动作和表情。口语的非流利现象有时具有修复作用,积极的情绪对老人克服回忆障碍有所帮助。

摘要： 近年来,多媒体行业在现代科技快速发展的带动下呈现如火如荼,日新月异的景象,而语篇模式也开始不仅仅局限于书面语言文字,而是呈现出多种模态共现发展的趋势,因而多模态话语分析逐渐在话语分析中占据举足轻重的地位。采用定性分析法,基于Kress和Leeuwen的视觉语法,以电影《我和我的家乡》的系列海报为例,分析海报中的多模态符号意义,验证视觉语法在电影海报解读中的实践性和可操作性,探索多模态符号在海报宣传中的运作模式,对多模态语篇的解读及对海报设计方面提供了参考和建议。

摘要： 基于图像分析法,以克莱尔·佩因特的图像叙事框架为模板,探究以中国传统艺术表现手法为主的原创绘本所运用的图像叙事语言,总结其特有的图像叙事结构及与国外绘本的视觉语法运用差异。从绘本的图像叙事内部结构入手,着重分析绘本的图像视觉元素,包括单幅和连续性意义表达的成组画面,由画面人物关系与读者情感互动、事件发展进程、画面与文字版面构成三个方面分析原创绘本的图像叙事。

摘要： 本文以张德禄教授提出的多模态话语分析综合理论框架为理论基础,从文化、语境、内容和表达四个层面分别对电影《穿普拉达的女王》的字幕翻译进行研究,探寻译者是如何综合考虑各模态之间的关系来翻译该影片的。研究发现,字幕翻译与电影画面、背景声音等有互补作用,它们共同构成了电影语篇的中心意义。

摘要： 影视作品随文化全球化而蓬勃发展,其中,纪录片凭借其创作素材的真实性,在文化传播的过程中发挥着不可替代的作用。美食--因受众面广、接受度高,成为纪录片的热门选题之一。新疆维吾尔自治区(通常称为新疆)位于中国西北部,占国土面积的1/6,与8个国家相邻,生活着汉族、维吾尔族、回族、哈萨克族等多达55个民族,自西汉以来已有数千年的历史。因其特殊的地理位置、广阔的地域、悠久的历史和多民族的文化特征,拥有丰富而独特的饮食文化,是跨文化交际中的重要纽带。

摘要： Halliday创立的系统功能语言学是多模态话语分析的主要理论框架,基于其系统功能语言学的三大纯理功能理论,Kress&Van Leeuwen进一步扩展从而建立了视觉图像语法。电影《红高粱》是首部获得柏林电影奖的亚洲电影,作为一个里程碑式的存在,是中国电影史上的高峰。通过电影《红高粱》,分析再现意义、互动意义和构图意义是如何共同构建电影的整体意义,并分析其跨文化传播的成功因素,从而使更多优秀的中国电影传播出去,进一步达到跨文化传播的目的。

摘要： 文章运用Kress&Leeuwen所提出来的多模态话语分析为基础,以表情包图像为例,从整体形象、图像色彩、语言文字、版面设计对计算机媒介交流中的图像交流进行多方面的多模态解析,探究数字背景下计算机媒介交流中的意义构建和话语特点,为新媒体时代背景下的话语分析提供新的视角。

摘要： 随着现代多媒体技术的广泛应用,以系统功能语言学为主要理论基础的多模态话语分析为纺织专业英语的课堂教学提供了新的视角.本文立足于多模态话语分析理论,探讨纺织专业英语的教学改革,通过语言、图像、声音、动画等语言和非语言符号资源的协作与互补,改变传统的讲述翻译型单模态教学模式,以提高纺织专业英语的教学质量,激发学生学习的积极性和创造性.

摘要： 多模态话语分析是分析文本和信息交流中所有的符号模态,用于统筹这些符号模态所呈现的再现,互动和构图意义.国内外学者都倾向于在静态文本中探索多模态话语分析,从而忽略了动态文本.电影语篇是一个多模动态的文本.以Kress&Van Leeuwen的视觉语法为理论框架,通过从电影《冰雪奇缘》中攫取部分具有代表性的图像,来讨论再现意义在所选电影语篇中的体现.通过对电影语篇《冰雪奇缘》的研究,验证了通过视觉语法该理论框架,开辟了多模态话语分析在电影领域中的应用,并且对电影进行视觉剖析,也帮助观众更好地捕捉语篇信息.

摘要： 本研究采用个案分析的方法,对一位优秀汉语教师的语法教学录像进行了多模态话语分析,主要分析了PPT课件在真实课堂环境下调用模态的情况及其在建构课堂话语意义方面的作用.结果表明,PPT课件中的文字、图片等视觉模态使用次数最多,是PPT课件的主模态,PPT课件使用的多模态主要起到情感支架、认知支架和能力迁移支架的作用,促进课堂话语意义的建构.

摘要： 多模态话语分析理论的提出和数字化技术的成熟发展为多模态教学资源库的建立提供了理论基础和技术平台.本文试着从语音、词汇、句法、非言语交际、构图等多个角度提炼标注指标，对多模态文本进行全方位、多层次的剖析，探索电子学习时代下多模态教学资源库的建设及其在汉语教学中的应用。具体操作过程中发现资源库的建设还存在一些问题,集中表现为多模态语法不完善而导致的文本分析具有较强主观性.

摘要： 本发明公开了一种基于多模态情绪识别系统的多轮对话语义理解子系统，它包括数据采集设备、输出设备，其特征在于：它还包括情绪分析软件系统，所述情绪分析软件系统通过对所述数据采集设备得到的数据进行综合分析推理，最终把结果输出至所述输出设备上；所述情绪分析软件系统包括基于多轮对话语义理解子系统。本发明突破性的打通了五大单模态的情绪识别，创新性的利用深度神经网络将多个单模态的信息由神经网络编码、深度的关联和理解后进行综合判断，大幅度的提高了准确率，适用于绝大多数一般问询互动类应用场景。

摘要： 本公开涉及一种通过句法‑语义对准和话语分析进行的基于多案例的推理。本文讨论的系统、设备和方法提供被配置为从与先前已知案例关联的标记(例如疾病、病症和/或病状)生成对输入症状诊断的改进自主代理应用。可生成标识对应先前已知案例各种片段粒度(例如文档、段落、句子、短语、单词等)的多个话语树和这些话语树间的修辞关联的扩展话语树。(例如经由自主代理)可提供新症状作为输入。可解析输入以标识输入的各种片段以及片段之间的修辞关联。可通过匹配扩展话语树的节点将这些片段与先前已知案例的片段匹配。如果输入片段间的修辞关联与先前已知案例的扩展话语树中指示的修辞关联匹配，可用与先前已知案例相同的标记对输入进行分类。

摘要： 本公开涉及通过神经机器阅读理解依赖于话语分析来回答复杂问题。具体公开了：自主代理接收包括复杂问题的用户查询。代理可以从非结构化文本的语料库获得答案候选文本，答案候选文本对应于用户查询且包括随后从中识别出答案的文本。代理可生成对应于用户查询的第一语言数据以及对应于答案候选文本的第二语言数据。语言数据的每个实例可包括从用户查询和/或答案候选文本生成的相应的句法数据、语义数据和话语数据的组合。语言数据的两个实例可被提供给机器学习模型，先前已训练机器学习模型以输出从非结构化文本的实例(例如，答案候选文本)中所识别的答案。模型可输出从答案候选文本中所识别的答案，答案进而可响应于用户查询来提供。

摘要： 本发明公开了一种基于多模态情绪识别系统的多轮对话语义理解子系统，它包括数据采集设备、输出设备，其特征在于：它还包括情绪分析软件系统，所述情绪分析软件系统通过对所述数据采集设备得到的数据进行综合分析推理，最终把结果输出至所述输出设备上；所述情绪分析软件系统包括基于多轮对话语义理解子系统。本发明突破性的打通了五大单模态的情绪识别，创新性的利用深度神经网络将多个单模态的信息由神经网络编码、深度的关联和理解后进行综合判断，大幅度的提高了准确率，适用于绝大多数一般问询互动类应用场景。

摘要： 本发明公开了基于模态异质性弥合与多模态动态图融合的情感分析方法，方法包括：获取不同模态的情感数据，所述不同模态包括视频模态、音频模态和文本模态；基于模态间异质性弥合与多模态动态图融合，构建情感分析模型；根据所述情感分析模型，对待分析数据进行情感分析，得到情感分析结果，本发明的准确性高，可广泛应用于计算机技术领域。

摘要： 本发明属于自然语言处理领域。技术方案是：一种基于多任务学习与层叠跨模态融合的多模态情感分析方法，其具体执行步骤如下：步骤1：将原始视频拆剪为视频片段，提取可被模型识别的文本、音频与视觉特征；步骤2：将步骤1)提取的文本、音频和视觉特征首先输入至单模态特征提取模块，得到具有上下文语义信息的单模态隐藏层特征，再将这些单模态隐藏层特征输入至层叠跨模态特征融合模块，进行特征融合与提取，得到多模态高层特征；步骤3：将步骤2所得的多模态高层特征与单模态高层特征进行拼接，通过多层感知机，输出最终的情感分类结果。该方法能在保留模态异质性的前提下，连贯融合不同模态的特征，有效识别复杂场景下的多模态情感。

摘要： 本申请涉及一种最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质。所述方法包括：利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；根据多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；根据重构误差对多模态原始数据进行分析重构。采用本方法能够提高模态数据融合效率。

摘要： 本发明提出了基于跨模态注意与分层融合的多模态情感分析方法及系统，提取待分析视频中的文本特征、视觉特征和声学特征；将文本特征与声学特征、文本特征与视觉特征交叉注意，获得声学模态表征和视觉模态表征；门控循环分层融合网络对声学模态表征、视觉模态表征和文本特征两两交互提取信息，得到一维向量，用于情感分析预测；本发明基于分布匹配思想，使模态在时间交互阶段获得对整体情感取向具有协同作用的表征信息，对三个特征对组合进行模态间交互信息提取，并通过门控机制剔除冗余信息，以实现有效的多模态表征融合。

摘要： 本发明公开了一种斜拉桥模态跃迁试验测试装置及模态跃迁分析方法，涉及桥梁动力分析及测试技术领域。包括底座，底座上竖直设置有桥塔，桥塔上设置有主梁，主梁上滑动设置有若干滑块，桥塔的顶端连接有若干拉索，拉索的上端与桥塔的顶端可拆卸连接，拉索的下端穿过滑块可拆卸连接有配重块；还包括用于测量主梁、桥塔和拉索动位移的激光位移计，激光位移计连接有动态数据采集系统。通过在拉索的活动端设置配重块将所有需要装配的拉索的内力达到要求后，对拉索与主梁连接位置进行标记，再将所有拉索与主梁连接，保证拉索的内力与设计值一致的同时省去了繁琐的调索过程。方便对斜拉桥模态跃迁现象的研究。

摘要： 本发明提出了一种基于模态表示空间和叠加自注意力的多模态情感分析方法，用以解决现有方法在处理多模态数据时所面临的语义鸿沟等技术性问题；其步骤为：首先，从原始视频数据中分别提取文本、语音和图像三个模态的特征向量；并利用模态表示空间分割方法分别将三个模态的特征向量映射到情感表示空间和噪声表示空间，获取模态情感表示和模态噪声表示；其次，将获取到的模态情感表示传入叠加自注意力机制中，挖掘模态情感表示之间的关联信息并进行拼接；最后，在联合损失约束下将拼接后的模态情感表示传入情感预测分类层进行分类预测，输出最优情感预测值。本发明能够在进行多模态情感分析时跨越语义鸿沟，得到更加可靠的情感预测结果。