多模态语篇

摘要： 在英语阅读课四个基本环节中,选用多模态语篇的原则分别为:经济性、趣味性、关联性及实用性。读前环节,以经济性为原则,选用多模态语篇帮助学生快速进入阅读主题;读中环节,以趣味性为原则,选用多模态语篇帮助学生提高阅读效率;读后环节,以关联性为原则,选用多模态语篇帮助学生建构结构化知识;作业环节,以实用性为原则,布置多模态形式的作业帮助学生发展学习能力及创新能力。

摘要： 电影海报是集图像、文字、字体、色彩于一体的多模态语篇。将克瑞斯和勒文的视觉语法作为理论框架,从再现意义、互动意义和构图意义,对《芳华》电影海报进行多模态话语分析,解读该海报语篇意义的构建,揭示多模态语篇中多种符号之间的互补关系,以及图像与文字相互作用构成多模态语篇意义的方法。分析和解读电影海报多模态意义能帮助读者理解电影的内涵,提高读者对多模态语篇的认知能力,为人们提供欣赏电影海报的新视角。

摘要： 自2016年9月《中国学生发展核心素养》总体框架正式发布以来,发展学生英语学科核心素养已成为深化基础教育英语课程改革的重大举措之一,而提升学生的阅读素养有助于培养学生的英语学科核心素养。阅读素养因其在学生语言发展以及“全人发展”中的重要性而受到英语教学研究者和实践者的一致关注。近些年,广大一线英语教师积极探索,大胆尝试,主题引领阅读、蓝思分级阅读、文学圈模式阅读、拓展性文本阅读、师生共读式阅读等一大批阅读教学研究成果应运而生,对学生阅读素养的提升起到了极大的推动作用。

摘要： 以句子为中心的传统语法教学脱离语境,忽视语法本身的表意功能,具有一定的缺陷。语法教学应该扩大到语篇层面,以主题为引领,依托语篇,围绕“形式—意义—使用”采用和设计不同类型的实践活动,使学生在三维动态中获取、梳理、整合语言知识,创造性地使用目标语法表达意义、传递思想。以“一般过去时”教学为例,探索基于生活主题、创建多模态语篇“任务群”的三维动态语法教学实践,为开展学习任务群建设及语篇语法教学提供参考。

摘要： 《普通高中英语课程标准(2017年版2020年修订)》提出了落实“立德树人”根本任务、发展英语学科核心素养的理念。培养学生的语言能力、文化意识、思维品质和学习能力成为基础教育英语教学的核心任务。英语课程标准将语言技能调整为五项,在原来“听、说、读、写”的基础上增加了“看”的技能要求:语言技能中的“看”指利用多模态语篇中的图形、表格、动画、符号以及视频等理解意义的技能。

摘要： 文化意识是指对中外文化的理解和对优秀文化的鉴赏,是学生在新时代表现出来的跨文化认知、态度和行为选择。利用多模态语篇提升文化意识的教学可以从“丰富模态建构,补充文化引言”“增强模态荷载,丰富文化注释”“综合模态资源,比较文化异同”“拓展模态资源,开拓文化视野”四个方面展开,以打破学生文化学习的时空限制,更好地为学生的自主文化学习提供语言素材和思辨角度。

摘要： 阐述多模态语篇的研究背景和研究意义。分析多模态语篇在高中英语阅读教学中应用存在的问题。提出多模态语篇在高中英语阅读教学中应用的途径和步骤。结合人教版(2019)高中《英语》选择性必修3 Unit 1 Art,探究多模态语篇在高中英语阅读教学中的应用。认为在信息技术的辅助下,教师将视听资源和英语阅读教学相结合,能提高学生的英语语言能力、文化意识、思维品质和学习能力。

摘要： 该研究以高职护理专业医护英语课堂上师生的PPT演示为研究素材,结合学生的课堂反馈及师生对PPT演示进行教学的态度与建议,运用多模态话语分析来阐释高职英语课堂PPT演示多模态语篇是如何传达意义的,从而有针对性地改进英语课堂中的多模态语篇构建,以提升教学效率。

摘要： 《普通高中英语课程标准(2017年版)》在语言技能方面增加了“看”的技能,指出了多模态语篇的价值。教师如何使用教材中的多模态语篇来发展学生的语言能力成为了英语教学所关注的问题。本文通过分析外研社高中英语教材修订版中的多模态语篇的价值,探究如何合理利用教材“看”的活动和依据学情设计“看”的活动来促进学生的理解和表达,从而提高学生的综合语言运用能力。

摘要： 本栏目主要面向全国师生、国际友人征集全国特色校园活动、特色校园文化等稿件;聚焦励志少年、才艺展示等校内外活动,同时关注中外文化、非遗文化,以文字、图片、视频等多模态语篇记录和传承独特、真实、成长的青春足迹和人文印记。

摘要： 随着科学技术的发展和社会需求的变化,多模态语篇已成为当代生活的一部分.语篇表达模式的变化给理论描写带来了新要求.在多模态语篇中,各种模态互相作用,互相补充,在语境创建意义.本文综合多模态的研究,讨论多模态的本质,说明系统功能语言学理论在多模态语篇分析的作用,强调多模态语篇分析应重视语言与其他模态之间的密切关系.

摘要： 语篇是传递意义的重要载体,在信息时代多模态语篇应运而生。多模态语篇的形成及其理解与人们的认知能力密切相关。奥运会徽是融合了语言符号和非语言符号以及人们认知能力的多模态语篇。本文从2008年北京奥运会徽的特征入手,分析其作为多模态语篇所体现的认知特点及其所表达的情感意义和社会意义,从而推进多模态语篇分析,揭示它对语言研究的启发意义。

摘要： 本发明公开了一种基于模态匹配的连续手语语句识别方法，将手语语句的彩色视频和光流图像序列的关键帧和目标词语片段序列作为输入，通过基于模态匹配的连续手语语句识别模型，将手语语句的彩色视频和光流图像序列的关键帧片段序列与语义匹配对齐，得到最终的语义序列。本发明公开了一种基于模态匹配的连续手语语句识别模型，用轻量的特征提取网络，减少其参数量，针对手语数据集进行任务特定性训练，在数据集中样本的标注较少的情况下对连续手语语句进行识别，减少了在传统手语识别方法中对人体姿势信息高度依赖的问题。

摘要： 本发明公开了一种基于跨模态数据增广的连续手语识别方法，通过对原始视频‑文本数据进行随机删除、插入、替换等操作，生成一系列带有标注的伪视频‑文本数据，对现有数据集进行扩增，从而达到扩大数据规模的目的。基于原始数据和增广数据，本发明设计了全新的多目标优化函数，旨在进行弱监督视频‑文本对齐学习的同时，缩小视频与对应文本之间的跨模态距离，同时使网络能够区分真实数据与增广伪数据之间的差异。通过跨模态数据增广与多任务学习，提升连续手语识别性能。

摘要： 基于关键帧采样的小样本深度学习多模态手语识别方法，该方法实现步骤是：多模态数据输入，选择RGB彩色视频数据，深度数据以及光流数据作为多模态数据源；手部分割，基于多个彩色空间RGB，YCrCb和HSV的肤色检测提取出人脸和手，再根据深度数据和人体骨骼坐标剔除人脸像素的影响；提出并采用一种新的基于手部骨骼数据和光流的关键帧采样方法；数据增强；基于均匀采样数据的数据的残差神经网络R(2+1)D训练；提出并利用跨模态模型数据对关键帧采样的数据R(2+1)D微调网络训练；多模态融合。本发明成功在小样本中国手语数据库DEVISIGN‑D上首次使用深度学习的方法，并且针对该手语词库进行较为准确的识别，其精确度超过了以往的传统方法，取得了目前最优的效果。

摘要： 本发明公开了一种手语视频中自动裁剪多模态数据的方法，该方法：把手语视频裁剪为图像、视频、语音以及手语四个模态的数据集合，基于感知哈希算法把视频关键帧与自定义人脸特征库进行比对，实现视频裁剪过程全自动。本发明通过利用自定义的人脸库裁剪视频中的多模态数据，提高构建多模态数据集的效率。

摘要： 本发明公开了一种基于跨模态注意力增强的唇语识别方法及系统，本发明包括提取唇部图像序列和唇部运动信息，通过预训练特征提取器获取对应的唇部特征序列和唇部运动序列，将得到的特征序列输入跨模态注意力网络，得到唇部增强特征序列；通过多分支注意力机制建立模态内特征序列的时序关联性，并在输出端特定的选择输入中相关的信息。本发明通过考虑时序信息之间的关联性，将相邻帧之间进行光流计算得到视觉特征之间的运动信息，利用运动信息对唇部视觉特征进行表示并进行融合增强，充分利用了模态内的上下文信息，最后通过多分支注意力机制进行模态内特征的关联表示和选择，提升了唇读识别的准确率。

摘要： 一种基于知识的多模态特征融合的动态图神经手语翻译方法，属于计算机视觉、自然语言处理和手语语言学领域。包括步骤：1)对视觉属性的特征和文本属性的特征分别进行抽象，表示成图网络节点；2)利用半监督的方式对手语进行分割，获取伪标签序列；3)利用伪标签序列对齐图网络节点；4)构造多模态图编码器，融合视觉特征和文本特征；5)将多模态特征进行特征融合，输入至后续的多任务架构的机器翻译模型完成神经手语翻译过程。引入图神经手语翻译模型的概念，利用半监督的聚类算法实现手语分割，利用多模态输入信息以提高翻译性能，突破在低资源条件下手语的翻译瓶颈，能够将手语词汇注释文本作为外部手语专业知识应用至神经手语翻译模型。

摘要： 本发明公开了一种基于模态匹配的连续手语语句识别方法，将手语语句的彩色视频和光流图像序列的关键帧和目标词语片段序列作为输入，通过基于模态匹配的连续手语语句识别模型，将手语语句的彩色视频和光流图像序列的关键帧片段序列与语义匹配对齐，得到最终的语义序列。本发明公开了一种基于模态匹配的连续手语语句识别模型，用轻量的特征提取网络，减少其参数量，针对手语数据集进行任务特定性训练，在数据集中样本的标注较少的情况下对连续手语语句进行识别，减少了在传统手语识别方法中对人体姿势信息高度依赖的问题。

摘要： 本发明公开了一种基于条件句子生成和跨模态重排的手语翻译方法，包括：将手语视频序列划分为若干视频片段，通过三维卷积神经网络从视频片段集合中提取时序特征，再通过时序建模器识别出手语视频序列中表达的关键词集合；对关键词集合编解码处理，生成由关键词组成的通顺句子集合；将通顺句子集合与手语视频序列进行比较，找出与手语视频序列相关度最高的句子，作为手语翻译结果。

摘要： 本发明公开了一种基于跨模态注意力增强的唇语识别方法及系统，本发明包括提取唇部图像序列和唇部运动信息，通过预训练特征提取器获取对应的唇部特征序列和唇部运动序列，将得到的特征序列输入跨模态注意力网络，得到唇部增强特征序列；通过多分支注意力机制建立模态内特征序列的时序关联性，并在输出端特定的选择输入中相关的信息。本发明通过考虑时序信息之间的关联性，将相邻帧之间进行光流计算得到视觉特征之间的运动信息，利用运动信息对唇部视觉特征进行表示并进行融合增强，充分利用了模态内的上下文信息，最后通过多分支注意力机制进行模态内特征的关联表示和选择，提升了唇读识别的准确率。

摘要： 本发明提供了一种跨模态唇语识别方法，包括S1，数据预处理：获取视频数据的嘴唇区域和音频数据的特征矩阵；S2，模型训练：依次进行说话人识别任务的训练、跨模态对比学习、模型参数、标准化唇语特征等步骤直到模型收敛；S3，模型部署：仅输入待识别的非训练数据视频序列，使用视觉识别分支获取说话人唇形特点，并对唇语特征进行标准化，最后进行唇语特征到文字的映射。本方法在无需额外人为标注数据的前提下，能够提取到具有更好可区分性的视觉特征，特征提取的泛化性和鲁棒性更好，能够跨说话人使用，也无需为每个类别样本单独训练一组模型参数。