唇读

摘要： 唇读作为获取言语信息的重要方式,在健听人和聋人沟通、交往中扮演着重要角色.相关唇读眼动研究发现,视听双通道下健听人唇读眼动注视区域主要集中于眼睛和嘴巴,但聚焦区域受唇读者年龄、语言熟练程度、实验任务和说话起止等因素影响;单一视觉通道下健听人和聋人在唇读过程中均出现“眼部—口形—眼部”的注视模式,聋人内部差异性影响唇读眼动特征;眼动特征与唇读表现关系研究结果不一,尚存“相关”与“无关”争议.本研究对健听人和聋人在视听双通道和单一视觉通道条件下的唇读眼动特征进行梳理,厘清了眼动特征与唇谈表现的关系,为后续研究提供了借鉴.

摘要： 唇读,也称视觉语言识别,旨在通过说话者嘴唇运动的视觉信息,解码出其所说文本内容.唇读是计算机视觉和模式识别领域的一个重要问题,在公共安防、医疗、国防军事和影视娱乐等领域有着广泛的应用价值.近年来,深度学习技术极大地推动了唇读研究进展.本文首先阐述了唇读研究的内容和意义,并深入剖析了唇读研究面临的难点与挑战;然后介绍了目前唇读研究的现状与发展水平,对近期主流唇读方法进行了梳理、归类和评述,包括传统方法和近期的基于深度学习的方法;最后,探讨唇读研究潜在的问题和可能的研究方向.以期引起大家对唇读问题的关注与兴趣,并推动与此相关问题的研究进展.

摘要： 听觉障碍人群由于听觉部分或完全受损,视觉语言--唇读和手语就成为其阅读能力发展的主要途径。唇读有助于听觉障碍人群形成语音表征,与词汇知识相互影响,且可以促进字词阅读及阅读理解的水平;口语或书面语的加工可以激活相应的手语表征,手语影响着听觉障碍人群各个层次的阅读能力。未来研究应该关注语音意识、词汇知识等技能在视觉语言影响听觉障碍人群阅读能力过程中的作用机制,并以视觉语言为中心,发展出适合汉语听觉障碍人群阅读能力习得的理论模型。

摘要： 唇读作为听障学生言语沟通与交流的方式之一,受到了众多关注.本文通过对中国期刊网(CSSCI)来源的唇读认知实验研究成果进行检索统计,总结国内听障学生唇读认知实验研究的成果发现,音素与视素作用明显,汉语唇读语音识别存在词长效应、熟悉效应、助听器效应、教学条件效应、视听通道效应、编码效应等.根据上述结论,笔者提出了相应建议.

摘要： 以1946-2017年WoSTM数据库收录的8054篇唇读研究的核心期刊论文为研究对象,对唇读研究成果进行可视化分析,以期全面把握国际唇读研究的发展动态.研究发现:当前国际唇读研究正处于快速增长阶段,P los One、Ear and Hearing与J ournal of Speech Lan-guage and Hearing Research是国际唇读研究的三大发文平台,唇读研究日益凸显多学科、多领域的发展趋势,当前国际唇读领域的核心研究团队已基本形成,但合作程度较低.国际唇读研究热点主要集中于唇读的认知加工机制、唇读的认知神经机制、唇读能力的评估与作用效果研究以及计算机唇读系统研究等方面.

摘要： 以1946-2017年WoSTM数据库收录的8054篇唇读研究的核心期刊论文为研究对象,对唇读研究成果进行可视化分析,以期全面把握国际唇读研究的发展动态。研究发现:当前国际唇读研究正处于快速增长阶段,Plos One、Ear and Hearing与Journal of Speech Languageand Hearing Research是国际唇读研究的三大发文平台,唇读研究日益凸显多学科、多领域的发展趋势,当前国际唇读领域的核心研究团队已基本形成,但合作程度较低。国际唇读研究热点主要集中于唇读的认知加工机制、唇读的认知神经机制、唇读能力的评估与作用效果研究以及计算机唇读系统研究等方面。

摘要： 在角色动画制作过程中,为了实现表演者与角色模型的实时交互,使角色动画的表情、口型与声音一致,创作出真实自然的角色动画,提出了一种基于唇读技术的交互式角色面部动画制作方法的设计方案,以降低面部动画的难度,提高角色动画的制作质量与效率.

摘要： 在党的十九大开幕会上,电视直播屏幕左下角的手语翻译,紧跟习近平同志作报告的语速,在三个多小时中,双手不停地变换了25000余个动作,创下了国内手语翻译最长记录——她是周晔,十八大、两会的“御用”手语翻译,北京东城区特殊教育学校的校长,也被称为“央视最沉默的主播”。

摘要： 在角色动画制作过程中,为了实现表演者与角色模型的实时交互,使角色动画的表情、口型与声音一致,创作出真实自然的角色动画,提出了一种基于唇读技术的交互式角色面部动画制作方法的设计方案,以降低面部动画的难度,提高角色动画的制作质量与效率。

摘要： 目的：运用 McGurk 效应范式材料，探究唇读对听障儿童语音识别的帮助作用。方法实验组选择双耳重度语前聋且双耳接受助听器补偿的儿童36例（10～12岁，平均11．82±1．54岁），对照组为听力正常儿童36例（10～13岁，平均11．23±1．75岁）。McGurk 效应范式测听材料由音频和视频组成，音频包括／ba／、／da／、／bi／、／di／、／bu／、／du／6个刺激音，视频内容为6个音发音时的完整图像资料，经软件处理，在纯听、视听一致、视听不一致三种条件下，测试两组受试者的听觉反应正确率。结果实验组在纯听、视听一致、视听不一致条件下的听觉反应正确率分别为71．23％±19．20％、96．13％±7．10％、11．12％±16．20％，对照组分别为93．15％±10．02％、96．21％±11．12％、54．03％±23．41％，两组受试者听觉反应正确率均依次降低。视听不一致条件下测听时，正常儿童听觉反应所占比例（54．04％±23．23％）显著高于听障儿童（11．47％±16．32％）（P ＜0．05）。结论视听结合是最佳聆听条件，唇读对听障儿童语音识别有帮助作用。%Objective Use McGurk effect paradigm materials to explore the role of lip-Reading for hearing-impaired children in phonetic identification.Methods Thirty-six severe prelingually hearing-impaired children and thirty-six normal healthy children(binaural PTA≤20 dB HL)were recruited in the study.The test material was composed of audio and video,including/ba/,/da/,/bi/,/di/,/bu/,/du/six stimulation sounds which were video recorded as pronounced.Under 3 different conditions,the two groups were evaluated for the accuracy of audi-tory responses.Results The accuracy of auditory responses of hearing-impaired children group was 0.71 ±0.19, 0.96±0.07,0.11 ±0.16 for auditory-only mode,audio -visual consistent mode and audio -visual inconsistent mode,respectively,0.93±0.10,0.96±0.11,0.54±0.23 for normal hearing children in auditory-only mode,audi-o-visual consistent mode and audio-visual inconsistent mode,respectively.Conclusion The Audio-visual con-sistent mode is the best one and the lip-reading can help hearing-impaired children in phonetic identification.

摘要： 针对图像序列中唇读嘴唇实时检测跟踪问题,提出了一种利用肤色、唇色色度聚类特性,以及R/G特性差异检测嘴唇的新方法。首先在HSV颜色模型中采用基于阈值的分类方法分割出肤色区域,自适应根据个体在唇色和肤色在色度上的聚类特性检测出嘴唇,经R/G滤波器滤波后得到可靠的嘴唇区域。在服务机器人上进行的唇读人机交互实验表明该方法计算量小、实时性好、正确检测率高,完全能满足实际唇读人机交互中的检测和跟踪要求。

摘要： 本文主要介绍了目前lip-reading的研究现状,不同特征提取与选择对识别结果的影响以及采用具有先验知识的D-S理论进行唇读与语音的融化.

摘要： 本文针对汉语中所有声韵母发音序列中的连续口型提出了一种口型分类的思路.在建立了覆盖所有声韵母的汉语双模态语料库的基础之上,本文提出了一种两次分类的方法,对语料库中的图像进行唇的分割、定位及特征提取,并依靠选择的特征,将声韵母的发音序列中的口型聚为15类.本文的目的是在此分类的基础上,明确唇读识别阶段的状态数,减小搜索的空间,提高收敛速度.

摘要： 本发明公开了一种全自动和面机的智能唇读识别控制方法。主要包括：获取人脸面部图像，用二维小波变换构造人脸图像的小波系数矩阵，对阈值化处理后的小波系数进行逆变换获得重构图像，达到去除噪声的目的；对重构面部图像进行约束性的Fisher线性变换，并根据唇色统计特性阈值检测人脸图像中的嘴唇状态；获取嘴唇形状的二值化图像，构造图像的多元线性方程，利用方程预测变形模板参数，完成图像与模板的实时定位匹配，实现和面机的智能唇读识别控制。该方法具有良好的实时性和准确性，并可根据嘴唇在人脸区域的几何分布特性，快速准确地进行唇动定位，稳定可靠地完成和面机的智能控制任务。

摘要： 本发明公开一种基于视频人物唇读识别的时序集中预测方法，首先输入人物唇动视频帧序列并提取唇部的时空特征，采用嵌入了SENet模块的残差网络获取多通道下人物唇部的有用特征，将特征输入双向门控循环单元得到唇动轮廓所对应字符的概率分布，并引入连接主义者的时间分类算法对齐时间步长上的各文本标签和字符；接着针对前后时序关系，利用双向门控循环单元的隐藏状态，建立时序关联的注意力窗口以集中成上下文向量，对该上下文向量在注意力窗口长度下的概率分布向量再次细分规划；最后对每个当前时间的概率分布向量设置注意力单元并重新汇集为能够预测唇读对应字符的概率。本发明通过对时序信息的前后集中关联，能有效预测和识别视频中人物唇读内容。

摘要： 本发明提供了一种基于多尺度视频特征融合的语音唇读方法及系统，其中，基于多尺度视频特征融合的语音唇读方法，步骤如下：首先将输入视频的视频帧和语音分离，视频帧用不同大小的滑动窗口划分为多个尺度并构造出n个时间金字塔，再利用3D卷积提取各时间金字塔内各时间尺度的视频特征之后，将视频特征通过多尺度特征融合模块，得到一个固定维度的中间向量，然后再通过使用解码器将中间特征向量合成对应语音的Mel频谱图，最后将得到的Mel谱通过声码器合成语音。本发明主要应用于语音唇读，大大改善了语音合成的效果。

摘要： 本发明涉及一种基于唇读技术的唇语输入方式，主要针对常用汉字及阿拉伯数字。属于计算机智能识别技术，是一个典型的图像模式分析、理解和分类计算的问题，涉及模式识别，计算机视觉，智能人机交互，认知科学等多个学科。对所拍摄的嘴部唇动视频进行关键帧提取，利用灰度处理、中值滤波、动态阈值二值化处理及扫描去除噪点对提取的图像进行规格化处理，之后进行特征向量提取获取具有唇形特征的参数，与口型模板库进行匹配将图片识别为汉语拼音字母序列，最终结合输入法模块获得对应的汉字或阿拉伯数字。

摘要： 本发明公开了一种粤语唇读识别方法、设备以及存储介质，方法包括获取第一粤语视频片段；裁剪第一粤语视频片段中的无用片段，得到第二粤语视频片段；划分第二粤语视频片段中的视频序列和音频序列，对音频序列进行分词并生成分词时间戳，根据分词和分词时间戳生成标签；提取视频序列中的人脸图像，并过滤不完整的人脸图像，根据过滤后的人脸图像和标签生成样本图像；根据样本图像训练预设的粤语唇读识别模型，得到训练完成的粤语唇读识别模型；根据训练完成的粤语唇读识别模型识别目标视频序列，得到识别结果。本方法能够采集粤语单词级的唇读样本图像数据集，由于剔除了视频序列中的无用序列，能够提升训练后的模型的识别精度。

摘要： 本发明公开了一种面向智能驾驶的唇读算法及系统，所述系统包括ROS，相机，唇读识别神经网络。所有相机采集的人脸数据通过相机从节点进行发布，发布到指定的Topic共享内存中，通过Master节点的Topic管理模块将数据发送到订阅了相同Topic的神经网络从节点，神经网络从节点在对唇读数据进行识别后将识别结果发布到指定Topic中，再由Master节点发送到车辆控制节点，最后车辆控制节点获取用户指令，并进行相关操作。该智能驾驶的唇读算法及系统既具备了目前智能驾驶领域中使用广泛的ROS操作系统，同时具备唇读识别的功能，ROS系统解决了目前车辆节点信息网络可靠性的问题，唇读识别解决了在嘈杂环境下语音识别准确率低的问题。

摘要： 本发明公开了一种基于事件相机的多粒度时空特征感知的唇读方法,包括：1、首次提出了基于事件相机的唇读技术方案；2、根据事件流信号的特性，将原始异步信号流数据转换成了多时间分辨率事件帧；3.构建了一个双流网络来提取不同粒度的时空特征，其中高时间分辨率分支提取精细的时间特征，低时间分辨率提取完整的空间特征；4.构建序列模型进行特征序列解码，将特征提取网络提取到的多粒度时空特征解码为事件流信号对应的单词的概率。本发明所提出的基于事件相机的唇读方案能够解决传统相机进行唇读时存在的视频时间分辨率低、视觉冗余信息多、极端光照条件下性能差以及实际部署时设备功耗大的问题。

摘要： 本发明实施例提供了一种词语级唇读方法及系统，所述方法包括：构建基于信息瓶颈的变分时域掩膜模块，以用于根据时域特征分析帧级特征的重要程度；确定唇读基准模型；将所述变分时域掩膜模块插入至所述唇读基准模型中形成用于识别词语的词语级唇读模型；获得待处理数据，所述待处理数据包括多帧包含面部信息的图像；对所述待处理数据进行处理得到每帧图像仅包含唇部区域的数据集；将所述数据集输入至所述唇读模型中，得到对应所述数据集中各个唇部区域的唇读信息，所述唇读信息包括单词。本发明中的词语级唇读方法能够显著提升唇读精度。

摘要： 本发明的目的是提出一种基于时间卷积网络的端到端唇读视频识别方法。该方法主要以说话人的脸部视频作为输入，通过预处理方法，获取只有嘴唇区域的图像序列，然后通过特征提取器提取图像序列特征，用特征学习分析器学习提取到的特征，最后通过解码器输出结果。本发明解决了唇读视频识别方法中端到端的识别问题，不需要人工特征提取，实现了包括特征自动提取，自动学习，自动解码功能的端到端的网络架构。

摘要： 本发明公开了一种基于注意力机制的脉冲神经网络多模态唇读方法及系统，本发明基于注意力机制的脉冲神经网络多模态唇读方法包括获取多种模态下的唇读事件数据；使用液体状态机分别提取不同模态下事件数据的语义特征向量；将所有的语义特征向量采用基于注意力机制的软融合以得到融合特征向量；将融合特征向量送入预先训练好的分类器获得分类识别结果。本发明通过使用液体状态机构建了单模态特征编码器，并提出了一种软融合方法对视觉图像特征和音频特征进行重新加权，以实现多模态的高效融合，能够实现多模态唇读数据的高效、准确的分类识别，且在嘈杂条件下具有良好的鲁棒性。