基于表层语义分析的自然手语动作序列生成的研究

摘要

近些年来,随着社会的发展,信息无障碍的研究与发展越来越受到重视,但聋人在获取信息,尤其是实时性极强的新闻类信息时,依然存在着很大障碍。如何使用计算机技术帮助聋人提高他们对信息的接收能力成为一个既有极高科研价值,又有极强实际意义的课题。
　　利用计算机多媒体技术并结合手语合成技术,使用卡通人通过手语来与聋人沟通,例如的手语新闻播报,已经在某些电视台使用了。这种信息传媒方式为聋人和正常人之间的信息交流提供了一个很好的沟通渠道。但是,目前手语新闻播报收视率相对较低,究其原因是聋人普遍反映看不懂。造成这种局面的原因,不仅有中国聋人手语手势标准化普及、播报中由于播音语速导致哑语手势过快、以及虚拟人面部表情单一等多种原因,还有一个很重要的原因就是目前卡通人的手语是按照正常人的语法而非聋人所使用的自然手语的语法来打手语的。这样最终造成了手语新闻让聋人,特别是文化基础差的聋人,很难看懂。
　　因此让卡通人按照自然手语的语法规则而非的现代汉语语法规则来打手语就成为了一个亟待解决的重要问题。本文的研究工作就是针对这一问题而进行的。本文研究的内容是首先整理聋人自然手语的规则并将其形式化,然后在建立自然手语形式规则库的基础上,将现代汉语的文本自动生成相应的依照自然手语规则的的手语动作序列。
　　本文的工作取得了以下研究成果:
　　首先在对自然手语的语法研究相对匮乏的情况下建立了自然手语形式规则库。其包括:
　　1、从句子、短语和修饰词三个层次建立了语序系统的倒装规则体系;
　　2、在副词、量词等词典的基础上建立了自然手语的省略规则体系;
　　其次使用表层语义结构的分析方法获得汉语文本的表层语义结构,然后再依据自然手语形式规则库中的规则将其转换为自然手语的动作序列。
　　最后通过手语合成技术和卡通动画,搭建了一个手语的播报平台,用卡通人的动画来输出符合聋人习惯的自然手语播报动作序列。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 引言

1.2 国内外手语研究

1.3 本文研究的内容和意义

1.4 本文所取得的成绩

第2章 自然手语

2.1 自然手语的概念

2.2 手语思维

2.3 中国聋人自然手语的语言地位及研究

2.4 自然手语与文法手语

第3章 基于表层语义分析的自然手语研究

3.1自然手语及其规则的调研

3.2 聋人自然手语倒序现象的研究

3.3 聋人自然手语省略现象的研究

3.4 自然手语规则库

第4章 基于表层语义分析的自然手语播报系统的设计和实现

4.1 基于表层语义分析的自然手语播报系统的总体结构

4.2 文本分词转换模块

4.3 语义结构分析器

4.4 自然手语动作序列生成器

4.5 自然手语手势合成和输出显示

第5章 系统实验结果和分析

5.1 系统界面

5.2 系统实验

5.3 实验结果和分析

第六章 结论与展望

参考文献

致谢

附录1 攻读硕士期间公开发表和投递论文