基于语音识别的动画人物唇同步系统

摘要

随着国内市场对动漫产品需求的不断增长，以及国家对动漫产业的大力扶持，我国的动漫产业进入了一个高速成长期。唇同步是动画制作中不可或缺的一个环节，但是传统的唇同步方法完全由人工来实现，非常繁琐，效率很低。并且唇同步的质量得不到保证，完全依赖于制作人员的经验。所以，我们需要一种技术来帮助动画制作人员摆脱这一繁琐的工作，同时提高唇同步的质量。 本文应用基于隐马尔可夫模型的语音识别技术来解决动画的唇同步问题。通过对语音识别技术的研究，以及对唇同步问题的分析，我们找到了用语音识别技术解决动画人物唇同步问题的切入点：用语音识别技术来获取语音中每个字的时间信息。 基于这个想法，我们设计了两种解决动画人物唇同步问题的方法。第一种方法通过直接应用识别算法来获取每个字的时间信息。第二种方法根据语音文本构建一个组合模型，然后在组合模型上应用Viterbi算法，在计算过程中获取每个字的时间信息。这两种方法都可以有效地解决动画的唇同步问题，但是和第一种方法相比，第二种方法有效地减少了计算量并且不存在识别错误的问题，因而在计算效率和唇同步的效果上都要优于第一种方法。 最后，本文基于第二种方法实现了一个唇同步系统，并探讨了实现中的关键问题：如何根据系统特点确定模型结构，如何选择合适的识别单元，如何根据系统特点修改一般化的算法使其在我们的系统中正常的工作，如何对语音信号进行参数化。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章绪论

1.1论文研究背景

1.2本文的研究内容和结构

第2章相关系统和技术综述

2.1唇同步的相关技术和系统

2.2语音识别技术

2.3隐马尔可夫模型

2.3.1模型定义

2.3.2 HMM的基本问题和算法

2.3.3连续型HMM的密度函数

第3章基于HMM的语音识别

3.1孤立词识别

3.2连续语音识别

3.2.1模型的训练

3.2.2模型的识别

3.2.3语言模型

3.3模型初值设置

第4章语音识别与唇同步

4.1问题分析

4.2语音识别技术的应用

4.2.1识别算法

4.2.2路径对齐

4.2.3分析总结

第5章系统中的关键问题

5.1模型和识别单元的选择

5.1.1模型的结构

5.1.2识别单元的选择

5.2算法修正

5.2.1根据模型修正算法

5.2.2修正算法防止下溢

5.3路径对齐的伪码实现

5.4语音信号的参数化

5.4.1 MFCC的计算过程

第6章系统实现

6.1系统结构

6.2系统主界面

6.3模型训练

6.4唇型动画

6.5唇型库管理

6.6输出表格

第7章总结与展望

7.1本文主要研究内容

7.2本文主要创新点

7.3未来工作展望

参考文献

致谢

作者简历