不同关系的对话者间褒贬态度的语音表达与多模态感知研究

摘要

在语音学领域，对情感的研究有两个特点:一是从内容上看，大多数研究都集中在基本情绪上，而对社会情感（包括态度）的研究非常少;二是从语言上看，汉语情感的研究还落后于其他语言，如英语、日语、法语等。因此，本文着力研究不同关系的说话者间汉语态度语音的产出与感知特性。
　　本文的研究问题有两个:
　　(1)听话人如何通过语音形式、面部表情等多种模态信息来感知对话者之间的友好或对立关系、褒扬或贬责态度的？
　　(2)说话人是如何通过特定的语音韵律特征来分别表达友好或对立关系、褒扬或贬责态度的？
　　本文通过感知实验和声学分析，考察不同关系（友好、对立）的谈话者之间，是如何传递不同态度（褒扬、贬责）的。
　　在感知实验中，通过给12名被试播放纯音频、纯视频和音视频三种模态的刺激，让被试判断出刺激所包含的话者关系和褒贬态度。感知实验的主要结果有:
　　(1)在两种话者关系中，友好关系的辨识率更高;在褒贬态度中，褒扬态度的辨识率更高;在三种模态中，纯视频模态的辨识率最高。
　　(2)当话者关系为友好时，褒扬态度的辨识率显著高于贬责态度;当话者关系为对立时，褒扬态度的辨识率也高于贬责态度，但其辨识优势(60.1％ vs40.2％)低于友好关系时的辨识优势(84.7％ vs46.2％)。
　　(3)褒扬态度在纯视频模态下辨识率最高，贬责态度在音视频模态下辨识率最高。这说明听话者仅通过面部表情就可以很好地判断出褒扬态度，但在判断贬责态度时需要同时结合声音韵律和面部表情。
　　(4)友好关系在音视频模态下辨识率最高，对立关系在纯视频模态下辨识率最高。这表明听话者判断友好关系时，需要结合声音韵律和面部表情，而判断对立关系时，仅通过面部表情就可以很好地判断。
　　在声学分析中，考察了情感态度和韵律特征之间的对应关系。本文提取了基频、时长、能量、嗓音等17个相关的声学参数，通过多元方差分析、因子分析和判别分析，系统考察了不同话者关系、褒贬态度与韵律参数之间的关系。方差分析的主要研究结果有:
　　当谈话者之间是友好关系时，说话者表达褒扬态度会用更高的基频、更快的语速，更大的振幅抖动、更小的谐波噪声比;当谈话者之间是对立关系时，说话者表达褒扬态度会用较低的基频、更小的调域、更慢的语速、更小的能量、更小的振幅抖动、更大的谐波噪声比。
　　上述结果表明，谈话者之间的关系，会影响褒贬态度的表达:当谈话者之间为友好关系时，说话者表达褒扬和贬责态度需要用基频、时长和嗓音进行区分，而能量没有变化;当谈话者之间为对立关系时，说话者表达褒扬和贬责态度需要使用基频、时长、能量、嗓音进行区分。
　　本文同时对提取到的17个声学参数进行降维，利用因子分析发现，前六个公共因子可以包含原来80.32％的信息，分别对应了嗓音参数、能量离散参数、基频离散参数、基频集中参数、能量集中参数和时长参数。通过判别分析发现，利用前六个公共因子对表达风格、话者关系和褒贬态度进行判别的辨识率均高于被试主观判断的辨识率。这说明基频、时长、能量、嗓音的相关声学参数可以很好地刻画在友好、对立两种对话者关系下汉语褒贬态度表达的韵律特征。

目录

声明

摘要

表目录

图目录

第1章 绪论

1．1．研究背景

1．2．研究内容

1．3．研究价值

1．3．1．理论价值

1．3．2．应用价值

1．4．研究方法

1．4．1．感知实验

1．4．2．声学分析

第2章 情感态度研究现状

2．1 情感、情绪与态度

2．2 态度的定义与分类

2．3 态度语料库的设计

2．4 态度的感知机制研究

2．4．1 态度的语音感知

2．4．2 态度的多模态感知

2．4．3 态度的跨语言感知

2．5 态度的韵律特征研究

2．6 态度的言语工程研究

2．7 小结

第3章 语料设计、采集与处理

3．1 文本语料设计

3．2 发音被试选取

3．3 多模态语料采集

3．3．1 采集地点及设备

3．3．2 录制方法

3．4 语料切分与标注

3．4．1 语音信号的切分

3．4．2 视频信号的切分

第4章 汉语态度话语的多模态感知实验

4．1 感知实验设置

4．1．1 实验材料

4．1．2 辨识被试

4．1．3 实验过程

4．2 感知实验统计结果

4．3 小结

第5章 汉语态度话语的韵律特征分析

5．1 参数定义

5．1．1 基频参数

5．1．2 时长参数

5．1．3 能量参数

5．1．4 嗓音参数

5．2 数据提取与处理

5．3 方差分析结果

5．3．1 基频结果

5．3．2 时长结果

5．3．3 能量结果

5．3．4 嗓音结果

5．4 因子分析与判别分析结果

5．5 小结

5．5．1 方差分析小结

5．5．2 因子分析与判别分析小结

第6章 结语

6．1 本文研究成果

6．1．1 感知实验结果

6．1．2 韵律特征分析结果

6．2 创新之处

6．3 研究的不足之处

6．4 今后的研究展望

附录

参考文献

在读期间发表的学术论文及研究成果

致谢