基于深度置信网络的汉语语音测谎研究

摘要

测谎对于防止电话诈骗、辅助案件侦查、情报部门辨别情报真假等有着重要的意义。测谎的技术手段有多种，包括基于脉搏、血压、皮电活动的测谎，基于面部微表情的测谎，基于语音的测谎，以及基于脑电波的测谎等。其中语音测谎是指，以语音信号分析为依据判断被测人是否说谎。由于语音信号获取的便捷性和非接触性，使得基于语音分析的测谎技术相比于其他技术而言，有着一定的优势。
　　然而，目前基于语音的测谎研究仍处于起步阶段，面临的主要问题是：首先，缺少代表性的测谎语料库尤其在汉语领域。其次，传统的语音测谎技术大多是提取基础的语音时域、频域特征，将测谎问题建模成机器学习中的分类问题。然而人工设计的特征往往难以捕获语音信号中的一些复杂的信息。针对以上问题，本文首先设计了汉语测谎语料库，然后构建了基于深度置信网络的语音测谎系统，主要工作如下：
　　1.构建了汉语测谎语料库。目前仅有的少数测谎语料库几乎全部为英文的，无法满足语音测谎的深入研究。本文设计了详细的汉语测谎语料库构建方案，设置合适的物质奖励机制给受试者以说谎的动机，获得了充足的真话、谎话语料。并通过听辨实验验证了语料库的有效性和可靠性。
　　2.构建了汉语语音测谎系统，提出了基于深度置信网络的测谎深度特征提取方法，并在常用分类器上验证得到高于基础特征的识别率。现有语音测谎的研究大多专注于单个语音特征对测谎的贡献或特征组合的测谎效果。但由于说谎过程的复杂多变性，基础特征的表现力有限。故为了深入挖掘说谎的内在表示，本文以基础特征作为深度置信网络的输入，逐层训练得到深度特征。在多个分类器上的实验结果表明，使用深度特征分类效果更好。
　　3.利用TrAdaBoost实现跨性别语音测谎。男女生语音特征有明显的差异性，导致传统的语音测谎大多是在同一性别内进行的。本文首先进行了性别内测谎，然后用TrAdaBoost这一迁移学习技术进行了跨性别测谎，实验结果优于传统机器学习算法。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 测谎的研究意义

1.2 测谎研究的发展概述

1.3 语音测谎技术的发展与难点

1.4 深度学习在语音中的应用

1.5 本文的主要工作及结构安排

第二章 汉语语音测谎理论基础及系统构成

2.1 测谎的心理生理学基础

2.2 语音发音系统及语音信号生成的数学模型

2.3 汉语语音学基础概述

2.4 汉语语音测谎系统的构成

2.5 语音信号预处理

2.6 本章小结

第三章 汉语测谎语料库的构建

3.1 汉语测谎语料库的设计与建立

3.2 汉语测谎语料库的听辨实验

3.3 本章小结

第四章 深度置信网络在语音测谎上的表示学习

4.1 基本特征的提取

4.2 基于深度置信网络的表示学习技术

4.3 本章小结

第五章 基于机器学习的汉语语音测谎及实验

5.1 同性别内语音测谎

5.2 跨性别语音测谎

5.3 实验结果与分析

5.4 本章小结

第六章 总结与展望

6.1 总结

6.2 今后展望

参考文献

攻读学位期间发表的学术论文

致谢