基于长时间可穿戴社交数据集的语音分割方法的研究

摘要

随着工作和学环境压力的增加，心理健康问题已经成为当前社会研究的主要课题。通常研究人员通过使用社交感知行为来分析心理健康状态。社交感知信号通常包括语音信号，行为信号，心理感知信号等。其中语音信号由于包含丰富的情感和社交信息，是可靠的身心健康评估特征。 在本文中，使用所提出的可穿戴设备进行了为期四周的长期监测实验研究。在完全自然的情况下分析具有分段的语音-社交特征。我们设计了用于基于极少特征语音分割的迁移学习模型算法。对经典的深度学习VGG-net网络进行修改，加入残差学习单元，以加深网络的深度，通过修改卷积核的大小，改变感受野大小。通过在TUT Acoustic Scenes数据集上训练模型，并在该模型上学习基本声学场景特征，基于模型的迁移算法，仅用四个可穿戴语音社交特征(能量、熵、亮度、共振峰)将模型迁移到长时间社交数据集。所获得的结果显示使用可穿戴长期语音社交数据集在无约束的自然情况下对语音场景可以进行有效的分割。 对于长期社交语音监控，本文主要研究内容包括： 1）基于长期语音-社交特征分析设计可穿戴智能设备来评估心理健康。该分析能够以有说服力的方式处理语音信号。客观地使用有限的四个语音-社交特征信号(能量、熵、亮度、共振峰)进行分析，避免直接记录语音，以保护个人隐私和减少计算复杂度。以大学生作为研究对象，设计了长达一个月的心理健康监测实验，用于评估他们的身心健康状况。 2）将基于模型的迁移学习算法应用于语音分割领域，并通过基于模型的迁移学习模型研究提高对语音分割的精度。通过加入残差学习单元以增加网络结构的深度，提供网络的泛化能力。并通过改变卷积核的大小以调整感受野的大小。使得网络在少数特征(能量、熵、亮度、共振峰)的数据集上可以收敛。最终通过对基于模型的迁移学习模型的研究，以解决传统算法中经常发生的训练样本不足的问题。 3）最后，建立分段语音-社交特征与焦虑(自闭症)水平状态之间的相互关系，用于协助研究大学生的心理健康状况。

目录

声明

第一章 绪论

1.1 引言

1.2 选题背景和研究意义

1.3 可穿戴社交感知系统国内外研究现状

1.3.1 可穿戴社交感知系统国内发展现状

1.3.2 可穿戴社交感知系统国外发展现状

1.4 语音分割方法的国内外研究现状

1.4.1 语音分割方法国内研究现状

1.4.2 语音分割方法国外研究现状

1.5 本文主要贡献和创新

1.6 本论文的结构和安排

第二章 长时间可穿戴社交感知系统

2.1长时间语音社交感知系统框架

2.2 可穿戴的社交感知平台以及特征描述

2.2.1 可穿戴的社交感知平台

2.2.2 可穿戴的社交感知平台特征描述

2.3 特征分析

2.4 本章小结

第三章 基于模型的迁移学习语音分割算法

3.1 迁移学习系统框架

3.1.1 迁移学习算法概述

3.1.2 迁移学习算法的定义和分类

3.2 基于长时间可穿戴社交数据集的模型迁移算法

3.3 本章小结

第四章 大学生自闭症实验与结果分析

4.1 自闭症实验设计

4.2 基于模型迁移学习算法结果分析

4.3 模型训练时间比较分析

4.4 本章小结

第五章 全文总结与展望

5.1 全文总结

5.2 后续工作与展望

致谢

参考文献

攻读硕士学位期间取得的成果