基于改进自注意力机制的说话人分割聚类

摘要

为进一步提高说话人分割聚类系统的性能,提出一种基于改进自注意力机制的说话人分割聚类方法.考虑不同语音帧对说话人特征影响不同,该方法在时延神经网络基础上引入多头自注意力机制,通过多层感知器学习语音帧的权重系数,有侧重地提取说话人信息以增强说话人特征表征能力.同时为更好地利用多头自注意力机制从不同层面提取的说话人信息,进一步补偿说话人特征,对注意力头也进行自注意力计算,通过学习注意力头的权重来提取区分性能力更强的特征.最终将改进自注意力机制的说话人特征应用于说话人分割聚类系统,结果表明,该方法在DIHARDⅡ开发集上分割聚类性能均优于基线系统.